![]()
안녕하세요 늑대양입니다 🤗 가짜연구소에서 진행하는 아카데미 6기에 참여하게되어 관련된 블로그 포스팅을 진행하고자 합니다. 참여하는 스터디는 DE4E 로 Data Engineering for Everbody 의 줄임말이며, 데이터 엔지니어링 이 메인 주제입니다! 이번 포스팅에서는 금주에 진행될 아래의 스터디 주제에 대해, 미리 생각들을 정리해보고자 합니다. 주제: Data Transformation and Cleaning Data cleaning techniques Data transformation and normalization Joining and aggregating data from multiple sources Dealing with missing data 데이터를 수집한 이후에는 어떤 처리를..
![]()
# 읽고 있는 도서의 p86 ~ 93 내용 참고 및 인용 데이터 엔지니어: 데이터 엔지니어는 조직 내 데이터의 운용을 담당합니다. 데이터 엔지니어가 데이터를 활용하기 위해 환경을 어떻게 구성하는지, 정확히 어떤 업무를 맡는지 알아보겠습니다. 데이터 엔지니어의 업무: 1. 요구사항 분석: 데이터 엔지니어의 업무는 최종 데이터 사용자의 요구사항을 분석하는 것에서 시작 최종 데이터 사용자 예시: 같은 회사 내에서 데이터를 활용한 서비스를 운영하고 관리하는 부서 회사의 고객 등 데이터 사용자의 요구사항을 잘 분석하기 위해 최종 데이터 사용자와 함께 필요한 기능과 요건을 구체적으로 정리 2. 파이프라인 구축, 관리 및 유지 보수: '물의 순환'과 같이 데이터도 여러 과정을 거쳐 순환하며, 데이터가 흐르는 과정을 ..
