2025.04.30 - [Data Engineering] - [Data Engineering] 개인 사이드 프로젝트#01 복기 1편 (feat. Kafka란?) [Data Engineering] 개인 사이드 프로젝트#01 복기 1편 (feat. Kafka란?)프로젝트 개요 및 선정 이유주제명: 가상 IoT 센서 데이터 실시간 스트리밍 수집 및 저장 해당 프로젝트는 가상의 IoT 센서 데이터를 5초 정도의 딜레이 시간을 주어 실시간으로 생성하여 Apache Kafkdysad.tistory.com 1편에 이어 2편입니다. 데이터베이스를 생각하게 되면 대부분 관계형 데이터베이스(Relational Database)인 MySQL, PostgreSQL, MS SQL 등을 떠올리실겁니다. 하지만 해당 사이드 프로..

프로젝트 개요 및 선정 이유주제명: 가상 IoT 센서 데이터 실시간 스트리밍 수집 및 저장 해당 프로젝트는 가상의 IoT 센서 데이터를 5초 정도의 딜레이 시간을 주어 실시간으로 생성하여 Apache Kafka를 통해 스트리밍하고, 이를 소비하여 데이터베이스에 저장 및 시각화하는 데이터 파이프라인 구축까지의 단계로 계획하였습니다. 해당 주제를 프로젝트로 선정한 이유는 다음과 같습니다:항목설명손쉬운 데이터 생성실제 센서는 없지만 Python 스크립트를 통해 가상의 온도, 습도, 기압 그리고 미세먼지 농도와 CO2 농도 등의 데이터를 랜덤 생성하여 쉽고 유연하게 프로젝트를 진행 가능함kafka 구조 심화 학습Producer가 데이터를 송신하고 Consumer가 데이터를 수신하는 Kafka의 스트리밍 모델을..

데이터 엔지니어란?데이터 엔지니어(Data Engineer)는 데이터를 수집하고 저장하고 전달하는 데이터 파이프라인(Data Pipeline)을 설계하고 운영하는 사람입니다. 데이터를 사용하는 데이터 분석가, 데이터 과학자, 머신러닝 엔지니어가 신뢰할 수 있는 데이터에 빠르게 접근할 수 있도록 기반을 마련해주는 역할입니다. 주요 역할역할설명데이터 수집 (Ingestion)다양한 소스(웹 로그, DB, API 등)로부터 데이터를 수집합니다.데이터 처리 및 정제 (Transformation)수집된 데이터를 정제하고 가공합니다 (ETL 또는 ELT).데이터 저장 (Storage)정제된 데이터를 적절한 데이터 저장소에 저장합니다 (DWH, Data Lake 등).데이터 파이프라인 구축 및 운영자동화된 파이프라인..