지난 첫 번째 포스팅에서는 ‘나만의 최적 여행지 추천 시스템’ 프로젝트의 초기 비전과 데이터를 수집 및 처리하기 위한 전반적인 설계 방향을 소개했다. 하지만 구상과 현실은 달랐다. 프로젝트의 첫 번째 관문이자 가장 큰 도전은 바로 다양한 외부 데이터를 안정적으로 수집하는 과정에서 ...
Azure Event Hubs: 대규모 실시간 데이터 스트리밍의 핵심 허브
[데이터 엔지니어링] 데이터 정규화(Normalization) : 비교 가능한 데이터를 만드는 방법
1. 서론: Python과 Pandas의 한계, 그리고 PySpark & Databricks의 필요성
1. Pandas로는 부족했던 이유, Pyspark가 필요한 배경
지난 첫 번째 포스팅에서는 ‘나만의 최적 여행지 추천 시스템’ 프로젝트의 초기 비전과 데이터를 수집 및 처리하기 위한 전반적인 설계 방향을 소개했다. 하지만 구상과 현실은 달랐다. 프로젝트의 첫 번째 관문이자 가장 큰 도전은 바로 다양한 외부 데이터를 안정적으로 수집하는 과정에서 ...
Azure Event Hubs: 대규모 실시간 데이터 스트리밍의 핵심 허브
[데이터 엔지니어링] 데이터 정규화(Normalization) : 비교 가능한 데이터를 만드는 방법
1. 서론: Python과 Pandas의 한계, 그리고 PySpark & Databricks의 필요성
1. Pandas로는 부족했던 이유, Pyspark가 필요한 배경
1. 서론 : 왜 서버리스 컴퓨팅(Azure Functions)인가?
[Learn] Python 기초와 데이터 처리: 데이터 엔지니어의 필수 도구
1. 프로젝트 개요
1. 서론 : 왜 서버리스 컴퓨팅(Azure Functions)인가?
[Learn] Python 기초와 데이터 처리: 데이터 엔지니어의 필수 도구
[Learn] Python 기초와 데이터 처리: 데이터 엔지니어의 필수 도구
[Learn] Python 기초와 데이터 처리: 데이터 엔지니어의 필수 도구
[Learn] Python 기초와 데이터 처리: 데이터 엔지니어의 필수 도구
1. 서론 : 왜 서버리스 컴퓨팅(Azure Functions)인가?
1. 프로젝트 개요