[Microsoft Data School] 나만의 최적 여행지 추천 시스템 구축기 (4) : 클라우드 환경 운영 경험과 프로젝트 회고
지금까지 우리는 ‘나만의 최적 여행지 추천 시스템’ 프로젝트의 초기 비전부터 데이터 수집 과정에서의 HTTP 429 오류 해결, 그리고 복잡한 데이터 통합 및 아키텍처 진화 과정까지 살펴보았다. 모든 데이터 파이프라인의 핵심 기능은 성공적으로 구현되었고, 로컬 환경에서 안정적으로 ...
Recent posts
[Microsoft Data School] 나만의 최적 여행지 추천 시스템 구축기 (3) : 아키텍처 변화와 데이터 처리 분석 (Stream Analytics ~ Databricks)
데이터 수집 단계에서 Google Trends HTTP 429 오류를 해결하고 필요한 데이터를 안정적으로 Azure Event Hubs에 모았다. 이제 수집된 원시 데이터를 가공하고 통합하여 ‘여행지 매력도 점수’를 산출하는 단계로 넘어왔다.
[Microsoft Data School] 나만의 최적 여행지 추천 시스템 구축기 (2) : 데이터 수집 및 Google Trends HTTP 429 오류 해결
지난 첫 번째 포스팅에서는 ‘나만의 최적 여행지 추천 시스템’ 프로젝트의 초기 비전과 데이터를 수집 및 처리하기 위한 전반적인 설계 방향을 소개했다. 하지만 구상과 현실은 달랐다. 프로젝트의 첫 번째 관문이자 가장 큰 도전은 바로 다양한 외부 데이터를 안정적으로 수집하는 과정에서 ...
2025-07-06-재난문자 API 활용 데이터 파이프라인 미니 프로젝트
1. 프로젝트 개요