1. 프로젝트 개요

프로젝트 주제

금융 데이터 분석 환경 구축

코스피 Top 100 종목과 관련 뉴스, 그 외 각종 경제 지표 데이터들을 수집 및 전처리하고 데이터 웨어하우스에 테이블로 저장해서 대시보드에 시각화하는 프로젝트이다.

주제 선정 이유

현재 주가 분석의 수요는 매우 높다. 또한 주가와 주가에 영향을 주는 요소들을 분석하는 경우도 매우 많아졌다. 따라서 금융과 관련된 데이터들을 통합한 데이터 웨어하우스를 구축해서 분석에 활용할 수 있는 환경을 조성하고, 구축된 환경으로 시각화하는 예시를 대시보드로 나타내는 것을을 목표로 프로젝트를 진행하였다.

기대효과

참여자 정보 및 각 역할, 기여도

이름 담당 업무 기여도
박진영 AWS 리소스(EC2, S3, RDS) 세팅, 대시보드 세팅, 스키마 설계,
뉴스·환율 데이터 EDA·ETL·ELT,
유가·금 시세·구리 시세 데이터 ETL·ELT,
차트 생성, CI/CD, 유닛 테스트 코드 작성 50%
이상진 Github 세팅, 스키마 설계, E-R 다이어그램 작성,
주식 데이터 EDA·ETL·ELT,
유가·금 시세·구리 시세 데이터 EDA 50%

진행도

Untitled

활용 기술 및 프레임워크

항목 기술명
데이터 수집 Open API, BeautifulSoup, Python
데이터 웨어하우스 PostgreSQL
데이터 레이크 AWS S3
데이터 파이프라인 Airflow
대시보드 Preset.io
환경 세팅 및 관리 AWS EC2, Github Actions, Docker
협업 도구 Slack, Github

2. 프로젝트 구현

시스템 아키텍처

Untitled

전체 과정