금융 데이터 분석 환경 구축
코스피 Top 100 종목과 관련 뉴스, 그 외 각종 경제 지표 데이터들을 수집 및 전처리하고 데이터 웨어하우스에 테이블로 저장해서 대시보드에 시각화하는 프로젝트이다.
현재 주가 분석의 수요는 매우 높다. 또한 주가와 주가에 영향을 주는 요소들을 분석하는 경우도 매우 많아졌다. 따라서 금융과 관련된 데이터들을 통합한 데이터 웨어하우스를 구축해서 분석에 활용할 수 있는 환경을 조성하고, 구축된 환경으로 시각화하는 예시를 대시보드로 나타내는 것을을 목표로 프로젝트를 진행하였다.
| 이름 | 담당 업무 | 기여도 |
|---|---|---|
| 박진영 | AWS 리소스(EC2, S3, RDS) 세팅, 대시보드 세팅, 스키마 설계, | |
| 뉴스·환율 데이터 EDA·ETL·ELT, | ||
| 유가·금 시세·구리 시세 데이터 ETL·ELT, | ||
| 차트 생성, CI/CD, 유닛 테스트 코드 작성 | 50% | |
| 이상진 | Github 세팅, 스키마 설계, E-R 다이어그램 작성, | |
| 주식 데이터 EDA·ETL·ELT, | ||
| 유가·금 시세·구리 시세 데이터 EDA | 50% |

| 항목 | 기술명 |
|---|---|
| 데이터 수집 | Open API, BeautifulSoup, Python |
| 데이터 웨어하우스 | PostgreSQL |
| 데이터 레이크 | AWS S3 |
| 데이터 파이프라인 | Airflow |
| 대시보드 | Preset.io |
| 환경 세팅 및 관리 | AWS EC2, Github Actions, Docker |
| 협업 도구 | Slack, Github |
