대형 이커머스에서 고객의 클릭/구매 로그로 추천 모델을 만들고, 결과를 준실시간 추천 API로 서비스했습니다. 모델링부터 데이터 마트, API 운영까지 맡았습니다. (2017.09 ~ 2020.12) [흐름] 고객 로그(클릭/구매) -> Spark ETL(정제/집계) -> 모델링(구매: ALS 협업필터, 클릭: FP-Growth 연관규칙) -> 추천 마트(MongoDB + Redis 캐싱) -> 추천 API(준실시간 서빙) [모델링] - 구매 데이터 ALS 모델로 추천 컬렉션을 다양화해 클릭률(CTR) 상승 - 클릭 데이터 FP-Growth 모델의 최소 지지도/신뢰도 최적화 - 파라미터 변경 시 생기는 성능 문제를 Spark FP-Growth 코드 일부를 수정해 해결 [운영] - Spark 리소스 부족을 YARN Queue로 작업별 자원을 나눠 해결 - MongoDB 마트와 Redis 캐싱 위에서 추천 API 운영 [서비스 개발] - 추천/광고 상품 등록 시스템, 전사 판촉 이벤트 시스템, 기존-신규 시스템 연동 사용 기술: Spark ML, Scala, Spring Boot, WebFlux, MongoDB, Redis

로그 수집 -> 모델링 -> 추천 마트 -> 추천 API 흐름