Perplexity 스타일 AI 뉴스 검색 챗봇 - RAG 파이프라인 구축 국내 주요 언론사의 실시간 뉴스 데이터를 수집/처리하여, RAG 기술을 활용한 AI 검색 및 챗봇 서비스를 개발했습니다. Perplexity와 유사하게 최신 뉴스를 기반으로 정확한 정보를 제공하고 출처를 명시하는 생성형 AI 서비스입니다. 주요 기능 - 실시간 뉴스 수집: 국내 30+ 주요 언론사 실시간 크롤링 - 의미 기반 검색: 벡터 검색을 통한 관련 뉴스 정확도 향상 - AI 챗봇 응답: LLM 기반 자연어 답변 생성 - 시제 기반 검색: 과거/현재 시점에 맞는 정확한 뉴스 검색 - 다중 질의 처리: 복잡한 질문을 분해하여 종합 답변 제공 주요 성과 - 시제 기반 정확한 검색: 사용자 질의의 시제(과거/현재)를 분석하여 해당 시점의 정확한 뉴스 검색 및 답변 제공 - 무손실 데이터 파이프라인: Kafka + Redis를 통한 메시지 큐잉으로 데이터 손실 0% 달성 - 데이터 규모: 100만+ 기사 인덱싱, 일평균 5,000+ 신규 기사 처리 - 응답 정확도: RAG 도입으로 할루시네이션 85% 감소, 출처 명시로 신뢰도 향상 - 검색 속도: Elasticsearch 최적화로 평균 응답 시간 200ms 이하 - 시스템 안정성: 99.5% 가용성, ELK Stack을 통한 실시간 모니터링