[프로젝트] 사내 문서 질의응답 챗봇 구축 규정집, 매뉴얼, 계약서, 제품 사양서처럼 양이 많아 아무도 다 읽지 못하는 문서를 대상으로, 질문하면 답과 근거를 함께 보여주는 챗봇을 만든 작업입니다. [이런 상황에서 씁니다] 신입이 물어볼 때마다 선임이 같은 답을 반복하고 있습니다. 규정이 어디에 적혀 있는지 찾느라 시간을 씁니다. 일반 챗봇에 물어보면 그럴듯한데 회사 규정과는 다른 답이 나옵니다. 답이 맞는지 확인하려면 결국 원문을 다시 찾아야 합니다. [진행 과정] 1) 문서를 의미 단위로 나누어 검색할 수 있게 정리합니다. 표와 조항 번호가 흩어지지 않도록 나누는 기준을 문서 종류마다 다르게 잡습니다. 2) 질문이 들어오면 관련 대목을 먼저 찾고, 찾은 대목 안에서만 답을 만들게 합니다. 3) 답변에 근거를 붙입니다. 어느 문서 어느 부분에서 나온 답인지 함께 보여줘서 사람이 바로 확인할 수 있게 합니다. 4) 없는 것은 없다고 답하게 합니다. 문서에서 근거를 찾지 못하면 지어내는 대신 확인이 필요하다고 답하도록 만듭니다. 5) 실제 질문 목록으로 시험합니다. 현업에서 자주 나오는 질문을 정답과 함께 모아 두고, 답이 맞는지 근거가 제대로 붙는지 반복해서 확인합니다. [납품물] 질문하고 답을 받는 화면 근거 문서를 함께 보여주는 답변 형식 시험용 질문과 정답 목록, 그리고 그 결과표 문서가 늘어났을 때 다시 넣을 수 있는 갱신 스크립트 [제가 지키는 원칙] 근거 없는 답을 하지 않게 만드는 것이 이 작업의 핵심입니다. 챗봇이 매끄럽게 말하는 것보다, 틀렸을 때 사람이 바로 알아챌 수 있는 구조가 훨씬 중요하다고 봅니다. 그래서 답변에는 항상 출처가 붙고, 모르는 것은 모른다고 답하도록 만듭니다. 사내 문서를 다루는 작업이라 자료는 작업 목적 외에는 쓰지 않으며, 필요하시면 외부로 나가지 않는 방식으로도 구성할 수 있습니다.

문서 정리, 근거 검색, 출처 표시, 시험 질문 검증으로 이어지는 흐름