[프로젝트] AI 출력 품질 검증 체계 구축 AI를 붙여 놨는데 답이 잘 나오는지 아무도 확신하지 못하는 상태를, 숫자로 확인할 수 있는 상태로 바꾼 작업입니다. [이런 상황에서 씁니다] 프롬프트를 고쳤는데 좋아진 건지 나빠진 건지 알 수 없습니다. 어제는 잘 답하던 질문에 오늘은 엉뚱하게 답합니다. 문제가 생기면 그때그때 손으로 몇 개 넣어 보며 확인하고 있습니다. 고객에게 나가면 안 되는 답이 나갈까 봐 불안합니다. [진행 과정] 1) 정답 세트를 만듭니다. 실제로 들어오는 질문과 기대하는 답을 모아 채점 기준이 되는 목록을 만듭니다. 2) 채점 방식을 정합니다. 정확히 맞아야 하는 항목, 형식만 맞으면 되는 항목, 사람 판단이 필요한 항목을 나눠서 각각 다르게 채점합니다. 3) 한 번에 전부 돌려 점수를 냅니다. 프롬프트나 모델을 바꿀 때마다 같은 세트로 다시 돌려 이전과 비교합니다. 4) 기준 미달이면 막습니다. 정해 둔 점수에 미치지 못하면 배포 단계에서 멈추도록 걸어 둡니다. 5) 위험한 출력을 걸러 냅니다. 개인정보가 섞여 나오거나, 시키지 않은 지시를 따라가는 입력을 시험해 보고 막는 장치를 넣습니다. [납품물] 질문과 기대 답으로 이루어진 평가 세트 한 번에 돌려 점수표를 뽑는 실행 도구 기준 미달 시 배포를 멈추는 설정 위험 입력 시험 목록과 그 결과 [제가 지키는 원칙] 점수는 있는 그대로 보고합니다. 통과율이 낮게 나오면 채점 기준을 느슨하게 고치는 게 아니라 낮은 대로 보여드리고 무엇을 고쳐야 하는지 함께 정리합니다. 검증의 목적은 좋아 보이는 숫자를 만드는 것이 아니라 나가면 안 되는 답을 막는 것이기 때문입니다. 모든 수치는 같은 세트로 다시 돌리면 그대로 재현됩니다. 재현되지 않는 숫자는 납품물에 넣지 않습니다.

평가 세트 구성, 자동 채점, 기준 미달 차단, 위험 입력 시험으로 이어지는 흐름