[프로젝트] 엑셀 데이터 정제 및 검증 자동화 여러 사람이 오래 만져서 형식이 제각각이 된 엑셀 파일을, 그대로 업무에 쓸 수 있는 상태로 정리한 작업입니다. [흔히 있는 문제] 같은 회사인데 표기가 달라서 다른 회사로 집계됩니다. 날짜가 텍스트와 날짜형으로 섞여 있어 정렬이 되지 않습니다. 금액에 쉼표와 원 표시가 섞여 있어 합계가 잡히지 않습니다. 중복 행을 지우긴 했는데 무엇을 지웠는지 아무도 모릅니다. [진행 과정] 1) 정제 규칙을 먼저 문서로 확정합니다. 중복 판정 기준, 필수 컬럼, 날짜와 금액 형식을 합의한 뒤에 시작합니다. 2) 파이썬으로 정규화합니다. 표기 통일, 형식 변환, 공백과 특수문자 정리, 중복 병합을 규칙대로 처리합니다. 3) 행 단위로 검증합니다. 규칙에 어긋나거나 판단이 애매한 행은 지우지 않고 검토 대상으로 표시합니다. 4) 변경 로그를 남깁니다. 어떤 행의 어떤 값이 무엇에서 무엇으로 바뀌었는지 전부 기록합니다. [납품물] 정리된 엑셀 파일 변경 로그 시트 (원본값, 변경값, 적용한 규칙) 검토 필요 시트 (자동 판단을 보류한 행) 같은 작업을 다음에 다시 돌릴 수 있는 실행 스크립트 [제가 지키는 원칙] 조용히 지우지 않습니다. 애매하면 지우는 대신 표시해서 넘깁니다. 데이터 정리에서 가장 위험한 것은 틀린 데이터가 아니라, 틀렸는지도 모르게 사라진 데이터라고 보기 때문입니다. 작업은 파이썬으로 진행하며, 같은 형식의 파일이 매달 반복된다면 그때부터는 사람이 손대지 않아도 되도록 자동화합니다.

정제 규칙 확정, 검증, 변경 로그까지 이어지는 작업 흐름