단순 스크래핑이 아닌 ISO 28500 표준 WARC 포맷으로 원본을 통째로 보존하는 크롤링 파이프라인을 설계하여 데이터 납품을 진행한 용역입니다 build_catalog(수집 대상 명단) -> crawl_warc(HTTP 요청/응답 통째 녹화) -> extract_from_warc(WARC만 읽어 텍스트/토큰 추출)의 3단계 파이프라인을 표준화하고 이 구조를 서로 다른 사이트)에 동일하게 적용하여 사이트 모두 catalog(계획) - WARC(실물) - manifest(색인) 세 축이 doc_id/warc_record_id로 상호 참조되도록 설계해, 계획한 N건 = 실제 수집 N건을 기계적으로 증빙할 수 있게 했습니다.