공개된 범위 안에서만 모으는 데이터 수집기입니다. 대상은 고객 본인 사이트-본인 계정, 공개 API, robots.txt 가 허용한 공개 페이지입니다. 남의 사이트를 긁어 오는 대행은 하지 않습니다. 직접 구현한 부분 - robots.txt 를 먼저 받고 못 받으면 중단. "없으면 전부 허용"으로 넘어가지 않음 - Allow/Disallow 최장 일치-와일드카드 판정. 사이트맵에 있어도 막힌 주소는 이유와 함께 제외 - Crawl-delay 를 지키며 한 번에 하나씩. 동시 요청이 없어 차단당하지 않음 - ETag-Last-Modified 조건부 요청으로 안 바뀐 페이지는 안 받음 - 행마다 주소-시각-본문 해시를 남겨 원본과 대조 가능. CSV 로 출력 검사 22건이 붙어 있습니다. 막힌 경로에 한 번이라도 가면 실패로 떨어지고, 요청 간격은 받는 서버에서 잽니다. 실측: 주소 14개 중 12건 수집-2건 제외, 재실행 시 전부 건너뜀. Node.js - 외부 라이브러리 없음