상품 목록 페이지를 순회한 뒤 각 상세 페이지까지 진입해 필요한 항목을 모두 수집하고 엑셀에서 바로 열리는 CSV로 저장하는 도구입니다. [수집 구조] 1단계 - 카탈로그 페이지를 넘기며 상품명, 가격, 별점, 재고 여부, 상세 링크 수집 2단계 - 수집한 상세 링크에 각각 진입해 카테고리, 재고 수량, 상품코드, 리뷰 수, 상품 설명 추가 수집 [실측 성능] 50페이지 / 상품 1000건 / 항목 11개 / 수집 실패 0건 / 소요 64.9초 카테고리 50종 자동 분류 [안정성 처리] - 자동 재시도: 일시적 오류(429, 500번대)는 대기 시간을 늘려가며 3회까지 재시도 - 개별 실패 격리: 상품 하나가 실패해도 전체가 멈추지 않고 해당 행에 사유를 기록 - 요청 간격 조절: 대상 서버에 부하가 걸리지 않도록 간격을 두고 접근 - 진행률 로그: 어디까지 수집됐는지 실시간 확인 가능 - 수집량과 동시 처리 수를 실행 시점에 조절 가능 [결과물] CSV 파일 (엑셀 바로 열림) 또는 요청하시는 형식(JSON, 구글 시트, DB 적재) [적용 가능한 작업] 쇼핑몰/오픈마켓 상품가격 수집, 경쟁사 가격 모니터링, 정기 자동 수집, 수집 후 중복 제거 및 형식 정리 - 본 예제는 스크래핑 학습용으로 공개된 샌드박스 사이트를 대상으로 진행했습니다. 실제 작업은 의뢰인이 접근 권한을 보유한 대상에 한해 진행합니다.