This website requires JavaScript.
포트폴리오 대표 이미지
데이터 크롤링분산형 뉴스+커뮤니티 센티먼트 엔진 NLP
  • 지역비대면 진행
  • 예산2,200,000원
  • 이용 목적웹 크롤링
  • 유형페이지 내용, 댓글, 페이지 제목, 평점
  • 분야검색 포털 (네이버, 구글 등), 동영상 채널 (유튜브 등)
  • 수량000페이지 이하
  • 기간1개월

뉴스 기사와 커뮤니티의 반응은 시장의 향방을 결정짓는 가장 빠른 신호입니다. 셰르파즈는 수백만 건의 비정형 텍스트를 실시간으로 분석하여, 대중의 심리를 지표로 전환하는 '센티먼트 엔진'을 구축했습니다. - 분산형 워커 노드 아키텍처 (RabbitMQ) 단일 서버의 한계를 넘어 RabbitMQ를 활용한 분산 처리 시스템을 설계했습니다. 이미지에서 확인하실 수 있듯 다수의 워커 노드(Worker Nodes)가 동시에 가동되어, 대량의 데이터를 병목 현상 없이 초고속으로 수집하고 처리합니다. - 실시간 감성 분석(Sentiment Analysis) 및 NLP 단순 키워드 추출을 넘어 자연어 처리(NLP) 기술을 통해 문맥을 파악합니다. 긍정/부정 수치를 실시간 점수화(+0.62 긍정 등)하여, 현재 특정 이슈에 대한 대중의 반응이 호재인지 악재인지 객관적인 데이터로 제시합니다. - 대용량 데이터 인덱싱 및 검색 (ElasticSearch) 120만 건 이상의 누적 데이터를 유연하게 관리하기 위해 ElasticSearch를 도입했습니다. 방대한 데이터 속에서도 원하는 키워드나 트렌드를 즉각적으로 검색하고 시각화할 수 있는 강력한 데이터 엔진을 갖추고 있습니다. - 직관적인 통합 모니터링 대시보드 복잡한 로그 데이터 대신 tkinter 기반의 커스텀 대시보드를 제공합니다. 수집 현황, 노드 상태, 실시간 핫 키워드, 채널별 감성 지수 비교 등을 한눈에 파악할 수 있어 관리자의 운영 편의성을 극대화했습니다. - 시장 트렌드 선점 및 리스크 관리 뉴스, 커뮤니티 등 채널별 감성 지수를 비교 분석하여 여론의 흐름을 입체적으로 조망합니다. 이는 브랜드 평판 관리부터 투자 전략 수립까지, 데이터에 기반한 기민한 대응을 가능하게 합니다.

이미지 2

셰르파즈
데이터 크롤링
별점
4.9(9)
IT·비즈니스 각 분야의 스페셜리스트들이 모여 구성된 셰르파즈입니다 🖥️ 기획부터 디자인, 풀스택 개발, 사후관리까지.

402에이전시 자사 웹페이지 풀스택 개발 및 배포 작업

0
12

LIK*** 서비스 플랫폼 풀스택 개발 (SMM 패널)

0
9

이커머스 대시보드 & 어드민 시스템 제작

0
69

스포츠플랫폼 하이브리드 앱 풀스택 개발 외주 작업

0
18
  • 402에이전시 자사 웹페이지 풀스택 개발 및 배포 작업

    0
    12
  • LIK*** 서비스 플랫폼 풀스택 개발 (SMM 패널)

    0
    9
  • 이커머스 대시보드 & 어드민 시스템 제작

    0
    69
  • 스포츠플랫폼 하이브리드 앱 풀스택 개발 외주 작업

    0
    18
  • 네이버 부동산 실거래가 대용량 데이터 크롤링

    1
    11
  • 아마존 실시간 이커머스 최적가 추적기

    0
    7
  • DART+KOSPI 지수 연계 크롤링 및 엑셀 보고

    0
    8
  • QGIS 서울특별시 인구증감률 데이터 분석 외주 작업

    0
    7
비슷한 스타일을 찾고 계신가요?의 다른 포트폴리오

제품 재고관리 조회 시스템 (동적 연동 데이터베이스)

1
179

금융 데이터

0
187

데이터베이스 개발

0
14

데이터와 문서 작업 서비스를 짧게 소개하는 영상입니다. 데이터 가공, 라벨링, 크롤링, 통계분석, 교정과 교열, 문서작성을 도와드립니다. 역량 소개용 예시 영상입니다.

1
23
  • 제품 재고관리 조회 시스템 (동적 연동 데이터베이스)

    1
    179
  • 금융 데이터

    0
    187
  • 데이터베이스 개발

    0
    14
  • 데이터와 문서 작업 서비스를 짧게 소개하는 영상입니다. 데이터 가공, 라벨링, 크롤링, 통계분석, 교정과 교열, 문서작성을 도와드립니다. 역량 소개용 예시 영상입니다.

    1
    23
  • 조달 업무 자동화: 데이터 기반 공고 추천 및 경쟁사 분석으로 효율 극대화

    0
    11
  • 수시 학원 업무 효율 100% 달성! 노션 데이터베이스 구축 및 자동화 솔루션

    0
    12
  • 엑셀 CSV 데이터 비교 및 불일치 확인 작업 샘플

    0
    1
  • 도서 쇼핑몰 1,000건 30초 수집하고 엑셀로 정리, 분석 리포트까지

    0
    1
  • 경쟁사 가격과 재고 매일 자동 감시

    0
    1