[강의 목표] - 비전공자 혹은 초보자가 스스로 원하는 데이터를 수집하고 저장하는 크롤러를 개발 할 수 있도록 이끌겠습니다. - 예제만 따라 치면서 주입식 코딩이 아닌 스스로 생각하면서 구현하는 자기주도적 코딩이 가능하도록 만들겠습니다. - 다양한 데이터 수집 방법을 배우면서 프로그래밍과 크롤링 기술을 이해하고 응용할 수 있도록 도와드리겠습니다. - 최종적으로 특정 웹 사이트나 웹 서비스를 이용하면서 "어? 이거 한번 수집해볼까?" 생각하는 순간 곧바로, 크롤러 개발이 가능한 개발자가 될 수 있도록 최선을 다해 제 모든 지식을 전달해 드리겠습니다. [레슨 커리큘럼] 강의 주제 : 글쓰기와 코딩은 한끗 차이, 자신의 생각과 아이디어를 글을 쓰듯이 코딩하자! --------------------------------------------------------------- # Part1. 데이터 수집 재료 모으기 (기본편 - 이론수업) (학습목표) : 파이썬 언어의 이해와 웹상에서 데이터 수집(크롤링)이 어떤 방식으로 이루어지는지 전반적인 과정을 이해하고 지식을 습득합니다. (강의내용 - 총 3시간) : - 프로그래밍과 파이썬의 이해 - 데이터 수집(크롤링) 과정의 이해 - 파이썬 기반 데이터 수집 방식과 필요한 기술 설명 --------------------------------------------------------------- # Part2. 데이터 수집 재료 정돈하기 (개발환경 설정편 - 실습수업) (학습목표) : 파이썬을 기반으로 데이터 수집 크롤러를 개발하는데 필요한 개발도구, 라이브러리, 언어 등을 자신의 PC에 설치하고 셋팅합니다. (강의내용 - 총 2시간) : - 파이썬 언어, 개발도구 설치 - 개발 환경 설정(가상환경, 환경변수 등) - 개발 테스트 코딩 --------------------------------------------------------------- # Part3. 나만의 크롤러 요리 만들기 (크롤러 개발편 - 실습수업) (학습목표) : 수강생이 스스로 선택한 웹 사이트에서 원하는 데이터를 수집하는 크롤러를 개발합니다. (강의내용 - 5시간) : - 정적인 크롤링 방식으로 개발하기 -> Requests + BeautfulSoup - 동적인 크롤링 방식으로 개발하기 -> selenium + Chrome Webdriver - 번외 (API 방식으로 데이터 가져오는 방법) -> 공공 데이터 포털 API 사용하기 --------------------------------------------------------------- # Part4. 크롤링 심화 (크롤링 심화편 - 실습수업) (학습목표) : 안정적인 크롤러를 만들기 위한 최적의 크롤러 아키텍처 및 우회/회피 기술 등을 배우고 자신의 크롤러에 적용합니다. 기본 수업은 Part3까지 입니다. 크롤링 심화(Part4) 수업은 Part3까지 수강완료한 수강생들 중 심화수업을 듣고 싶은분들에게만 번외로 진행되는 레슨입니다. 심화 수업부터는 강의 내용과 배울 내용이 워낙 방대해지기 때문에 강의 내용과 세부사항은 따로 전달하도록 합니다. --------------------------------------------------------------- [저만의 개발 철학] "개발은 절대 어렵고 복잡한 것이 아닙니다. 단지, 익숙하지 않았던 것 뿐입니다" 저는 20대 후반까지 비전공자에다 누구보다 컴퓨터를 잘 다루지 못했습니다. 처음 개발자가 되겠다고 결심하고 교육원에서 공부를 시작했지만 남들 다 이해하는 기초 이론마저도 저에게는 외계어를 보는 것 같이 마냥 어렵고 이해를 못했습니다. "난 이분야에 재능이 없다", "이과적 사고가 부족한 것이다." 등으로 합리화하며 포기하려했죠. 하지만 포기하기엔 저는 벼랑끝의 상황이었고, 어쩔 수 없이 계속 공부를 이어나갔습니다. 모든 수단과 방법을 가리지 않고 다양한 공부법도 적용해보고 이해가 안가더라도 끝까지 부딪혀가며 공부했습니다. 그리고 결국, 저는 한 가지 중요한 사실을 깨달았습니다. 개발이 마냥 어려운 분야가 아니었다는 사실이었습니다. 저에게 외계어 같았던 개발 용어와 코드들이 시간이 지나면서 제 머리로 이해할 수 있는 언어로 바뀌기 시작했습니다. 그리고 기본적인 프로그래밍 언어와 문법이 외계어로 보이지 않을 때, 개발에 재미가 붙었고 학습 능력이 올라가기 시작했습니다. 곰곰이 생각해보니, 제가 개발을 어렵게 느꼈던 이유가 익숙하지 않은 문법, 용어, 복잡하게만 보이는 코드들에 지레 겁을 먹었던 것이었습니다. 이를 극복하고 나니, 개발은 더 이상 저에게 어렵지 않았습니다. 인간은 누군가와 커뮤니케이션하기 위해 어렸을 적부터 언어를 배웁니다. 그리고 우리가 줄 곳, 쓰고 배워왔던 한국어와 영어를 보면 거부감이 없습니다. 하지만 중국어, 일본어, 불어 등 다른 언어를 처음 배운다면 어떨까요? 당연히 부담스럽고 마냥 어렵게만 느껴질 것 입니다. 프로그래밍 언어도 똑같습니다. 인간과 컴퓨터는 서로 이해하는 언어가 다릅니다. 둘 사이 커뮤니케이션을 하기 위해 프로그래밍 언어를 배웁니다. 처음에 프로그래밍 언어를 접하면 당연히 막막할 것입니다. 하지만 이것이 정상입니다. 충분히, 극복 가능한 분야이고, 어렵지 않은 분야이며, 누구나 개발자가 될 수 있다는 것을 저는 증명했습니다. 개발은 어려운 것이 아닌, 익숙하지 않은 것일 뿐입니다. 비전공자에 컴퓨터를 잘 다루지 못했던 제가 30대를 바라보는 시점에 개발자라는 새로운 커리어를 시작하면서 부딪혔던 어려움과 고충을 극복하면서 터득한 저만의 노하우를 어러분께 아낌없이 전달해드리겠습니다.