SC0908 SC1956 SC1944 SC4907 SC7909 SC0916 SC2920 SC2940 SC1941 SCN902

30분만에 따라하는 동시성 웹 스크래퍼

  • 파이썬 응용
  • 2014-08-30 (Sat) 14:45 - 15:30
  • Korean
  • 계단강의실
  • Photography and recording is allowed

Presentation slides

http://www.slideshare.net/cornchz/pyconkr-2014-30

Presentation video

http://www.youtube.com/watch?v=TcORgdlJFM8

PDF

http://pythonkr.github.io/pyconkr-2014/pdf/pyconkr-2014-15_scraper.pdf

Description

빅데이터, 데이터마이닝, 공공데이터, 오픈데이터 - 그 어느때보다 데이터 분석 및 활용이 중요해진 이 시기에 웹 상의 수많은 공개된 자료를 직접 수집할 수 있는 웹 스크래핑/크롤링 기술은 데이터 수집 및 활용 능력에 큰 도움이 됩니다.

이 강의에서는 크롤링 프레임웍을 사용하지 않고 HTTP, DOM, concurrency를 담당하는 기본적인 라이브러리만을 사용해 직접 웹 스크래퍼를 처음부터(from scratch) 작성해 봄으로써, 언제든 자유도 높은 동시성 크롤러를 직접 구현할 수 있도록 작동 원리를 이해할 수 있도록 합니다.

Comments

blog comments powered by Disqus

Sponsor list


플래티넘


골드


실버


출판 및 미디어