Python
-
Crawling with python 3 준비(1)Python 2020. 2. 9. 00:48
1. 웹 크롤링이란? 리서치의 영역에서 정보를 수집하는 것은 기본 중에 기본입니다. 우리는 단순하게 데스크 리서치를 통해 정보를 수집할 수도 있습니다만, 그러한 단순 작업을 반복하는 것은 그 누구도 원하지 않습니다. 웹 크롤링은 웹 사이트에 있는 정보들에 쉽게 수집할 수 있는 자동화 기술을 의미합니다. 2. 웹 크롤링의 필요성 예를 들어보죠. 우리는 '2020년 1월 한 달간 있었던 이슈'를 정리하고 싶습니다. 그러기위해 '각 신문사에서 나왔던 뉴스'를 수집하여 정리하기로 합니다. 각 신문사 별 사이트에 들어가서, 최대한 제목만 보고 자료를 모으는데, 처음 100개까지는 어렵지 않았는데, 1000개가 되고 10000개가 되니 힘들고, 지루하고, 회의감이 듭니다. 웹 크롤링은 이럴 때 필요합니다. 컴퓨터가..