크롤링이란? 인터넷에서 데이터가 방대해지면서 우리는 그걸 활용할 필요성이 높아졌다. 이런 정보들을 우리가 분석하기 쉽고 활용하기 편하게 데이터를 수집하는 행위를 크롤링(Crawling) 이라고 하고 크롤링하는 프로그램을 크롤러(Crawler)라고 한다. 원하는 데이터를 추출하는 스크래핑(Scraping)과 개념이 혼동되기도하는데 크롤링의 정확한 정의는 다양한 웹사이트의 페이즈를 브라우징하는 작업을 말한다. 그런데 사실상 정보를 수집하기 위해선 브라우징만 하는건 쉽지가 않다. 페이지 안에 있는 데이터를 추출해 가공하는게 대부분 최종 목표이기도 하다. 크롤링의 원리 웹페지는 HTML 문서로 작성되어 있다. 그리고 이 문서에는 인터페이스를 참조할 수 있는 CSS파일과 페이지 상호작용을 위한 JavaScript..