Web Scraping이란?

웹 데이터 처리 단계 : [수집] -> [저장] -> [처리] -> [분석] -> [시각화]

(이 중 웹 스크래핑은 [수집] 단계임)

 

---

웹 스크래핑이란?

• 웹 스크래핑(Web scraping)은 특정 페이지의 HTML 문서에 소스 중에서 원하는 정보만 추출하는 기술이다.
• 웹 스크래핑은 네이버 쇼핑 최저가 검색, 인스타그램 태그 검색 등 많은 곳에 사용되고 있다.

 

 

1) 웹 스크래핑 메커니즘

1. 대상선정 : 정보를 추출해올 url로 이동한다. 만약 네이버 쇼핑에서 연극에 대한 정보를 파싱해 오려면 https://search.shopping.naver.com/search/all?where=all&frm=NVSCTAB&query=%EC%97%B0%EA%B7%B9
2. 데이터 로드 : API를 가져오려면 XML, JSON 데이터를 가져오고, 웹 페이지를 스크래핑하려면 HTML문서의 데이터를 가져온다.
3. 데이터 분석 : 로드된 데이터에서 필요한 부분을 선정한다.
4. 수집 : 데이터 분석 과정을 통해 수집할 내용을 선정한 후, 이를 추출하여 파일 또는 데이터를 메모리상에 저장한다.

 

 

2) 웹 스크래핑을 위한 라이브러리

• BeautifulSoup : 파이썬 스크래핑 라이브러리 (설치 : pip install beautifulsoup4) 

1-1) BeautifulSoup 

- 개념

• BeautifulSoup 기본적으로 HTML을 온전하게 불러올 수 있도록 도와주는 모듈이다.
• 원래 HTML은 태그로 이루어져 있고, 수많은 공백과 변화하는 소스들 때문에 오류가 있을 수도 있어, 정규표현식등으로 불러오기 힘들다. 하지만 beautifulsoup을 이용하면 알아서 이러한 오류를 잡아서 고친 후 우리에게 데이터를 전달해준다. 

- 단계

• 1. request : 웹페이지의 URL을 이용해서 HTML 문서를 요청
• 2. response : 요청한 HTML 문서를 회신
• 3. parsing : 태그 기반으로 파싱(일련의 문자열을 의미있는 단위로 분해)

위 3단계를 거쳐 스크래핑을 수행한다.

 

- BeautifulSoup에서 사용할 수 있는 파서의 장단점

Parser	선언방법	장점	단점
파이썬 html.parser	BeautifulSoup(markup, 'html.parser')	설치할 필요 없음 적당한 속도
lxml HTML parser	BeautifulSoup(markup, 'lxml')	매우 빠름	lxml 추가 설치 필요
lxml XML parser	BeautifulSoup(markup, 'lxml-xml') BeautifulSoup(markup, 'xml')	매우 빠름 유일하게 지원되는 xml parser	lxml 추가 설치 필요
html5lib	BeautifulSoup(markup, 'html5lib')	웹 브라우저와 같은 방식으로 페이지를 파싱 유효한 HTML5 생성	html5lib 추가 설치 필요매우 느림

• Requests: HTTP 요청을 보낼 수 있도록 기능을 제공하는 라이브러리 (설치 : pip install requests)