네이버 쇼핑 아이템 목록 가져오기

참고한 유튜브 > https://youtu.be/yQ20jZwDjTE

 

 

1. 스크래핑에 필요한 패키지 설치

BeautifulSoup, Requests 패키지가 설치되었는지 확인한다.

pip list

목록에 beautifulsoup4 , requests 패키지가 없다면 설치해준다.

pip install beautifulsoup4
pip install requests

+ 구문을 분석해주는 parser설치

pip install lxml

 

2. python 파일 생성

파싱을 위한 코드를 작성할 파이썬 파일을 생성한다.

vi parser.py

 

3. HTML 데이터 가져오기

파싱해올 웹 사이트에서 연극 목록 중 연극명을 가져올 코드를 작성해준다.

import requests
from bs4 import BeautifulSoup

url = "https://search.shopping.naver.com/search/all?frm=NVSHTTL&origQuery=%EC%97%B0%EA%B7%B9&pagingIndex=1&pagingSize=40&productSet=total&query=%EC%97%B0%EA%B7%B9&sort=rel&timestamp=&viewType=list"
res = requests.get(url)
res.raise_for_status() #문제가 있으면 바로 종료

soup = BeautifulSoup(res.text, "lxml")

# 네이버 쇼핑 > 연극 전체 목록 가져오기
items = soup.find_all(attrs={"class":"basicList_link__1MaTN"})
for i in range(len(items)):
    print(i+1, items[i].get_text())

코드를 작성해주고, 실행하면 아래와 같이 연극 목록 파싱에 성공한 것을 확인할 수 있다!!👏

그런데 네이버 쇼핑을 5개만 가져왔다. 이는 스크롤할 때마다 제품들이 5개씩 나오게 되기 때문이다.

 

4. json 데이터 가져오기

• 5개의 결과만 나오는 것을 해결하기 위해선, document형식의 파일 대신 json형식의 파일이 필요하다. (네이버 쇼핑의 경우, 2페이지로 넘어가야 해당 json파일이 보인다.)
• 제품의 이름과 가격에 해당하는 데이터가 어디에 있는지 확인해 주어야 한다!! (shoppingResult > products > 인덱스(0~39) > price와 productTitle)

• json파일을 cURL(bash)로 카피하여 변환 사이트에서 python코드로 변환해준다. 

• 코드를 아래와 같이 변경해준다.

import requests
from bs4 import BeautifulSoup

import json

headers = {
    'authority': 'search.shopping.naver.com',
    'sec-ch-ua': '"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
    'accept': 'application/json, text/plain, */*',
    'sec-ch-ua-mobile': '?1',
    'logic': 'PART',
    'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Mobile Safari/537.36',
    'sec-fetch-site': 'same-origin',
    'sec-fetch-mode': 'cors',
    'sec-fetch-dest': 'empty',
    'referer': 'https://search.shopping.naver.com/search/all?query=%EC%97%B0%EA%B7%B9&frm=NVSHATC&prevQuery=%EB%8C%80%ED%95%99%EB%A1%9C%20%EC%97%B0%EA%B7%B9',
    'accept-language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
    'cookie': 'NNB=GJPQMV2O2P4GA; _ga=GA1.2.1943308185.1627909138; nx_ssl=2; AD_SHP_BID=28; _shopboxeventlog=false; page_uid=hdzwRlp0JxCssZ9/XqwssssssKs-015485; SHP_BID=4; spage_uid=hdzwRlp0JxCssZ9%2FXqwssssssKs-015485; BMR=s=1628238052835&r=https%3A%2F%2Fm.blog.naver.com%2Fdororong97%2F222060637228&r2=https%3A%2F%2Fm.blog.naver.com%2FPostView.naver%3FisHttpsRedirect%3Dtrue%26blogId%3Ddororong97%26logNo%3D222063604094; listOffset=4; sus_val=PvkquAEXtN7QiMq8cS2jZ7Su',
}

params = (
    ('sort', 'rel'),
    ('pagingIndex', '2'),
    ('pagingSize', '40'),
    ('viewType', 'list'),
    ('productSet', 'total'),
    ('deliveryFee', ''),
    ('deliveryTypeValue', ''),
    ('frm', 'NVSHATC'),
    ('query', '\uC5F0\uADF9'),
    ('origQuery', '\uC5F0\uADF9'),
    ('iq', ''),
    ('eq', ''),
    ('xq', ''),
)

response = requests.get('https://search.shopping.naver.com/api/search/all', headers=headers, params=params)

result_dict = json.loads(response.text)
product_data = result_dict['shoppingResult']['products']

for i in product_data:
    try:
        product = i['productTitle']
        price = i['price']
        # print(product, price)
        smart_farm_data = {
            'product': product,
            'price': price  
            }
        print(smart_farm_data)
    except:
        pass

 

파일을 실행해주면 아래와 같이 40개의 결과가 출력되는 것을 확인할 수 있다. 👍