본문 바로가기
STUDY/PYTHON

크롤링

by brown_board 2023. 3. 7.
728x90

 

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
from bs4 import BeautifulSoup
import requests
 
# https://search.naver.com/search.naver?sm=tab_hty.top&where=news&query=%ED%8F%AC%EC%8A%A4%EC%BD%94&oquery=vhtmzh&tqi=isjSSwp0J1sssSx9RKGsssssscK-243205
url = "https://search.naver.com/search.naver"
 
### 주소파라미터한번에 들고오기
#  f12 -> clear-> 새로고침 - >network -> dox클릭 -> Payload
# 한꺼번에 선택 -> ctrl + alt + shift + 방향키
p={
    "sm""tab_hty.top",
    "where""news",
    "query""포스코" }
res = requests.get(url,params=p) #<Response [200]>
# res.text # html 코드 들고옴
 
# res.text 내용을 정리할것임
soup = BeautifulSoup(res.text,"html.parser")
 
# copy selector
sel = "#sp_nws1 > div > div > a"
title = soup.select(sel)
print(title[0].text) # 리스트 자료구조에서 title만 가져옴
cs

 

사용자 -> 서버 (request)

서버 -> 사용자 (response)

728x90

'STUDY > PYTHON' 카테고리의 다른 글

새롭게 알게 된 것들 정리  (0) 2022.08.11

댓글