温馨提示×

怎么使用BeautifulSoup与requests库爬取网页

小亿
90
2024-05-14 12:47:13
栏目: 编程语言

首先需要安装BeautifulSoup和requests库,可以通过以下命令安装:

pip install beautifulsoup4
pip install requests

接下来可以使用以下代码来爬取网页内容:

import requests
from bs4 import BeautifulSoup

# 发起GET请求
url = 'https://www.example.com'
response = requests.get(url)

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到需要的内容
content = soup.find('div', class_='content').text

print(content)

在上面的代码中,首先发起一个GET请求并获取网页的内容,然后使用BeautifulSoup解析网页内容。接着通过find方法找到需要的内容,最后打印出来。可以根据网页的具体结构和需要的内容做相应的调整。

0