怎么用Python爬取网页

下面给你一个从入门到实用的 Python 爬取网页指南，包含基本原理、常用库和示例代码。

一、爬虫基本原理

1. 发送请求：向网页服务器请求 HTML
2. 获取响应：得到网页内容（HTML / JSON）
3. 解析内容：提取你需要的数据
4. 保存数据：存成文件或数据库

二、最基础的爬虫（requests + BeautifulSoup）

1️⃣ 安装库

pip install requests beautifulsoup4

2️⃣ 示例：爬取网页标题

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
response = requests.get(url)

# 解析网页
soup = BeautifulSoup(response.text, "html.parser")
print(soup.title.text)

三、提取具体内容（如文章、链接）

示例：爬取所有链接

for link in soup.find_all("a"):
    print(link.get("href"))

示例：按 class 提取内容

items = soup.find_all("div", class_="item")
for item in items:
    print(item.text.strip())

四、处理动态网页（JavaScript 渲染）

如果网页内容是用 JS 动态加载的，requests 抓不到。

使用 Selenium

pip install selenium

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")
print(driver.page_source)
driver.quit()

五、常见反爬与应对

• User-Agent

headers = {
    "User-Agent": "Mozilla/5.0"
}
requests.get(url, headers=headers)

• 延时访问

import time
time.sleep(1)

• 代理 IP（高级用法）

六、保存数据

保存为 CSV

import csv

with open("data.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    writer.writerow(["标题"])
    writer.writerow(["示例"])

七、注意事项（很重要）

✅ 遵守 robots.txt
✅ 不要频繁请求
✅ 不爬敏感 / 隐私数据
✅ 商业用途需授权

如果你愿意，可以告诉我：

• 想爬 哪个网站
• 想提取 什么数据
• 是 静态还是动态网页

我可以直接帮你写完整爬虫代码。