如何诊断页面抓取异常

诊断页面抓取异常（爬虫/采集失败）一般可以按照「从外层到内层、从网络到代码」的思路逐步排查。下面是一套比较通用的诊断方法和常见原因清单。

一、先确认异常现象

先明确“异常”具体表现：

• 完全请求不到（超时 / 连接失败）
• 返回非 200（403 / 404 / 500）
• 能拿到 HTML 但解析不到数据
• 数据不完整或乱码
• 偶尔成功偶尔失败

二、网络层诊断

1. 检查请求是否发出、是否成功

用 curl 或 Postman 手动请求：

curl -I https://example.com
curl -v https://example.com

关注：

• DNS 是否解析成功
• 是否 TCP 连接超时
• 返回状态码

2. 对比浏览器 vs 脚本

• 浏览器能开，脚本不能？
  • 很可能是 Header / Cookie / UA 问题
• 服务器地区限制？
  • 用代理或不同网络测试

三、请求层诊断（最常见）

1. 缺少必要请求头

常见必须项：

• User-Agent
• Referer
• Cookie
• Authorization

示例：

headers = {
    "User-Agent": "Mozilla/5.0",
    "Referer": "https://example.com/"
}

2. 被反爬拦截

表现：

• 403
• 验证码
• 空页面但状态码 200

应对：

• 加 UA / 代理
• 控制频率
• 使用 sesson / cookie

3. 请求方法或参数错误

• GET / POST 用错
• 缺少 form data / query param
• 时间戳 / token 未生成

四、响应内容诊断

1. 看真实返回内容

print(resp.status_code)
print(resp.text[:500])

2. 是否是 JS 渲染页面

现象：

• HTML 里没有数据
• 数据在 XHR / JSON 接口中

解决：

• 抓接口（Network 面板）
• 或用 Selenium / Playwright

3. 编码问题

resp.encoding = resp.apparent_encoding

五、解析层诊断

1. 选择器失效

原因：

• 页面改版
• 动态 class（如 div_123）
• 嵌套结构变化

建议：

• 用稳定属性（id / data-*）
• 加容错

2. 数据在 iframe

• 需先抓 iframe src

六、环境与稳定性问题

• IP 被封（换代理）
• 请求过快被限流
• 服务器不稳定（重试机制）
• 证书问题（verify=False 仅测试用）

七、推荐排查流程（速查）

1. curl 手动请求
2. 对比浏览器 Network
3. 打印 status + text
4. 检查 Header / Cookie
5. 判断是否 JS 渲染
6. 检查解析逻辑

如果你愿意，可以把：

• 使用的语言/框架
• 报错信息或返回内容
• 目标网站类型（普通页 / SPA / App）

发出来，我可以直接帮你定位具体原因。