如何查看爬虫日志

“查看爬虫日志”要看你用的是哪种爬虫、部署在什么环境。下面按最常见场景给你一套通用做法，基本能覆盖 90% 的情况。

一、本地运行的爬虫（最常用）

1️⃣ 直接看终端输出

如果你是在本地运行：

python spider.py

日志通常直接打印在终端。

✅ 建议：用 logging 模块，而不是 print

import logging

logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s - %(levelname)s - %(message)s"
)

logging.info("爬虫启动")

2️⃣ 日志输出到文件

logging.basicConfig(
    filename="spider.log",
    level=logging.INFO,
    format="%(asctime)s - %(levelname)s - %(message)s"
)

查看日志：

cat spider.log
tail -f spider.log   # 实时查看
grep ERROR spider.log

二、Scrapy 爬虫（非常常见）

1️⃣ 默认日志

Scrapy 默认会输出日志到终端。

2️⃣ 保存到文件

scrapy crawl myspider -s LOG_FILE=spider.log

或 settings.py：

LOG_FILE = "spider.log"
LOG_LEVEL = "INFO"

3️⃣ 查看日志

tail -f spider.log
grep ERROR spider.log

三、Docker 中运行的爬虫

1️⃣ 查看容器日志

docker ps
docker logs <container_id>
docker logs -f <container_id>  # 实时

2️⃣ 如果日志写入文件

进容器：

docker exec -it <container_id> bash
cat /app/spider.log

四、服务器 / Linux 后台运行

1️⃣ nohup 启动

nohup python spider.py > spider.log 2>&1 &

查看：

tail -f spider.log

五、定时任务（crontab）

cron 不会自动显示日志，需要手动重定向：

0 8 * * * /usr/bin/python /path/spider.py >> /path/spider.log 2>&1

查看：

tail -f /path/spider.log

六、常见日志查看命令速查

七、推荐日志结构（专业做法）

import logging

logger = logging.getLogger(__name__)

logger.setLevel(logging.INFO)
handler = logging.FileHandler("spider.log")
handler.setFormatter(
    logging.Formatter("%(asctime)s - %(levelname)s - %(message)s")
)
logger.addHandler(handler)

八、如果你愿意，我可以更具体帮你

你可以直接告诉我：

• ✅ 用的是 Scrapy / requests / Selenium / Playwright
• ✅ 运行在 本地 / 服务器 / Docker
• ✅ 是 报错看不到 还是 想长期保存日志

我可以给你完全针对你环境的查看方案。