温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何解决老域名baidu模拟抓取失败问题

发布时间:2021-09-18 10:33:13 来源:亿速云 阅读:137 作者:柒染 栏目:编程语言

这篇文章将为大家详细讲解有关如何解决老域名baidu模拟抓取失败问题,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

近期有学员反馈他的域名使用百度模拟抓取的时候一直显示失败,试了N种方法都不行。而最近几天我上站的时候也遇到了相同的问题,百度后台验证的时候是可以通过的,正常情况下是模拟抓取也是可以通过的,但是模拟抓取失败。

因为用的是老米,点击抓取详情的时候发现百度抓取的还是原来域名的IP地址。

如何解决老域名baidu模拟抓取失败问题

因为我知道百度为了提升爬虫的访问效率,有自己的DNS服务器,所以我就点击了更新IP,但是试了N次都不行。以前的经验是基本点击更新了就是OK的。

接着我就主动提交了整站的网址和sitemap地图,结果第二天再模拟抓取的时候就已经是正常的了。

结论,只要是主动提交可以提交成功以及sitemap的数据可以正常被百度提取,那么后续的百度抓取就是没有问题的。所以大家遇到相同的问题的时候可以尝试主动提交以及提交sitemap来更新你的IP。

那么会出现这种问题的都会发生在哪些阶段呢?

  1. 域名更换服务器IP的时候会出现

  2. 老玉米新上线的时候会遇到

这里还有一个注意的点,那就是针对百度的,由于sitemap的提交是有限制的,似乎每个站点就100份,每份50000条,所以基本一个站也就500万,因此最好是每一份都提交够50000条。当然了,小站点就不用关注这些。

因为神马的sitemap提交限额是10000条,当然了评级越高数量越多,所以有些egg pain,这种情况只能是每个搜索引擎单独提交了。

关于如何解决老域名baidu模拟抓取失败问题就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI