分布式爬虫架构并不是一开始就出现的。而是一个逐步演化的过程。
最开始入手写爬虫的时候，我们一般在个人计算机上完成爬虫的入门和开发，而在真实的生产环境，就不能用个人计算机来运行爬虫程序了，而是将爬虫程序部署在服务器上。利用服务器不关机的特性，爬虫可以不间断的24小时运行。单机爬虫的结构如下图。
然而，由于爬虫在爬取数据时，爬取频次并不能太快，即使是爬虫在服务器上不间断运行，效率可能也无法满足实际需求。这时候，就需要在多机上部署爬虫程序，用分布式爬虫架构，进行数据爬取。分布式爬虫的架构一般如下所示。
采用分布式爬虫架构后，带来了如下几个好处。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对亿速云的支持。如果你想了解更多相关内容请查看下面相关链接
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
