温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么用python爬虫获取豆瓣的书评

发布时间:2021-05-08 11:09:16 来源:亿速云 阅读:478 作者:小新 栏目:编程语言

小编给大家分享一下怎么用python爬虫获取豆瓣的书评,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

python的五大特点是什么

python的五大特点:1.简单易学,开发程序时,专注的是解决问题,而不是搞明白语言本身。2.面向对象,与其他主要的语言如C++和Java相比, Python以一种非常强大又简单的方式实现面向对象编程。3.可移植性,Python程序无需修改就可以在各种平台上运行。4.解释性,Python语言写的程序不需要编译成二进制代码,可以直接从源代码运行程序。5.开源,Python是 FLOSS(自由/开放源码软件)之一。

1、分析网站

整个豆瓣的框架设计都是简单的静态页面,只需要页面代码参数。

urls=[]
pages=79 #可以根据页面数据来设定
for page in range(0,pages):      
    url = 'https://book.douban.com/subject/26369699/reviews?start={}'.format(page)
    urls=urls.append(url)

通过观察每个页面的网站规则,可以推测start的计算公式,例如上面的代码自动生成所有数据的地址。

2、爬取网页

需要登录并将cookie传递给请求头,以便正常请求数据。您可以在开发人员模型的RequestHeaders中获得cookies值。

def getHTML(url):
    headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
             'Connection': 'keep-alive',
             'Cookie': '', #你的cookies
             'Referer': 'https://book.douban.com/subject/26369699/reviews',
            }
    request = urllib.request.Request(url,headers=headers)
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content

以上是“怎么用python爬虫获取豆瓣的书评”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI