温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何使用Python抓取QQ音乐数据

发布时间:2021-10-11 18:05:38 来源:亿速云 阅读:184 作者:柒染 栏目:大数据

这篇文章给大家介绍如何使用Python抓取QQ音乐数据,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

【一、项目目标】

    获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。

    由浅入深,层层递进,非常适合刚入门的同学练手。

【二、需要的库】

    主要涉及的库有:requests、json、openpyxl

【三、项目实现】

1.了解 QQ 音乐网站的 robots 协议

如何使用Python抓取QQ音乐数据

只禁止播放列表,可以操作。

2.进入 QQ 音乐主页 https://y.qq.com/

3.输入任意歌手,比如邓紫棋

如何使用Python抓取QQ音乐数据

4.打开审查元素(快捷键 Ctrl+Shift+I)

如何使用Python抓取QQ音乐数据

5.分析网页源代码 Elements,发现无歌曲信息,无法使用 BeautifulSoup,如下图所示,结果为空。

如何使用Python抓取QQ音乐数据

如何使用Python抓取QQ音乐数据

6.点击 Network,看数据在不在 XHR(无刷新更新页

面),我的经验是先看 Size 最大的,然后分析 Name,

查看 Preview,果然在里面!

如何使用Python抓取QQ音乐数据

如何使用Python抓取QQ音乐数据

7.点击 Headers,拿到相关参数。如下图,仔细观察

url 与 Query String Parameters 参数的关系,发现

url 中的 w 代表歌手名,p 代表页数。

如何使用Python抓取QQ音乐数据

如何使用Python抓取QQ音乐数据

8.通过 json 代码实现,首先小试牛刀,爬取第一页

的数据,url 直接复制过来。成功!

如何使用Python抓取QQ音乐数据

如何使用Python抓取QQ音乐数据

9.引入 params 参数,实现指定歌手、指定页数的查询。

注意代码url为上一步url中“?”之前的部分, params两边的参数都需要加 ’’,requests.get 添加 params,参数(也可顺便添加 headers 参数)

如何使用Python抓取QQ音乐数据

10. 添加存储功能,保存到本地(Excel)。也可保存为 csv 格式或存入数据库,操作类似。

如何使用Python抓取QQ音乐数据

如何使用Python抓取QQ音乐数据

如何使用Python抓取QQ音乐数据

1.爬取 QQ 音乐比爬取豆瓣等网站稍难,所需信息不在网页源代码,需查看 XHR;

2.通过 XHR 爬取数据一般要使用 json,格式为:

res = requests.get(url)json = res.json()list = json[‘’][‘’]…

3.仅供练手参考,不建议爬取太多数据,给服务器增大负载;

4.Python 爬取 QQ 音乐数据(二)将为大家带来如何爬取指定歌曲的歌词及评论(selenium),并生成词云图(wordcloud),敬请期待。



关于如何使用Python抓取QQ音乐数据就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI