温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Python如何进行包图网免费付费素材爬取

发布时间:2021-10-11 17:03:19 来源:亿速云 阅读:204 作者:柒染 栏目:大数据

这期内容当中小编将会给大家带来有关Python如何进行包图网免费付费素材爬取,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

包图网大家都知道吧 集齐海量设计素材 十分好用 可惜太贵了,今天就带大家使用Python—爬虫爬取这些素材并且保存到本地!

抓取一个网站的内容,我们需要从以下几方面入手:

1-如何抓取网站的下一页链接?

2-目标资源是静态还是动态(视频、图片等)

3-该网站的数据结构格式

Python如何进行包图网免费付费素材爬取

源代码如下

import requestsfrom lxml import etreeimport threading  class Spider(object):    def __init__(self):        self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"}        self.offset = 1     def start_work(self, url):        print("正在爬取第 %d 页......" % self.offset)        self.offset += 1        response = requests.get(url=url,headers=self.headers)        html = response.content.decode()        html = etree.HTML(html)         video_src = html.xpath('//div[@class="video-play"]/video/@src')        video_title = html.xpath('//span[@class="video-title"]/text()')        next_page = "http:" + html.xpath('//a[@class="next"]/@href')[0]        # 爬取完毕...        if next_page == "http:":            return         self.write_file(video_src, video_title)        self.start_work(next_page)     def write_file(self, video_src, video_title):        for src, title in zip(video_src, video_title):            response = requests.get("http:"+ src, headers=self.headers)            file_name = title + ".mp4"            file_name = "".join(file_name.split("/"))            print("正在抓取%s" % file_name)            with open('E://python//demo//mp4//'+file_name, "wb") as f:                f.write(response.content) if __name__ == "__main__":    spider = Spider()    for i in range(0,3):        # spider.start_work(url="https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html")        t = threading.Thread(target=spider.start_work, args=("https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html",))        t.start()

效果展示

Python如何进行包图网免费付费素材爬取

上述就是小编为大家分享的Python如何进行包图网免费付费素材爬取了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注亿速云行业资讯频道。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI