温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么安装和使用Python第三方模块beautifulsoup

发布时间:2020-08-25 15:57:02 来源:亿速云 阅读:169 作者:Leah 栏目:编程语言

怎么安装和使用Python第三方模块beautifulsoup?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

beautiful soup是Python的一个HTML或XML的解析库。它提供一个简单的、Python式的函数来处理导航、搜索、修改分析数等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

beautiful soup自动将输入文档转化为Unicode编码,输出文档转化为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时你仅仅需要说明一下原始的编码方式就可以了。

安装

windows下:

首先进入pip的安装目录,位于Scripts文件夹中

怎么安装和使用Python第三方模块beautifulsoup

然后执行:

pip install beautifulsoup4

怎么安装和使用Python第三方模块beautifulsoup

Linux下:

$ sudo apt-get python-bs4(python2)
$ sudo apt-get python3-bs4(python3)

Beautiful Soup常用的方法和属性

1.find_all() 方法:find_all()方法搜索当前tag的所有符合过滤条件的tag子节点。在搜索子节点的时候,我们不仅可以制定要搜索的子节点的标签名,还可以添加过滤条件,更精确的选择我们需要的子节点。

2.find() 方法:find()方法和find_all()方法的参数和用法几乎一样,只不过find()方法只选取符合条件的第一个标签。

3.get_text()方法:如果只想得到tag中包含的文本内容,那么可以使用get_text()方法,这个方法获取到tag中包含的所有文版内容包括子孙tag中的内容,并将结果作为Unicode字符串返回。

4.获取节点属性的方法:如果我们想要获取节点的属性,比如对于<a href="www.baidu.com"></a>,我们想获取它的href属性值,即www.baidu.com。

5.select()方法:通过使用beautifulsoup库中的select()方法,我们可以使用CSS选择器来选择我们需要的标签。也就是说,我们可以通过标签名,标签的class、标签的id,通过标签的name、href等属性来选择我们的元素。使用该方法返回的是一个迭代器,我们可以通过for…in…循环遍历。

6.string属性:如果一个节点只包含一个文本节点,或者是只包含一个节点,那么可以使用该属性获取该文本节点的文本内容,或者是这个节点的文本内容。例如:对于<div>hahaha</div>和<div><p>hahaha</p></div>,使用返回的结果是一样的。

7.strings属性:如果一个节点下面有很多子孙节点,我们可以使用strings属性来获取其子孙节点的所有文本。该属性最终返回的是一个迭代器,我们可以通过for…in…循环来遍历。

8.stripped_strings属性:在使用上述strings属性获取一个节点中后代文本的时候,可能或出现换行和空格等空白文本,这样在处理的时候会出现麻烦,如果不想获取换行和空格,那么我们可以使用stripped_strings属性。该属性和strings属性一样,返回的也是迭代器,不能直接打印,需要使用for…in…循环来遍历。

9.contents属性:该属性返回的是某个节点下的全部子元素,包括子元素的标签名和文本内容。返回的数据类型是列表。

10.children属性:该属性和contents属性的用法是一样的,但是返回的数据类型是迭代器。

Beautiful Soup4中四中常见的对象

1.Tag对象:Beautiful Soup中所有的标签都是Tag类型,并且通过bs = BeautifulSoup(html_str, 'lxml')方法常见的bs对象在本质上也是Tag类型。我们我们前面说到的find_all()、find()等方法,也都是Tag对象的方法。

2.BeautifulSoup对象:通过bs = BeautifulSoup(html_str, ‘lxml’)方法常见的bs是BeautifulSoup对象,BeautifulSoup继承自Tag对象。所以我们之前说bs在本质上是Tag类型,而且BeautifulSoup对象的find_all()、find()也是继承自Tag对象的。

3.NavigableString对象:该对象继承自Python中的str对象,用起来和str一样,没什么说的。

4.Comment对象:这个对象继承自NavigableString对象,也没什么说的。

总结:

·推荐使用lxml,必要时使用lxml.parser;

·节点选择筛选功能弱,但速度块;

·建议使用find();find_all()查询单个或者多个结果;

·css选择器也是个不错的选择。

关于怎么安装和使用Python第三方模块beautifulsoup问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注亿速云行业资讯频道了解更多相关知识。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI