BeautifulSoup Python爬虫程序包的介绍和安装(1)

电脑杂谈  发布时间:2020-04-18 00:00:50  来源:网络整理

python beautifulsoup 安装_beautifulsoup解压安装_离线安装beautifulsoup

第一份正式文件的地址: 正式文件

供学习使用的书籍是Python网络数据收集(由Ryan Mitchell撰写),它是有关整理一些注释的.

美丽汤简介

简而言之,Beautiful Soup是一个python库. 主要功能是从网页获取数据. 官方解释如下:

Beautiful Soup提供了一些类似于python的简单函数,用于处理导航,搜索和修改分析树. 它是一个工具箱,可为用户提供要通过解析文档捕获的数据. 因为它很简单,所以不需要太多代码即可编写完整的应用程序.

Beautiful Soup会自动将输入文档转换为Unicode编码,并将输出文档转换为utf-8编码. 除非文档未指定编码方法,否则您无需考虑编码方法. 目前,Beautiful Soup无法自动识别编码方法. 然后,您只需要说明原始的编码方法即可.

Beautiful Soup已成为与lxml和html6lib相同的优秀python解释器beautifulsoup解压安装,为用户提供了灵活的分析策略或强大的速度.

离线安装beautifulsoup_beautifulsoup解压安装_python beautifulsoup 安装

安装

Beautiful Soup 3当前已停止开发,建议在当前项目中使用Beautiful Soup 4,但已将其移植到BS4,这意味着导入时我们需要导入bs4. 因此,我们在此处使用的版本是Beautiful Soup 4.3.2(称为BS4).

书中的源代码使用Python3,但是据说BS4对Python3的支持还不够好,所以我使用Python2.7. 某些软件包的引入将在源代码中进行相应调整.

因为我之前已经写过CNN,所以我需要在Windows下配置环境,因此已经安装了anaconda. 如果已安装anaconda阅读器,则可以直接使用pip进行安装. 康达需要搜索它. 无法直接安装.

anaconda search -t conda beautifulsoup
conda install beautifulsoup4
pip install beautifulsoup4

如果要安装最新版本,请直接下载安装包以手动安装,这也是一种非常方便的方法. 在这里我安装了beautifulsoup4(4.5.1)

BeautifulSoup 3.2.1

python beautifulsoup 安装_beautifulsoup解压安装_离线安装beautifulsoup

BeautifulSoup 4.5.1

下载后解压缩

运行以下命令以完成安装

sudo python setup.py install

有时,安装方法将需要手动安装lxml. 如果使用conda进行安装,它将自动安装从属软件包.

pip install lxml

创建美丽汤对象

离线安装beautifulsoup_python beautifulsoup 安装_beautifulsoup解压安装

首先导入bs4库

from bs4 import BeautifulSoup

使用urlopen读取HTML部分的内容

import sys
if sys.version_info[0] == 2:
  from urllib2 import urlopen # Python 2
else:
  from urllib.request import urlopen # Python3
html = urlopen(http://www.pythonscraping.com/exercises/exercise1.html)

使用读取的内容创建beautifulsoup对象

bsObj = BeautifulSoup(html.read())
print(bsObj.h1)

此外,我们还可以使用本地HTML文件创建对象,例如

beautifulsoup解压安装_离线安装beautifulsoup_python beautifulsoup 安装

soup = BeautifulSoup(open('index.html'))

输出测试

print bsObj.h1
print bsObj.prettify()

有趣的标题

<html>
 <head>
 <title>
  A Useful Page
 </title>
 </head>
 <body>
 <h1>
  An Interesting Title
 </h1>
 <div>
  Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
 </div>
 </body>
</html>

上面是输出结果beautifulsoup解压安装,格式化并打印出其内容,并且可以通过成员对象获得已解析的HTML级别.

以上是本文的全部内容,希望对大家的学习有所帮助,也希望每个人都支持该脚本首页.


本文来自电脑杂谈,转载请注明本文网址:
https://www.pc-fly.com/a/jisuanjixue/article-179344-1.html

    相关阅读
      发表评论  请自觉遵守互联网相关的政策法规,严禁发布、暴力、反动的言论

      • 赫磊
        赫磊

        这明显是自亚投行以来中国在国际上混的风生水起

      • 周丽苹
        周丽苹

        4

      热点图片
      拼命载入中...