300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > python读取html_从零开始的Python爬虫教程(一):获取HTML文档

python读取html_从零开始的Python爬虫教程(一):获取HTML文档

时间:2019-03-22 18:25:38

相关推荐

python读取html_从零开始的Python爬虫教程(一):获取HTML文档

前言:在上一节从零开始的Python爬虫教程(零):粗识HTML结构中,粗略给大家介绍了一下HTML文档,是为了在接下来的教程中让大家更容易理解和掌握。在接下来的教程中,需要大家提前安装python3.x版本,大家不必拘泥于具体的版本,不管安装的是3.0还是最新的3.7,都不影响接下来的操作。至于安装教程,这里就不过多赘述了,读者可自行搜索到详细的教程。

未安装requests库的需要大家安装一下requests库,可以用pip安装,在cmd中执行:

pip install requests

使用pip安装requests库

安装成功之后我们可以在Python自带的IDE中导入requests库测试一下是否可用:

可以正常导入

我们平时在浏览器中浏览网站时,实际上是浏览器向网站所在服务器发送HTTP请求下载HTML文档到本地,然后再经过浏览器的解释、渲染,形成了我们所见的精美的页面,而原始的HTML文档实际上是这样的:

原始文档

而编写一个爬虫,首先最基本的便是向目标服务器发送HTTP请求下载HTML文档。那么,如何用Python下载到HTML文档呢?我们仍以上一节中的百度百科为例:

第一步:使用requests.get(url)向目标服务器发起GET请求以下载HTML文档

复制百科的网址填入

回车后将会发起请求:结果如下

requests库请求出错了

阅读报错信息,它告诉我们,是因为目标服务器做了过多的网页重定向,导致请求失败报错。这里我们暂时不谈何为重定向,只说如何解决当前的问题。而我猜测,是由于百度服务器的反爬策略。何为反爬呢?就是服务器检测到该请求不是来自正常的浏览器,而是来自机器人或其他,因此拒绝你的请求或作其他处理。而爬虫归根结底就是模拟浏览器发出请求,然后获取信息。

那么,如何解决当前的问题呢?在HTTP请求头中加一个“User-Agent”,如下:

headers = {'User-Agent': 'User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'}

未报错,请求成功

可以看到,这次没有再报错了。

这里,我们将requests.get(URL)的执行结果赋值给了response变量,而获取到的数据保存到了该结果的content属性中,我们可以通过输出content看一下获取到的HTML文档,执行如下代码:

print(response.content)

由于文档较大,执行该语句时,Python自带的IDE可能会卡死,所以我们就输出前200个字符看一下吧。

输出结果

为了能够正常输出,我们使用专业的Python IDE测试一下:

代码和输出

输出结果

但是我们发现似乎获取到的HTML文档乱七八糟的,一个中文字符都没见到!别慌,这是因为还没有对文档进行解码,所以我们看不懂。

解码:print(response.content.decode('UTF8'))

输出解码后的结果

GOOD!可以看到我们已经能正常阅读HTML文档了!

本节就到这里啦,下节教大家如何从HTML文档中过滤筛选出我们需要的信息。

本节代码下载地址:/TinyKoko/little-case/blob/master/从零开始的Python爬虫教程/chapter01.py

供大家下载测试。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。