300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > python写爬虫之提取网页的内容(筛选)_Python网络爬虫项目:使用requests获取网页 通

python写爬虫之提取网页的内容(筛选)_Python网络爬虫项目:使用requests获取网页 通

时间:2023-10-29 21:28:58

相关推荐

python写爬虫之提取网页的内容(筛选)_Python网络爬虫项目:使用requests获取网页 通

本次讲解通过requests获取某一个网站,网址:/sp/zli/index.html

然后使用正则表达式提取页面中的“专利名称”。

步骤:

1、使用pycharm新建项目,新建的时候记得勾选“Inherit global site-packages”否则可能找不到requests类库

2、编写代码,我们看到网页上的数据量是101行,如下所示:

代码如下:

项目结构(不重要):

程序代码:

Beautiful Soup可以将HTML文档转换为Tag树形结构,如果BeautifulSoup对象是soup,则我们可以通过soup.td获取页面里面的第一个td元素,通过soup.find_all(‘td’)获取所有的td元素。也就是find_all()返回来的是一个数组元素,那么我们可以通过下标来获取对应的内容,如下:

我们可以看到,第一个专利的名称的下标是7,第二个是13,第三个是19,依次类推,所以我们可以通过间隔获取的方式来达到效果。

代码如下,另外要记得最后获取的是text属性,否则获取的就是是

XXX

的内容:

运行效果:

python写爬虫之提取网页的内容(筛选)_Python网络爬虫项目:使用requests获取网页 通过BeautifulSoup提取数据...

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。