300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > JavaScript 动态渲染页面爬取(一) —— 基于 Selenium

JavaScript 动态渲染页面爬取(一) —— 基于 Selenium

时间:2020-09-01 18:12:08

相关推荐

JavaScript 动态渲染页面爬取(一) —— 基于 Selenium

目录

一、安装 Selenium二、Selenium 的使用

一、安装 Selenium

利用Ajax 接口爬取数据的方法通常有两种:

一种是深挖其中的逻辑,把请求需要的参数的构造逻辑完全找出来,在使用 Python 代码复现,构造 Ajax 请求;另一种是直接模拟浏览器的运行,绕过这个过程,因为在浏览器里是可以看到这个数据的,所以如果能把看到的数据直接爬取下来,当然就能获取对应的信息了。

两种方式各有优劣,具体采用哪一种,需要根据实际情况进行分析。举个简单例子:如果你的工作时间紧任务重,老板数据要得着急,网站请求参数构造的逻辑又相对复杂,我们可以采取第 2 种方式先拿到数据,性能什么的可以先暂时忽略。

题外话&#

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。