300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > python 爬虫 伪装浏览器_python爬虫中怎么伪装浏览器?

python 爬虫 伪装浏览器_python爬虫中怎么伪装浏览器?

时间:2023-08-26 19:20:05

相关推荐

python 爬虫 伪装浏览器_python爬虫中怎么伪装浏览器?

现在都是知识共享社会,一个好的想法,如果不进行加速孕育,很容易被别人借鉴超越,另外就是我们在关注自己领域的学习创造,也应该去看下别人是怎么做的。这样才可以进行实施战略调整,因为这也是爬虫现在为什么重要的原因之一,如果我们想实现上述提及的内容,就必须得要去爬虫第一步——伪装自己。

实现伪装浏览器须知:

我们如果想去获取某些内容,得先让自己和他们处于同类,这样才不会被攻击,才可以跟对手网站和平相处,接收到他们的信息。引入ProxyHandler组件,访问需要通过build_opener调用handler来实现。

实现代码如下:fromurllib.requestimportRequest,build_opener

fromfake_useragentimportUserAgent

fromurllib.requestimportProxyHandler

url="/get"

headers={

"User-Agent":UserAgent().chrome

}

request=Request(url,headers=headers)

handler=ProxyHandler({"http":"112.85.129.8:9999"})

opener=build_opener(handler)

response=opener.open(request)

print(response.read().decode())

测试结果

先运行程序看看目前没有用代理的时候IP的信息

再看看利用了proxy之后产生的结果

从上述内容,我们通过一系列的操作,可以看到请求的ip地址已经发生了改变,这样我们就能深入去爬取信息啦~是不是非常好玩有趣又神奇呢?如果还想了解更多好玩的内容,点击进入python教程中心。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。