现在都是知识共享社会,一个好的想法,如果不进行加速孕育,很容易被别人借鉴超越,另外就是我们在关注自己领域的学习创造,也应该去看下别人是怎么做的。这样才可以进行实施战略调整,因为这也是爬虫现在为什么重要的原因之一,如果我们想实现上述提及的内容,就必须得要去爬虫第一步——伪装自己。
实现伪装浏览器须知:
我们如果想去获取某些内容,得先让自己和他们处于同类,这样才不会被攻击,才可以跟对手网站和平相处,接收到他们的信息。引入ProxyHandler组件,访问需要通过build_opener调用handler来实现。
实现代码如下:fromurllib.requestimportRequest,build_opener
fromfake_useragentimportUserAgent
fromurllib.requestimportProxyHandler
url="/get"
headers={
"User-Agent":UserAgent().chrome
}
request=Request(url,headers=headers)
handler=ProxyHandler({"http":"112.85.129.8:9999"})
opener=build_opener(handler)
response=opener.open(request)
print(response.read().decode())
测试结果
先运行程序看看目前没有用代理的时候IP的信息
再看看利用了proxy之后产生的结果
从上述内容,我们通过一系列的操作,可以看到请求的ip地址已经发生了改变,这样我们就能深入去爬取信息啦~是不是非常好玩有趣又神奇呢?如果还想了解更多好玩的内容,点击进入python教程中心。