300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > python requests模拟浏览器_python爬虫——requests模拟登入 模拟登入豆瓣

python requests模拟浏览器_python爬虫——requests模拟登入 模拟登入豆瓣

时间:2022-06-23 21:47:58

相关推荐

python requests模拟浏览器_python爬虫——requests模拟登入 模拟登入豆瓣

1.下载抓包神器fiddler

fiddler官网:fiddler下载,通常情况下下载fiddler2版本,一直Next就可以下载成功了。

2.登入你想爬取的界面(用ie浏览器)

如用ie登入进豆瓣:/"

这时打开你的fiddler

1.

2.

3.

找到cookie后代码模拟登入

#-*_coding:utf-8-*-

import requests

reload(__import__('sys')).setdefaultencoding('utf-8')#打印为中文

headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}#构造头部

cook={"Cookie":'ll="118205"; _ga=GA1.2.740277333.1448884744; _gat=1; bid="iu5QJoQtotc"; ps=y; '}#cookie有改动,大家用自己的cookie就好

url="/"

html=requests.get(url,cookies=cook,headers=headers).content#get中提交url,COOKIE,headers

print html

拿到网页源代码后就是用正则,用xpath,用美味汤抓数据了。模拟登入还是很简单的吧

爬淘宝数据cookie

有兴趣的话可以参考下爬取天猫cookie,感谢社区中的大神回答。

小結:

总的来说,用cookie实现模拟登入就是慢,而且页面爬多了还容易被封ip。总之,假如想爬取海量资源,还需进阶,什么分布式,多线程慢慢学吧。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。