requests的学习笔记
requests库自动爬取HTML页面,自动网络请求提交
此博客为中国大学MOOC北京理工大学《Python网络爬虫与信息提取》的学习笔记
requests库的安装
requests库是Python的第三方库,是目前公认的,爬取网页最好的第三方库。关于requests库的更多信息,可以在www.python-网站上获得。
安装方法:用管理员权限启动command控制台,输入pip install requests,按下回车;
验证方法:
启动IDLE
import requestsr = requests.get("")r.status_code
运行显示200即为成功
requests库的方法
requests库共7个主要方法
requests库的request()方法
requests.request(method,url,**kwargs)
1.method:请求方式,对应get/put/post等7种(以上图片上或http所对应的请求功能+options)
2. url: 拟获取页面的url链接
3. **kwargs:控制访问参数,均为可选项(13个)
①params:字典或字节序列,作为参数增加到url中(对url进行修改)
kv ={'key1':'value1','key2':'value2'}r=requests.request("GET","http://python123.io/ws",params=kv)print(r.url)
②data:字典,字节序列或文件对象,作为request的内容 向服务器提供或提交资源时使用
r=requests.request("POST","http://python123.io/ws",data=kv)body="主体内容"r=requests.request("POST","http://python123.io/ws",data=kv)
③json:JSON格式数据,作为request的内容 向服务器提供或提交资源时使用
kv ={'key1':'value1'}r=requests.request('POST','http://python123.io/ws',json=kv)
④headers:字典,HTTP定制头
hd={'user-agent':'Chrome/10'}r=requests.request('POST','http://python123.io/ws',headers=hd)
⑤cookies:字典或CookieJar,request中的cookie
⑥auth:元祖,支持HTTP认证功能
⑦files:字典类型,传输文件
fs={'file':open('data.xis','rb')}r=requests.request('POST','http://python123.io/ws',files=fs)
⑧timeout:设定超时时间,以秒为单位
r=requests.request(“GET”,‘’,timeout=10)
⑨proxies:字典类型,设定访问代理服务器,可以增加登录认证(隐藏爬取地址)
pxs={'http':'http://user:pass@10.10.10.1:1234','https':'https://10.10.10.1:1234'}r=requests.request("GET",'',proxies=pxs)
⑩allow_redirects:True/False,默认为True,重定向开关
⑾.stream:True/False,默认为True,获取内容立即下载开关
⑿.verify:True/False,默认为True,认证SSL证书开关
⒀.cert:本地SSL证书路径
requests库的get()方法
(实际以requests库的方法来封装)
r = requests.get(url)
完整使用方法有三个参数
requests.get(url,params=None,**kwargs)
1.url: 拟获取页面的url链接
2.params:url中额外参数,字典或者字节流格式,可选
3.**kwargs:控制访问参数,均为可选项(13个)
Response对象包含服务器返回的所有信息,同时包含了想服务器请求的request信息
Response对象的属性
这五个属性为访问网页最必要的属性,务必牢记!
使用get方法获取网上资源的流程:
requests.head(url,**kwargs)
request.post(url,data=None,json=None,**kwargs)
data:字典、字节序列或文件,request的内容
json:JSON格式的数据,request的内容
requests.put(url,data=None,**kwargs)
requests.patch(url,data=None,**kwargs)
requests.delete(url,data=None,**kwargs)
Requests库的异常
爬取网页的通用代码框架
import requestsdef getHTMLText(url):try:r = requests.get(url,timeout=30)r.raise_for_status()#如果状态不是200,引发HTTPError的异常r.encoding = r.apparent_encodingreturn r.textexcept:return"产生异常"if __name__=="__main__":url = ""print(getHTMLText(url)