requests的学习笔记

requests库自动爬取HTML页面，自动网络请求提交

此博客为中国大学MOOC北京理工大学《Python网络爬虫与信息提取》的学习笔记

requests库的安装

requests库是Python的第三方库，是目前公认的，爬取网页最好的第三方库。关于requests库的更多信息，可以在www.python-网站上获得。

安装方法：用管理员权限启动command控制台，输入pip install requests，按下回车；

验证方法：

启动IDLE

import requestsr = requests.get("")r.status_code

运行显示200即为成功

requests库的方法

requests库共7个主要方法

requests库的request（）方法

requests.request(method,url,**kwargs)

1.method:请求方式，对应get/put/post等7种（以上图片上或http所对应的请求功能+options）

2. url: 拟获取页面的url链接

3. **kwargs：控制访问参数，均为可选项（13个）

①params：字典或字节序列，作为参数增加到url中（对url进行修改）

kv ={'key1':'value1','key2':'value2'}r=requests.request("GET","http://python123.io/ws",params=kv)print(r.url)

②data：字典，字节序列或文件对象，作为request的内容 向服务器提供或提交资源时使用

r=requests.request("POST","http://python123.io/ws",data=kv)body="主体内容"r=requests.request("POST","http://python123.io/ws",data=kv)

③json：JSON格式数据，作为request的内容 向服务器提供或提交资源时使用

kv ={'key1':'value1'}r=requests.request('POST','http://python123.io/ws',json=kv)

④headers：字典，HTTP定制头

hd={'user-agent':'Chrome/10'}r=requests.request('POST','http://python123.io/ws',headers=hd)

⑤cookies：字典或CookieJar，request中的cookie

⑥auth：元祖，支持HTTP认证功能

⑦files：字典类型，传输文件

fs={'file':open('data.xis','rb')}r=requests.request('POST','http://python123.io/ws',files=fs)

⑧timeout：设定超时时间，以秒为单位

r=requests.request(“GET”,‘’,timeout=10)

⑨proxies：字典类型，设定访问代理服务器，可以增加登录认证（隐藏爬取地址）

pxs={'http':'http://user:pass@10.10.10.1:1234','https':'https://10.10.10.1:1234'}r=requests.request("GET",'',proxies=pxs)

⑩allow_redirects：True/False,默认为True,重定向开关

⑾.stream：True/False,默认为True，获取内容立即下载开关

⑿.verify：True/False,默认为True，认证SSL证书开关

⒀.cert：本地SSL证书路径

requests库的get（）方法

(实际以requests库的方法来封装）

r = requests.get(url)

完整使用方法有三个参数

requests.get(url,params=None,**kwargs)

1.url: 拟获取页面的url链接

2.params:url中额外参数，字典或者字节流格式，可选

3.**kwargs：控制访问参数，均为可选项（13个）

Response对象包含服务器返回的所有信息，同时包含了想服务器请求的request信息

Response对象的属性

这五个属性为访问网页最必要的属性，务必牢记！

使用get方法获取网上资源的流程：

requests.head(url,**kwargs)

request.post(url,data=None,json=None,**kwargs)

data:字典、字节序列或文件，request的内容

json：JSON格式的数据，request的内容

requests.put(url,data=None,**kwargs)

requests.patch(url,data=None,**kwargs)

requests.delete(url,data=None,**kwargs)

Requests库的异常

爬取网页的通用代码框架

import requestsdef getHTMLText(url):try:r = requests.get(url,timeout=30)r.raise_for_status()#如果状态不是200，引发HTTPError的异常r.encoding = r.apparent_encodingreturn r.textexcept:return"产生异常"if __name__=="__main__":url = ""print(getHTMLText(url)