今天搜索电脑壁纸突发奇想就把所有壁纸怕取下来了
百度 壁纸 随便挑了一个点进去是zol电脑壁纸ZOL桌面壁纸
现在开始爬取
import requestsfrom lxml import etreeimport timeimport os#url = '/nb/'def baocun(url):#此方法是将图片保存文件到本地 只需要传入图片地址root = "E://python//"#这是根文件所在path=root+url.split('/')[-1]#通过’/‘把图片的url分开找到最后的那个就是带.jpg的保存起来if not os.path.exists(root):os.mkdir(root)if not os.path.exists(path):r = requests.get(url)r.raise_for_status()with open(path,'wb') as f:#模式以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。一般用于非文本文件如图片等f.write(r.content)#r.content返回二进制，像图片print('爬取成功')def getHTML(url):#解析网页 并且解析出来图片地址response = requests.get(url)response.encoding='gbk'#先前解析出来的是乱码 看网页得知编码方式是gbkhtml = etree.HTML(response.text)#etree.HTML()#是一个方法用来解析html网页的imgurl=html.xpath('//div[@class="wrapper top-main clearfix"]/div[1]/ul[1]/li/a/img/@src')#通过f12开发者工具查看网页代码得知图片地址具体所在count=1for index,i in enumerate(imgurl):# print("这是第"+str(count)+"数据")print(i)baocun(i)count=count+1indexa=1for i in range(1,100):#做到翻页，先观察这个网址的每一页的规律再进行翻页，因为每一个的网页的xpath都是固定的只需要顺序请求每一页再然后每一页再进行解析就能把全部的图片下载下来url='/nb/%d.html'%i#占位符print('这是第'+str(indexa)+"页数据")indexa=indexa+1getHTML(url)time.sleep(2)#设置请求一页休眠2秒 避免被拦截
这是全部代码我花了很长的时间是因为当我使用xpath解析网页的时候一步一步来的把每一个的div的class以及ul跟li的class都写出来可是就是返回的空。最后我在根的div元素开始使用div[index]这样的方式最终获取了图片路径，这里提醒大家如果xpath很仔细还不对可能是网页设计的坑，有一次爬取51job的时候又一个类是后面加了一个空格，不很仔细看看不出来，复制也复制不出来这个空格。最后直接copy的xpath。径才可以。有时候一种方式解析不出换一种方式可能就行了。要仔细。
