l>我的新书《Android App开发入门与实战》已于8月由人民邮电出版社出版，欢迎购买。点击进入详情

文章目录

1.开发环境2.第三方库3.Scrapy css 语法4.网页分析5.xx.py6.保存爬取的内容为csv文件7.问题1："UnicodeDecodeError: 'utf-8' codec can't decode byte"8.问题2：拒绝访问9.问题3：csv文件中文乱码10.效果11.Github源码

关于Scrapy的用法，我们可以参考这篇文章：

[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)

1.开发环境

IDE: PyCharm .2.1 (Professional Edition)Python: 3.9.7

2.第三方库

scrapy: 网络请求scrapy.css: 分析HTML特征

3.Scrapy css 语法

https://geek-/scrapy/scrapy-tutorials/scrapy-css-grammar.html

4.网页分析

用Chrome打开/top250，点击红圈中的箭头，然后鼠标滑过左边网页区域的时候，右边就会显示对应的HTML代码块。

5.xx.py

class xxSpider(scrapy.Spider):name = 'xx'allowed_domains = ['']start_urls = ['/top250']def parse(self, response):for movie in response.css('div.item'):item = xxItem()item['movie_name'] = movie.css('div.pic a img::attr(alt)').extract()yield item# 其它页next_page = response.css('span.next a::attr(href)').extract_first()if next_page:print('************* next_page = ' + next_page)yield Request(self.start_urls[0] + next_page, callback=self.parse)

6.保存爬取的内容为csv文件

start.py中的命令行我们修改为：

cmdline.execute("scrapy crawl xx-o data.csv".split())

7.问题1：“UnicodeDecodeError: ‘utf-8’ codec can’t decode byte”

需要在settings.py中设置：

ROBOTSTXT_OBEY = False

8.问题2：拒绝访问

需要在settings.py中设置：

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'

9.问题3：csv文件中文乱码

需要在settings.py中设置：

FEED_EXPORT_ENCODING = 'utf-8-sig'

10.效果

11.Github源码

/ddnosh/weekly-sample-python/tree/master/5.douban/douban