1 项目描述
以豆瓣电影上提供的电影数据为例,完整地展示网络数据从获取、处理到分析、可视化这一过程,纯当练手,也为感兴趣的小伙伴提供相关的技术介绍。项目代码托管在Github上,可视化网站请访问这里。
2 数据获取
用python写爬虫,Scrapy和urllib2都是比较好的选择,由于我对功能的要求比较简单,故选择后者即可。
在豆瓣电影上通过Chrome开发工具找到数据请求API,接下来就可以写代码爬一些电影数据了,我使用的是这两个API:
时间:2022-01-17 08:07:04
以豆瓣电影上提供的电影数据为例,完整地展示网络数据从获取、处理到分析、可视化这一过程,纯当练手,也为感兴趣的小伙伴提供相关的技术介绍。项目代码托管在Github上,可视化网站请访问这里。
用python写爬虫,Scrapy和urllib2都是比较好的选择,由于我对功能的要求比较简单,故选择后者即可。
在豆瓣电影上通过Chrome开发工具找到数据请求API,接下来就可以写代码爬一些电影数据了,我使用的是这两个API:
基于Python的海量豆瓣电影 数据获取 数据预处理 数据分析 可视化 大屏设计项目(
2019-08-04
python爬虫爬取豆瓣电影排行榜 并写进csv文件 可视化数据分析
2024-01-24