300字范文 > python爬取去哪儿网机票_干货｜Python爬取《去哪儿》攻略库制作一份详细的旅行攻略

python爬取去哪儿网机票_干货｜Python爬取《去哪儿》攻略库制作一份详细的旅行攻略

时间：2019-06-15 11:36:43

去哪儿是中国领先的在线OTA网站，为消费者提供机票、酒店、会场、度假产品的实时搜索，并提供旅游产品团购以及其他旅游信息服务。去哪儿网站上有丰富的图片、评论数据，这些大量的数据对于从事数据岗位的来说的确是一种福利，有了这些我们可以练习爬虫技能、数据分析与可视化，漂亮的图片做文案素材也是一种不错的选择。

疫情总会过去的，宅了这么久，相信很多人疫情后都会来一场说走就走的旅行。小编今天准备爬取去哪儿的攻略库，并制作了一份详细的数据分析、可视化的旅行攻略。

网页分析

爬虫流程三步曲：

打开网站，分析网页上的数据；通过F12开发者工具，获取接口是数据是html还是json，翻页是url控制还是ajax；编写代码发起网络请求，添加反爬机制、容错环节；

通过对网页的分析，我们有几个点是确定的：

不同城市的网址不同，我们需要收集爬取城市的网址；数据在html中可以获取，我们对html进行解析；对于html的网页，我们需要边爬取保存数据；每个城市可以爬取200页，有些城市数据不足200页

数据获取

1.确定爬取字段

爬取数据的字段有：区域、目的地、标题、链接、攻略作者、出发日期、天数、照片数、人数、玩法、费用、阅读数、点赞数、评论数、行程等。

2.获取最大页数

def getPageNum(html):#获取总页数pageNum=1bsObj = BeautifulSoup(html,"html.parser")pageList = bsObj.find("div",attrs = {"class":"b_paging"}).find_all("a")if(pageList):pageNum = pageList[-2].textreturn int(pageNum)

3.解析网页

link = "" + book.h2.a["href"]#标题title = book.h2.a.textplaces = book.findAll("p", attrs = {"class":"places"})#行程if len(places)>1:trip_places = places[1].textelse:trip_places=places[0].textuser_info = book.find("p", attrs = {"class":"user_info"})intro = user_info.find("span", attrs = {"class":"intro"})#作者user_name = intro.find("span", attrs = {"class":"user_name"}).text#print("user_name:",user_name)date = intro.find("span", attrs = {"class":"date"}).text#天数days = intro.find("span", attrs = {"class":"days"}).text#照片数photoTmp = intro.find("span", attrs = {"class":"photo_nums"})if(photoTmp):photo_nums = photoTmp.textelse:photo_nums = "没有照片"# 人数peopleTmp = intro.find("span", attrs = {"class":"people"})if(peopleTmp):people = peopleTmp.textelse:people = ""

通过上述3步，小编已经将去哪儿的数据爬取下来了。看着是不是很简单，不过看似简单，实操起来未必就这么简单哦。实践出真知，慢慢体会爬虫过程中的要点和注意点。下面是成果展示

数据预处理

至此我们已经获取了数据。旅行是为了放松心情、体验地方特色。为了一场完美的旅行，制作一份详细的旅行攻略是必不可少的。

对于获取的数据，我们需要进行进一步的处理以满足分析的需求，主要做的数据处理步骤如下：

删除重复值修正字段删除不需要字段

具体代码实现

#数据读取import pandas as pdimport re#数据读取base_data = pd.read_excel('trip_data_merge.xlsx')#删除重复值base_data.drop_duplicates(inplace=True)#分析中不需要的字段base_data = base_data.drop(['链接'], axis=1)#字段修正，方便统计base_data['天数']= base_data['天数'].apply(lambda x :re.sub("D", "", x) )base_data['照片数']= base_data['照片数'].apply(lambda x :re.sub("D", "", x) )base_data['费用']= base_data['费用'].apply(lambda x :re.sub("D", "", str(x) ))base_data['费用'] = base_data['费用'].apply(lambda x : eval(x) if len(x)>0 else 0 )base_data['date']= base_data['出发日期'].apply(lambda x :x.split( )[0] )base_data['date_year']= base_data['出发日期'].apply(lambda x :x.split( )[0][:4])base_data['阅读数']= base_data['阅读数'].apply(lambda x : int(re.sub("D", "", str(x)))*10000 if str(x).find('万') else x)

数据分析、可视化

1.费用问题

外出旅行，首先要考虑的肯定的费用问题。因疫情原因，在费用的数据分析统计中，我们剔除了的数据，考虑了、、的数据。

上图展示了近三年主要热门目的地人均消费情况，包含国内、国外热门地区。根据数据统计，国外人均平均消费为9461元，国内为3313元，游客在国外消费是国内消费的2.85倍。国内人均消费的排名前四名：丽江、三亚、香港、上海。在国外消费前四名：马尔代夫、法国、美国、日本。为什么游客在马尔代夫的人均消费比上海人均消费高达6倍的差距呢？