300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > Python实训day12am【网络爬虫大作业简略解析:动态生成html页面 数据写入Excel】

Python实训day12am【网络爬虫大作业简略解析:动态生成html页面 数据写入Excel】

时间:2021-07-28 19:12:58

相关推荐

Python实训day12am【网络爬虫大作业简略解析:动态生成html页面 数据写入Excel】

Python实训-15天-博客汇总表

目录

1、HTML页面设计

2、生成每个城市的HTML页面

2.1、HTML页面代码(weatherTemplate.html)

2.2、实例代码-动态生成html页面

3、使用DataFrame输出数据到Excel中

3.1、Python获取系统时间

3.2、实例代码-DataFrame数据输出到Excel中

1、HTML页面设计

<!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>{}实时天气</title><style type="text/css">body {width: 400px;margin: 50px auto;border: 3px solid skyblue;border-radius: 17px;}h2 {text-align: center;color: darkmagenta;}div {padding: 16px 17px;font-size: medium;background: azure;margin-bottom: 16px;}div p {font-weight: bold;display: inline-block;}</style></head><body><h2>{}实时天气</h2><div><p>温度:</p><span>{}℃</span></div><div><p>湿度:</p><span>{}</span></div><div><p>风力:</p><span>{}</span></div><div><p>PM2.5:</p><span>{}</span></div></body></html>

2、生成每个城市的HTML页面

2.1、HTML页面代码(weatherTemplate.html)

python字符串format报错KeyError的可能原因和解决办法_HermitSun的博客-CSDN博客_format报错keyerror

<!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>{}实时天气</title><style type="text/css">body {{width: 400px;margin: 50px auto;border: 3px solid skyblue;border-radius: 17px;}}h2 {{text-align: center;color: darkmagenta;}}div {{padding: 16px 17px;font-size: medium;background: azure;margin-bottom: 16px;}}div p {{font-weight: bold;display: inline-block;}}</style></head><body><h2>{}实时天气</h2><div><p>温度:</p><span>{}℃</span></div><div><p>湿度:</p><span>{}</span></div><div><p>风力:</p><span>{}</span></div><div><p>PM2.5:</p><span>{}</span></div></body></html>

2.2、实例代码-动态生成html页面

demo3:利用以下demo,就可以生成所有城市的html天气展示。

'''# demo3:利用以下demo,就可以生成所有城市的html天气展示大作业题目思路引导:题目1:定时爬取每个地级市的实时天气状况、存入excel中、为每个城市生成html展示、历史excel文件以每日为单位归档到文件夹中。考察点:爬虫+文件读写+目录操作+pandas网址:/每个地市:1.从网站上寻找所有的地市列表-->地市编码(beautifulsoup解析页面)或(找数据接口)2.根据地市编号,爬取该地的实时天气(beautifulsoup解析页面)或(找数据接口)省份没什么用,我们只需要地级市的信息。'''import os;# 利用以下demo,就可以生成所有城市的html天气展示'''通过爬取天气网站得到的数据样板demo(昨天-.1.18):['北京', '-1', '36%南风', '2级', '78']['海淀', '0', '42%南风', '1级', '69']['朝阳', '-7', '31%北风', '3级', '23']['顺义', '-1', '43%东南风', '2级', '90']['怀柔', '-2', '46%西南风', '2级', '87']'''demo = ['北京', '-4', '64%', '东方一级', '87']; # 样例root = r'C:\Users\lwx\Desktop\weather';f = open(os.path.join(root, 'weatherTemplate.html'), 'r', encoding='utf-8')temp = f.read(); # 读取模板内容f.close()# 生成HTML页面dir_html = r'C:\Users\lwx\Desktop\weather\实时天气HTML页面';f = open(os.path.join(dir_html, demo[0] + '.html'), 'w', encoding='utf-8')# print(temp) # 打印HTML页面代码content = temp.format(demo[0], demo[0], demo[1], demo[2], demo[3], demo[4])f.write(content)f.close()print(demo[0],end="")print("——动态生成HTML页面完毕!")

3、使用DataFrame输出数据到Excel中

Demo4:生成Excel文件。1.数据导入Excel;2.Excel文件的命名;3.文件夹的自动创建。

二维列表or字典 ——> DataFrame ——> Excel 。

3.1、Python获取系统时间

python当前日期时间_Python当前日期时间_从零开始的教程世界-CSDN博客

Python日期格式化:python时间格式化 - Jaoany - 博客园

3.2、实例代码-DataFrame数据输出到Excel中

F:\Python38\python.exe F:/JetBrains/2pythonSpace/pythonCode/实训lwx作业/day12-am-02.py

-01-19

17时45分

Over!

F:/JetBrains/2pythonSpace/pythonCode/实训lwx作业/day12-am-02.py:43: FutureWarning: As the xlwt package is no longer maintained, the xlwt engine will be removed in a future version of pandas. This is the only engine in pandas that supports writing in the xls format. Install openpyxl and write to an xlsx file instead. You can set the option io.excel.xls.writer to 'xlwt' to silence this warning. While this option is deprecated and will also raise a warning, it can be globally set and the warning suppressed.

df.to_excel(time_file, index=False); # False去除最左边的一列

Process finished with exit code 0

'''# demo4:以时间日期命名文件夹并将数据存入Excel大作业题目思路引导:题目1:定时爬取每个地级市的实时天气状况、存入excel中、为每个城市生成html展示、历史excel文件以每日为单位归档到文件夹中。考察点:爬虫+文件读写+目录操作+pandas网址:/每个地市:1.从网站上寻找所有的地市列表-->地市编码(beautifulsoup解析页面)或(找数据接口)2.根据地市编号,爬取该地的实时天气(beautifulsoup解析页面)或(找数据接口)省份没什么用,我们只需要地级市的信息。'''import pandas as pdfrom datetime import datetimeimport os# Demo4:生成Excel文件。1.数据导入Excel;2.Excel文件的命名;3.文件夹的自动创建。# Demo4:以时间日期命名文件夹并将数据存入Excel# 二维列表or字典 ——> DataFrame ——> Exceldata = [['北京', '-4', '64%', '东方1级', '87'], ['海淀', '-2', '60%', '西南风2级', '77']];df = pd.DataFrame(data, columns=['城市', '实时温度', '湿度', '风力', 'AQI']); # 行名称root_excel = r'C:\Users\lwx\Desktop\weather\Excel_归档';# df.excel();# print(df.excel());day = str(datetime.date(datetime.now()));print(day) # -01-19time = str(datetime.time(datetime.now()))[:5].replace(":", "时") + '分';print(time) # 17时18分# 归档dir_day = os.path.join(root_excel, day); # 文件夹路径if not os.path.exists(dir_day): # 文件夹是否存在os.mkdir(dir_day); # 创建文件夹time_file = os.path.join(dir_day, time + '.xls'); # 生成Excel文件df.to_excel(time_file, index=False); # False去除最左边的一列print("Over!")

​《蛊真人》

永生飘渺非我求,长存无为老愧羞。界壁消散乱世起,宿命一去竞自由。

鹰击长空鲸霸海,不试怎知龙与蚯。凡夫俗子岂识我,非到末路不甘休。​

矩为盘律为棋,世间万法皆可寻。

初入江湖开魔道,三战气绝试锋芒。

岁月忽晚生白发,书山无尽少年华。

衍天化地穷神力,师法万界道自然。​

​天行健,君子以自强不息。地势坤,君子以厚德载物。——《周易》

大丈夫处世,若为酒色而忘本,此为禽兽何异?——《水浒传》

佛说:“假使百千劫,所作业不亡,因缘会遇时,果报还自受。” 像这样偿还二、三百年前的业债,还要算是近的。

人必须有所不为,然后才能有所为。“不可”两字之中,大有力量。——王克敬《不可不可录》

道之呼吸——壹之形——柔声细语

道之呼吸——贰之形——抑扬顿挫

道之呼吸——叁之形——理大胜雄辩

道之呼吸——肆之形——反其道而行

道之呼吸——伍之形——据理决不让

道之呼吸——陆之形——公道自在人心

道之呼吸——柒之形——旁观左道争辩

道之呼吸——捌之形——反主为客道理真

道之呼吸——玖之形——非暴理不解争端

道之呼吸——拾之形——大道无形,,,实在不行就上头吧,不编了​。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。