300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 【python】python获取网站源码失败 出现一堆script脚本内容

【python】python获取网站源码失败 出现一堆script脚本内容

时间:2020-07-01 07:48:35

相关推荐

【python】python获取网站源码失败 出现一堆script脚本内容

问题原因

网站开启了防爬虫,爬取的设置,通过头部的cookie和User-Agent判断

解决流程

在头部设置以下内容

def ask_url(url,method):proxies = {"http": None,"https": None,}header = {"Cache-Control":"no-cache","Cookie":"xxx",//通过浏览器控制台获取'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.17 Safari/537.36 Edg/99.0.1150.11'//通过浏览器控制台获取}requests.packages.urllib3.disable_warnings()if(method == 'get'):page_text = requests.get(url,headers=header,verify=False,proxies=proxies).contentelse:page_text = requests.post(url,headers=header,verify=False,proxies=proxies).content# 编码格式转换,防止中文乱码page_text.decode("utf-8","ignore")#实例化beautifulSoup对象,需要将页面源码数据加载到该对象中soup = BeautifulSoup(page_text,'html.parser')# print(soup)return soup

✨踩坑不易,还希望各位大佬支持一下\textcolor{gray}{踩坑不易,还希望各位大佬支持一下}踩坑不易,还希望各位大佬支持一下

📃 个人主页:\textcolor{green}{个人主页:}个人主页: 沉默小管

📃 个人网站:\textcolor{green}{个人网站:}个人网站: 沉默小管

🔥 技术交流QQ群:837051545\textcolor{green}{技术交流QQ群:837051545}技术交流QQ群:837051545

👍 点赞,你的认可是我创作的动力!\textcolor{green}{点赞,你的认可是我创作的动力!}点赞,你的认可是我创作的动力!

⭐️ 收藏,你的青睐是我努力的方向!\textcolor{green}{收藏,你的青睐是我努力的方向!}收藏,你的青睐是我努力的方向!

✏️ 评论,你的意见是我进步的财富!\textcolor{green}{评论,你的意见是我进步的财富!}评论,你的意见是我进步的财富!

如果有不懂可以留言,我看到了应该会回复

如有错误,请多多指教

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。