由于本人也是初学者,算是小白一枚,这里跟大家分享一下爬取网站上的小说的过程。
第一步我们需要导入我们需要的模块,比如requests,BeautifulSoup,还有正则模块re。
代码如下:import re
import requests
from bs4 import BeautifulSoup
然后我们需要找到我们需要爬取的网站,这里我随便选取了一个小说网站:
接下来就是我们需要爬出小说的html,随便在这个网站找到了一本小说,就比如说《某某悍刀行》吧。url = '/7_7568/'
response = requests.get(url)
response.encoding = 'utf-8'
html = response.text
这样,这就是我们获取到了这个小说网页的源码html。
但是很多时候网站都会有一定的反爬虫机制,访问几次之后我们所在的IP就会被封锁,所以我们就需要做一个简单的反反爬虫操作,那就是给你的get请求加上header,这个header可以在目标网页上找到。
某网站某地址的源
比如这个就是之前我们网页的源码,(可以摁键盘上的F12或者右击鼠标点击检查,找到之后可以刷新一次)我们需要的是Request Headers下面的User-Agent,我们复制过来,然后就成了下面的情况。
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
直到目前为止我们爬取了《某某悍刀行》的目录所在页的html了。
下一步就是找到我们爬取到的html,来进行正则处理,找到我们需要的从第一章到最后一章的所有内容soup = BeautifulSoup(html,'html.parser')
one = soup.find("div",attrs={"id":"list"})
这样我们就得到了部分我们需要的内容:
根据这个图片,我们可以从当中写出正则表达式:pattern1 = pile('
',re.S)
pattern2 = pile('html">(.*?)
',re.S)
get_url = re.findall(pattern1, str(one))
get_title = re.findall(pattern2, str(soup))
其中的pattern1 就是对文中的目录下面的网址进行的正则表达式,选取到的是7_7568(这个代表在这个网页下面的《雪中悍刀行》这本书的代码)下面的3226什么开头的数字。
而pattern2 就是网址后面的章节标题的正则表达式。
下图就是我们正则到的内容:
很明显的可以看到,前面的这些章节都是番外内容,跟我们一般看小说看的前后顺序明显不同,所以我们可以把这些不需要的删掉,直接从第一章 “小二上酒”我们爬取:for i in range(41):
del get_url[0]
del get_title[0]
接下来我们创建一个当前文件夹下的一个txt文件来保存我们爬取的东西:
with open('雪中悍刀行.txt', 'a', newline='', encoding='UTF-8-sig') as txtfile:
for i in range(len(get_url)):
reallurl = url + str(get_url[i])
# print(reallurl)
response1 = requests.get(reallurl, headers=re_header)
response1.encoding = 'utf-8'
html1 = response1.text
其中的**‘a’**是代表我们不覆盖录入,不加newline=’'的话,有可能会每个一行留一行的空白,encoding是对数据进行编码。
然后我们做了一个for循环,通过这个循环我们能重复操作,反复访问,每一章的网址下面的html,所以html1就成了每一章的html。
这个就是我们得到的一章的内容,我们对这个进行BeautifulSoup处理,因为我们只需要下面的这个东西,所以,我们这么操作:soup1 = BeautifulSoup(html1, "html.parser")
one = soup1.find("div",attrs={"id":"content"})
得到的one就是我们需要的每一章小说:
然后把我们得到的数据,保存到txt文件中就行:txtfile.write(str(get_title[i]) + "\n")
txtfile.write(str(one) + "\n")
以下就是全部代码,欢迎大家斧正!(我也保留了写代码时候的各种操作,大家是不是有相同的情况呢2333)
(第一次写,有什么不好的,大家留点情555)
from urllib.request import urlretrieve
import requests
import os
import re
from bs4 import BeautifulSoup
# url = 'http://www.xbiquge.la/13/13959/'
re_header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
# url = '/7_7568/3226399.html'
url = '/7_7568/'
response = requests.get(url,headers = re_header)
response.encoding = 'utf-8'
html = response.text
soup = BeautifulSoup(html,'html.parser')
one = soup.find("div",attrs={"id":"list"})
# print(one)
pattern1 = pile('
',re.S)
pattern2 = pile('html">(.*?)
',re.S)
get_url = re.findall(pattern1, str(one))
get_title = re.findall(pattern2, str(soup))
# print(get_url)
# print(get_title)
#
for i in range(41):
del get_url[0]
del get_title[0]
# print(len(get_url), len(get_title))
#
with open('雪中悍刀行.txt', 'a', newline='', encoding='UTF-8-sig') as txtfile:
for i in range(len(get_url)):
reallurl = url + str(get_url[i])
# print(reallurl)
response1 = requests.get(reallurl, headers=re_header)
response1.encoding = 'utf-8'
html1 = response1.text
# print(html1)
soup1 = BeautifulSoup(html1, "html.parser")
one = soup1.find("div",attrs={"id":"content"})
# print(one)
# pattern3 = pile('
(.*?)
')
# endtxt = re.findall(pattern3, html1)
# print(html1)
# print(endtxt)
txtfile.write(str(get_title[i]) + "\n")
txtfile.write(str(one) + "\n")
print('下载第',i+1 ,'章完成')
这就是python文件正在运行中,爬取一章一章的内容。
祝大家学业有成升职加薪,谢谢,谢谢