Python爬虫之爬取网络小说并在本地保存为txt文件
注：本文使用软件为Sublime Text，浏览器为谷歌浏览器
（新手小白第一次写，写得不好请见谅）
**1.**首先找到想要爬取的小说章节目录，如下图（网上随便找的一部小说）
然后鼠标右击-点击‘查看网页源代码’，如下图所示：
从上图代码里可以看到小说每一章的链接，所以所以我的思路就是通过这一页面然后让代码获取每一章的链接，再通过链接获取每一章的文字内容。
**2.**关于代码部分讲述
import requestsfrom lxml import etreeselector=etree.HTML(html)a=selector.xpath('//@href')
这里需要注意的是我们通过‘//@href’获得的网页链接为‘///chapter/12115534503935401/32719280238872455’，我们复制这个链接可以直接在浏览器打开并且能搜索到网页的内容，可是在python里直接用这个链接通过.get(url)是获取不到网页内容的，不出意外的话会出错，所以我们需要在‘//@href’获取到的连接前加上‘http:’(这里需要使用到字符串的拼接)
另外,在上述代码里面，我们定义的html，需要这样定义html=""" “”",而引号里面的内容我们需要从第一张图里面复制粘贴含有小说每一章链接的代码，**划重点，一定是含有所有章节的完整代码**
还有一个重点啊啊，感觉我话好多啊，注意注意注意，我们在看完小说的最后一章时，往往在最下面的页面还会有一个‘下一章’，这里的下一章对我们就没有用了，但是爬取章节链接的时候就会爬取到，所以我们需要用if语句来检测，如果爬取的链接为最后一章的链接时，则停止。
3.代码
（下面的代码就是以第一张图片上的小说为例）
import requestsfrom lxml import etreehtml="""<li data-rid="1"><a href="///chapter/12115534503935401/32522390879719926" target="_blank" data-cid="///chapter/12115534503935401/32522390879719926" title="首发时间：1年前 章节字数：3166">第001章：遇见（01）</a></li><li data-rid="2"><a href="///chapter/12115534503935401/32719280238872455" target="_blank" data-cid="///chapter/12115534503935401/32719280238872455" title="首发时间：1年前 章节字数：2381">第002章：遇见（02）</a></li><li data-rid="3"><a href="///chapter/12115534503935401/32731679535230272" target="_blank" data-cid="///chapter/12115534503935401/32731679535230272" title="首发时间：1年前 章节字数：2694">第003章：遇见（03）</a></li><li data-rid="4"><a href="///chapter/12115534503935401/32754874242478275" target="_blank" data-cid="///chapter/12115534503935401/32754874242478275" title="首发时间：1年前 章节字数：2482">第004章：遇见（04）</a></li><li data-rid="5"><a href="///chapter/12115534503935401/32801259076822431" target="_blank" data-cid="///chapter/12115534503935401/32801259076822431" title="首发时间：1年前 章节字数：2148">第006章：遇见（06）</a></li><li data-rid="6"><a href="///chapter/12115534503935401/32824451906164745" target="_blank" data-cid="///chapter/12115534503935401/32824451906164745" title="首发时间：1年前 章节字数：1865">第007章：遇见（07）</a></li><li data-rid="7"><a href="///chapter/12115534503935401/32851275312495098" target="_blank" data-cid="///chapter/12115534503935401/32851275312495098" title="首发时间：1年前 章节字数：2096">第008章：遇见（08）</a></li><li data-rid="8"><a href="///chapter/12115534503935401/32888232443113212" target="_blank" data-cid="///chapter/12115534503935401/32888232443113212" title="首发时间：1年前 章节字数：1893">第010章：遇见（10）</a></li><li data-rid="9"><a href="///chapter/12115534503935401/32911747381675974" target="_blank" data-cid="///chapter/12115534503935401/32911747381675974" title="首发时间：1年前 章节字数：2071">第011章：接触（01）</a></li><li data-rid="10"><a href="///chapter/12115534503935401/32960306012139026" target="_blank" data-cid="///chapter/12115534503935401/32960306012139026" title="首发时间：1年前 章节字数：1846">第013章：接触（03）</a></li><li data-rid="11"><a href="///chapter/12115534503935401/32981727966415590" target="_blank" data-cid="///chapter/12115534503935401/32981727966415590" title="首发时间：1年前 章节字数：1621">第014章：接触（04）</a></li><li data-rid="12"><a href="///chapter/12115534503935401/33003563861939667" target="_blank" data-cid="///chapter/12115534503935401/33003563861939667" title="首发时间：1年前 章节字数：2341">第015章：接触（05）</a></li><li data-rid="13"><a href="///chapter/12115534503935401/33026912385010146" target="_blank" data-cid="///chapter/12115534503935401/33026912385010146" title="首发时间：1年前 章节字数：1803">第016章：接触（06）</a></li><li data-rid="14"><a href="///chapter/12115534503935401/33049946565090451" target="_blank" data-cid="///chapter/12115534503935401/33049946565090451" title="首发时间：1年前 章节字数：1730">第017章：接触（07）</a></li><li data-rid="15"><a href="///chapter/12115534503935401/33083118458169059" target="_blank" data-cid="///chapter/12115534503935401/33083118458169059" title="首发时间：1年前 章节字数：1951">第018章：接触（08）</a></li><li data-rid="16"><a href="///chapter/12115534503935401/33102765537226714" target="_blank" data-cid="///chapter/12115534503935401/33102765537226714" title="首发时间：1年前 章节字数：2055">第019章：接触（09）</a></li><li data-rid="17"><a href="///chapter/12115534503935401/33125717014721576" target="_blank" data-cid="///chapter/12115534503935401/33125717014721576" title="首发时间：1年前 章节字数：1951">第020章：接触（10）</a></li><li data-rid="18"><a href="///chapter/12115534503935401/33145123839271659" target="_blank" data-cid="///chapter/12115534503935401/33145123839271659" title="首发时间：1年前 章节字数：1807">第021章：帮助（01）</a></li><li data-rid="19"><a href="///chapter/12115534503935401/3317670399572" target="_blank" data-cid="///chapter/12115534503935401/3317670399572" title="首发时间：1年前 章节字数：1946">第022章：帮助（02）</a></li><li data-rid="20"><a href="///chapter/12115534503935401/33189261317060847" target="_blank" data-cid="///chapter/12115534503935401/33189261317060847" title="首发时间：1年前 章节字数：1614">第023章：帮助（03）</a></li><li data-rid="21"><a href="///chapter/12115534503935401/33218327519503890" target="_blank" data-cid="///chapter/12115534503935401/33218327519503890" title="首发时间：1年前 章节字数：2077">第024章：帮助（04）</a></li><li data-rid="22"><a href="///chapter/12115534503935401/33241840865289336" target="_blank" data-cid="///chapter/12115534503935401/33241840865289336" title="首发时间：1年前 章节字数：2217">第025章：帮助（05）</a></li><li data-rid="23"><a href="///chapter/12115534503935401/33283074685970236" target="_blank" data-cid="///chapter/12115534503935401/33283074685970236" title="首发时间：1年前 章节字数：2393">第027章：帮助（07）</a></li><li data-rid="24"><a href="///chapter/12115534503935401/33305862701881669" target="_blank" data-cid="///chapter/12115534503935401/33305862701881669" title="首发时间：1年前 章节字数：1906">第028章：帮助（08）</a></li><li data-rid="25"><a href="///chapter/12115534503935401/33330424821882499" target="_blank" data-cid="///chapter/12115534503935401/33330424821882499" title="首发时间：1年前 章节字数：">第029章：帮助（09）</a></li><li data-rid="26"><a href="///chapter/12115534503935401/33364908029558290" target="_blank" data-cid="///chapter/12115534503935401/33364908029558290" title="首发时间：1年前 章节字数：1971">第030章：帮助（10）</a></li><li data-rid="27"><a href="///chapter/12115534503935401/33380274639489723" target="_blank" data-cid="///chapter/12115534503935401/33380274639489723" title="首发时间：1年前 章节字数：2407">第031章：同居（01）</a></li><li data-rid="28"><a href="///chapter/12115534503935401/33398477768061760" target="_blank" data-cid="///chapter/12115534503935401/33398477768061760" title="首发时间：1年前 章节字数：2318">第032章：同居（02）</a></li><li data-rid="29"><a href="///chapter/12115534503935401/33421111461487804" target="_blank" data-cid="///chapter/12115534503935401/33421111461487804" title="首发时间：1年前 章节字数：2752">第033章：同居（03）</a></li><li data-rid="30"><a href="///chapter/12115534503935401/33445583362777159" target="_blank" data-cid="///chapter/12115534503935401/33445583362777159" title="首发时间：1年前 章节字数：2657">第034章：同居（04）</a></li><li data-rid="31"><a href="///chapter/12115534503935401/33470146814976736" target="_blank" data-cid="///chapter/12115534503935401/33470146814976736" title="首发时间：1年前 章节字数：2198">第035章：同居（05）</a></li><li data-rid="32"><a href="///chapter/12115534503935401/33492452211555331" target="_blank" data-cid="///chapter/12115534503935401/33492452211555331" title="首发时间：1年前 章节字数：2738">第036章：同居（06）</a></li><li data-rid="33"><a href="///chapter/12115534503935401/33529014995820251" target="_blank" data-cid="///chapter/12115534503935401/33529014995820251" title="首发时间：1年前 章节字数：">第037章：同居（07）</a></li><li data-rid="34"><a href="///chapter/12115534503935401/33583380143483813" target="_blank" data-cid="///chapter/12115534503935401/33583380143483813" title="首发时间：1年前 章节字数：2618">第040章：同居（10）</a></li><li data-rid="35"><a href="///chapter/12115534503935401/33722534416937668" target="_blank" data-cid="///chapter/12115534503935401/33722534416937668" title="首发时间：1年前 章节字数：2749">第046章：交往（06）</a></li><li data-rid="36"><a href="///chapter/12115534503935401/33747333264232260" target="_blank" data-cid="///chapter/12115534503935401/33747333264232260" title="首发时间：1年前 章节字数：1978">第047章：交往（07）</a></li><li data-rid="37"><a href="///chapter/12115534503935401/33769002466296676" target="_blank" data-cid="///chapter/12115534503935401/33769002466296676" title="首发时间：1年前 章节字数：3207">第048章：交往（08）</a></li><li data-rid="38"><a href="///chapter/12115534503935401/33816428821177948" target="_blank" data-cid="///chapter/12115534503935401/33816428821177948" title="首发时间：1年前 章节字数：1679">第050章：交往（10）</a>"""selector=etree.HTML(html)a=selector.xpath('//@href')index=1for i in a:q='http:'url=q+iif url == '/lastPage/12115534503935401':breakelse:response=requests.get(url)response.encoding='utf-8'selector=etree.HTML(response.text)b=selector.xpath('//div/p')print('第{}章'.format(index))for l in b:print(l.text)index=index+1
使用sublime text运行上面代码，结果如下图所示
然后把下面的文字复制粘贴到记事本里面保存即可阅读了。
第一次在CSDN上写东西，如果哪里写得不好请见谅啊，希望对你们有帮助。
