一、需求分析
爬取百度词条Python页面的相关100个页面，分析目标：分析（url格式 数据格式 网页编码 ）。url格式限定了爬取的网页格式避免一些不相干的网页的爬取。数据格式主要是内容中相关的标签，网页编码则是为了正确解析网页。
参考视频中的内容简介如下：入口URL在我们打开的Python词条的地址栏中可以得到，为： /view/21087.html数据格式则是在页面上右键审查元素后选择edit as
HTML可以看到。网页编码在选择审查元素后上拉找到head标签下的可得为万国码。
二、示例代码
2.1 调度程序
在eclipse中创建一个package然后创建对应的module。在前两篇文章中提到的
spider_main
html_parser
html_downloader,
url_manager
html_outputer
如图：
2.2 spider_main代码编写：
if __name__ == '__main__':
root_url = #将此作为入口URL
obj_spider = SpiderMain()
obj_spider.craw(root_url)#调用spider里的craw方法来开始爬虫
总调度程序的编写
class SpiderMain(object):
def __init__(self): #初始化构造函数
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.output = html_outputer.HtmlOutputer()#初始化各个对象
编写完成后还要记得将各个对象和方法在各个模块中初始化
def craw(self, root_urls):
count = 1 #记录当前爬取的URL个数
self.urls.add_new_url(root_urls)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print('craw %d:%s' %(count, new_url))
html_cout = self.downloader.downloader(new_url)
new_urls, new_data = self.parser.parse(new_url, html_cout)
self.urls.add_new_urls(new_urls)
self.output.collect_data(new_data)
if count == 100:
break
count += 1
except Exception as e:
print('craw fails--', e)#这里一个小小的改写能将爬取遇到的问题能及时打印出来
self.output.output()
也要及时在对应模块中创建相应的方法
2.3URL管理器模块代码的编写
首先再想一想该模块要提供的方法：
添加一个新的未爬取的URL
添加新的未爬取一系列URL
判断管理器中是否有待爬取的URL
从管理器中获取一个新的URL
（待更）
