分布式爬虫：Nutch
JAVA单机爬虫：Crawler4j，WebMagic，WebCollector
非JAVA单机爬虫：scrapy
第一类:分布式爬虫优点：
海量URL管理
网速快
缺点：
Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。
用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。
Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫。
Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。
Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text)
用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。
Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。
第二类:JAVA单机爬虫优点：
支持多线程。
支持代理。
能过滤重复URL的。
负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。
缺点：设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。第三类:非JAVA单机爬虫优点：
先说python爬虫，python可以用30行代码，完成JAVA
50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。
使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。
缺点：
bug较多，不稳定。
爬虫可以爬取ajax信息么？
网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。
如果偶已经可以生成偶所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？
爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。
爬虫怎么爬取要登陆的网站？
这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。
爬虫怎么抽取网页的信息？
开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSSSELECTOR和XPATH。
网页可以调用爬虫么？
爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。
爬虫速度怎么样？
单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。
css后代选择器和子选择器的区别介绍：
1 css后代选择器语法：h1 em {color:red;} 表示的是从h1开始里面包含的所有的em元素变成红色，h1为祖先，其他的em都是后代，即选中后代，不管是儿子还是孙子，只要是都会被选中，为后代选择器。2、css子元素选择器语法：h1>em{color:red;} 表示的是从h1开始里面的第一层em元素变成红色，h1为祖先，em为儿子，就像世袭制一样，只能传给儿子，孙子和其他堂亲都不行
偶来讲讲偶的故事，或许对大家编程有所启发。
阶段一：毫无章法
那应该是在 年，那时偶是大二，偶特别喜欢编程，偶虽然读的是计算机专业，但是毕竟理论学习和社会实践并不接轨。偶学习有点着急，想赶紧进行项目实战，那时候正直移动开发兴起的时候，听学长（其实是偶现在的媳妇）说现在移动开发很火，在一线城市做 iOS 开发和 Android 开发很值钱。
偶心动了，开始了提前自学之旅，从网上搜集各种关于移动开发的教学视频，买了一个 Android 机，搜了很多各种各样的关于 Android 开发视频，那时候移动开发刚刚开始，但是相关资料不太多，所以，很困难，学习起来毫无章法，各种学习视频都看，凑在一起。
学的是磕磕绊绊，学校的 Java 课还没开，偶就提前自学，看完网上的 Java 基础视频就投入到 Android 实战中了，经常导错包，看着跟视频上敲得一模一样，为啥偶运行就有 bug 呢？
这就是阶段一的情况，学的不系统，毫无章法，各种拼凑，磕磕绊绊。
阶段二：强化理解，入门了
由于偶暑假提前关在宿舍自学了两周 Java 课程，也跟着视频做过 Android 项目了，但是本质上并没有入门，都是视频上敲一遍，偶就跟着敲一遍，理解也不够深入。幸运的是，大二一开学 Java 课程开课了，跟着老师的教学，偶又学了一遍 Java 课，由于之前自己学过，又听老师讲了一遍，对 Java 理解更深刻了，把 Java 基础都了解透了之后，才恍然大悟，之前学的并不入门，如果不能把基础理解透，只是比着葫芦画瓢，并不能举一反三，只有真正掌握透语法，原理才能让你举一反三，以不变应万变。
顿时感觉自己开悟了。
强化理解，让偶入门了，从此掌握了学习编程语言的真谛的感觉，醍醐灌顶。
说到这里，其实挺羡慕现在的人学习编程的，因为太方便了，不像大家那个年代网上学习资料和课程都很少，需要自己研究，慢慢啃，现在网上的教学课程都很系统，资料也特别多。
阶段三：顿悟升级，突飞猛进
如果说阶段二让偶深刻理解了学习编程的真谛是：要从基础构建系统全面的学习体系，深刻理解基础原理的话。那么阶段三就是从源码和开源入手，掌握编程的翅膀。
其实，像编程语言基础的语法，数据结构，算法这类东西，还有一些计算机原理之类的知识，这些东西都是编程和实践的根本。他们看似枯燥和基础，但是具有最长久的生命力。这是偶开悟的第一层真谛。
偶自学 Android 的时候，慢慢渐入佳境，突然有一天偶要实现一个非常炫酷的效果的时候，在网上搜了很久，都没有找到解决办法，直到看到一篇文章在讲源码，要自定义 View ，就要看 View 类的源码，看看里面有哪些事件和方法，你要重写这些事件或者方法，就可以实现自己想要的效果。
然后自己下载了 Android 源码开始研究看看 View 里到底藏着什么东西？在大二，那是偶第一次用 Source Insight（查看源码的工具），看完之后，一步一步的研究，里面到底是什么？慢慢的啃，知道什么意思之后，就自己开始尝试，最后通过继承和重写把自己想要的结果实现了，才发现自己的编程正在突飞猛进。
以后在遇到自定义 View ，实现炫酷效果时，基本上都难不倒偶了。
突飞猛进正在开始。
后来，随着移动开发越来越火，另外也深刻了解了 GitHub 之后，才发现，自己原来也不需要重复造轮子，很多牛人都在里面开源，而这正是为了偶的编程插上了翅膀。偶在遇到一些比较难的效果的时候，现在 GitHub 寻找有没有现成的库，如果没有，那就自己动手写，如果有现成的，就直接用，不用重复造轮子，那时候，偶感觉编程太快了。
后来，偶想既然人家开源，偶为什么不开源呢？偶就把自己常用的一些效果和方法进行了封装，偶也开源或者弄成工具类，等下个项目再用的时候，偶就不用再写一遍了，直接引入就可以啦。
没错，到这个时候，偶才真正的感觉到自己的编程突飞猛进了。
大家简单来梳理一下：
阶段一：毫无章法，磕磕绊绊，它时刻在提醒大家编程要系统的去学，而不是东拼西凑，否则就是在走弯路；
阶段二：强化理解基础，从基础原理来深刻理解编程语言才能让你举一反三；
阶段三：深入理解系统源码，学会看源码，会让你作为一个程序员有一种天生骄傲，什么效果都难不倒偶，再到自己封装工具，使用开源，让你的效率飞速提升。
你看，其实编程如果你到了阶段三，再回顾之前，你就会发现编程其实就是那么简单。
而整个学习的历程对偶帮助很大，对于毕业后学习 Python 也起到了至关重要的作用，让偶更深一层的理解到所有的编程语言都是相通的。
在未来，是 IT 的时代，人人都会编程的时代，作为一个程序员在敲出代码，实现出效果的那一刻，有一种天生骄傲感，感觉是这个时代的主人，这个时代由偶主宰。
最后一个建议就是：大家学习一定要找对圈子，自己自学偶经历过，太痛苦，太孤独，也太累了，遇到问题没人商量，浸泡在不错的圈子里一起学习，成长更快。
给大家推荐一款人人可上手的可视化工具，那就是Excel，好评度五星！
全文7688字，阅读需要10分钟，赶时间的朋友先点赞收藏，方便下次学习！
为什么要推荐Excel呢？
兼容性，Excel与PPT可以实现数据同步，数据修改后能直接呈现在PPT，一劳永逸。内在：Excel有5大类常规的数据可视化表达，图表类多达13种，还可以通过自定义制作多变的数据可视化表达，满足95%的日常办公需求。
跟其他数据可视化工具对比，
①对比可视化网站工具，Excel拥有强大的数据分析（Excel函数，数据透视表等），而大多数在线工具只能输入结果，而无法运算。 ②对比R、Python等，Excel对于初学者的友好高，基本2周就能大概掌握，而这些语言太难了！ ③普及率高：哪台电脑没有装Excel，你要表达你的观点也容易。
想快速掌握Excel可视化表达，先了解一下可视化的全面架构：
以下就是课件内容的例子，先给同学看一下效果：
基础图表：《王者之星★》
三维地图：《广州武汉之❤》
Excel控件：《520❤你的名字》
《进阶の图表》
《智联之薪》
接下来，大家从第一个开始撩：
E01.认识数据可视化
数据可视化就是通过图形，呈现出数据大小，占比，分布等特点，从而传递信息给大家。
下面偶就用地图简单举栗子吧
腾讯位置大数据/
地图越亮的地方代表定位次数越多的地方，这个定位跟大家人口分布一致的。
通过流量折线图比较，大家就能直观看出欢乐谷的应该是9点开门，19点闭门。
关于数据可视化，大家可以多去一些可视化网站看看，其实大家大多数人接触数据可视化应该是小学、初中、高中的地理课本。
E02.Excel的数据可视化表达
在Excel中常见可视化表达有五类，分别是REPT函数、条件格式、迷你图、Excel图表，三维地图。
点击获取Excel图表视频教程和源文件模板★★★★★N0.1 REPT函数
表达式：=REPT（text,number_times） =REPT(重复文本，重复次数）
注意重复文本要用英文状态下引用，通过具体的实例去实战吧~
01.给课程做数据条
表达式子：=REPT(“|”,C5)&C5
选择适合的字体很重要，一般适合展示20至100的数据
02.网站流量漏斗图
03.电影评分表
04.相亲心动指数
05.人口金字塔图
NO.2 条件格式
01.突出显示单元格规则
点击【开始】→【条件格式】即可选择相关的规则，突出显示相关的单元格。
1.查找重复值，查找班里不及格的人等等
02.最前最后的规则
利用前N项或者后N项，通过突出显示快速找到对应的数据。
例如大家可以显示数学成绩高于平均分的同学、显示各位同学最低的一门科目成绩、班里成绩最好的3位同学
03.图标集
许多小伙伴不知道这些小图标是来自条件格式，导致了误以为是图表上的。
优点：其实这些精致的小图标设置很简单，通过默认的设置就能得出来。 缺点：就是精度不高，只能表示大概。图标集分为方向、形状、标记、等级四个归类，根据归类大家日常主要分别应用在
方向：表示涨↑跌↓，一般用于数据对比
形状：一般用于分类划分的信号
标记：用于标记状态，某件事做了与否，达成目标与否
等级：表示占比划分
04.色阶
色剂可以设置双色色阶或者三色色阶。
05.半自定义规则
如果还不过瘾可以通过自定义格式来设置，整体设置也不难，所有的框和图标均可以自定义设置。
06.公式自定义条件格式
公式自定义条件格式，相对与上面的会难点，但通过简单标志有更高的灵活度。
自定义格式百分比图
2.动态考勤记录表
3.项目计划甘特图
03.迷你图
迷你图有三种形式，柱形、折线和盈亏图，它的优点是能大概表示数据状态，确定就是精准度低，图形无法表示数据真实差距。
无排版可视化的表格
经过可视化后↓
点击获取Excel图表视频教程和源文件模板★★★★★04.三维地图
武广之恋❤
本题版本要求：及以上，版本可以安装power map插件还能拯救。
点击获取Excel图表视频教程和源文件模板★★★★★
本道题可以简单拆分为：心形图形表达式+三维地图
01.第一步构建数据源
大家在百度或者一些论坛上找到心形的函数Excel表达式，然后在Excel上列出具体的数据源，这是最关键的又是最麻烦的一部分工作。就能直接下载该偶精心为大家准备源文件啦！
02.打开三维地图
1.大家把标准的心形函数表达式放到三维地图上，其表达效果这样紫滴，地理曾经满分的偶一下子恍然大悟，这不就是本初子午线（经度=0）与赤道（纬度=0）交界的地方嘛。
2.当大家把坐标的中心定位到广州，不就是将原来的表达式加上广州的经纬度，偶马上百度了一下广州的经纬度。广州（东经113.23，北纬23.16）大小老可爱们直接在偶的城市填上经纬度就OK啦↓
以广州为例↓
延伸：西经与南纬，需要把坐标写成负数。如西经113.23，南纬23.16（-113.23，-23.16）这样表达。
于是大家在茫茫的太平洋找到这个东西↓
03.添加异地坐标
在对应偶的城市，和你的城市填上对应的坐标轴，可得到：
广州与武汉❤
广州与珠海❤
05.特别提醒
更改过数据源后一定要刷新数据啊！
E03.了解Excel图表的规范与应用
E03-1.参考优秀的图表借鉴样式、布局、配色等
a.echart网站
b.设计网站
c.可视化平台等：如网易数读
d.商业杂志
E03-2.一份专业商务图表具备哪些特
图表原有元素：2.主标题；5.图例；6绘图区（1.纵坐标、2.网格线、3.横坐标、4.图形）
添加元素：1.logo；3.副标题，4.单位，7.备注
E03-3.快速了解图表基础设置
E03-4.配置表格主题颜色
E03-5.系统设置整个表格主题
了解整个表格和图表的基础和规范设置后，大家马上去了解各种基础图表。
E04.玩王者荣耀，学习基础图表
学习基础图表，大家只需要吧这个《王者荣耀看板》做一遍，基本就你能掌握90%日常工作的应用，更重要你做完后会有一股成就感。
王者荣耀数据看板
王者荣耀动态看板
那大家分解一下，都是由哪些图表构成的，从这个图表就能从主标题看出是哪些图表，大家还可以通过点击图表左上方蓝色■形状，进行跳转到对应的图表联系区域。
教学部分主要采用了《经济学人》的配色风格演示，大家可以通过设置页面布局的主题，变换主题颜色。
E04-1.柱形图
01.表格开始页引导：
02.图表练习区域展示：
02.图表小结区域：
每个图表做了实践之后，大家会给大家总结主要的知识点，方便大家快速上手图表。
E04-2.条形图
条形图在王者荣耀中很常见，例如对战战绩图，血量、蓝量还有回城图都是由条形图来展示的。
03.知识点小结：
接下来的图表，就简单跟介绍一下需要注意的事项，或者一些与其他图表的不同点或共同点：
E04-3.折线图E04-4.环形/饼状图：占比分析E04-5.面积图：占比趋势分析
这个在王者中的经济占比运用的就是面积图。
03.知识点小结：
E04-6.散点图:双变量分析
03.知识点小结：
E04-7.气泡图：三变量分析
03.知识点小结：
E04-8.雷达图：多维度分析
最常见在大家的综合战力分析上，几乎每个游戏都会常常用到这种的对比。
03.知识点小结：
以前的案例示范：
E04-9.树状图：分级占比分析E04-10.旭日图：分级占比分析E04-10.直方图：区间分布分析
直方图更像简化版的正态分布图，它经常用于统计数值区间的分布，例如年龄段的人数、收入水平、工资收入分布等。
E04-12.瀑布图E04-13.组合图
E04.最后一招，数字放大法！
最后，大家把上面的所有图表拼合在一起，可得：
把大家所学的图表，一一放进去，可得到：
暂时补充到这里，如果想看动态图表的，请留言，偶抽空补充一下这方面的知识。
私信回复：基础图表，即可获得一份基础图表的源文件❤
