宽依赖和窄依赖深度剖析

宽依赖和窄依赖的概念：

窄依赖：一个RDD，对其父RDD只有简单的一对一的依赖关系。即父RDD和子RDD的partition的对应关系是一对一的宽依赖：英文名称shuffle dependency本质就是shuffle。也就是说，每个RDD的partition数据都可能有一部分数据传递到下一个RDD的partition中。此时，父RDD和子RDD之间是交互错综复杂的关系，他们之间发生的是shuffle

如下图所示：