300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069

大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069

时间:2020-10-01 16:41:04

相关推荐

大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069

然后我们再来看下,这个客户端去从hadoop的hdfs上面读取数据的一个过程.

1.首先我们先看一下hadoop是怎么来存数据的.

2.首先对于namenode节点来说,我们说他存了元数据,比如他这里存了一个/usr/atguigu/ss.avi这个文件,注意他仅仅是存了一个元数据,比如名字,路径.

然后namenode还存了,比如我这个文件有两个block块,比如是blk_1,和blk_2,这两个块.然后为了安全起见,这个namenode也会把这两个块信息,存3个副本放起来.

3.然后namenode上面记录的这个文件的blk_1这个块,可以看到记录了他存在了datanode1上面一份具体的块的数据,在datanode2上面存了一份具体的块的数据,在datanode3上面存了一份具体的块的数据

4.然后同样namenode上面记录的这个文件的blk_2这个块,可以看到记录了他存在了datanode1上面一份具体的块的数据,在datanode2上面存了一份具体的块的数据,在datanode3上面存了一份具体的块的数据

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。