300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077

大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077

时间:2019-09-23 23:52:17

相关推荐

大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077

然后我们再来看一下hadoop中,datanode的工作机制.

1.datanode1,比如启动的时候,它会向namenode进行注册,把自己的信息,比如我存了哪些block块信息,

块中存了块数据,以及块数据的长度,以及数据的校验和,以及块数据的时间戳.把这些信息发给namenode节点

2.然后namenode收到datanode1发过来的注册信息以后,把信息存到自己的元数据映射表中,然后给datanode1发送一条,注册成功的信息

3.datanode1收到,namenode返回的注册成功的信息以后,随后,每隔1个小时,还会上报自己的快信息,给namenode.,告诉namenode,哪些块信息是完好的,这个默认是6小时,当然可以自己设置.

4.然后datanode还会每隔3秒给,namenode发送心跳请求,namenode收到以后,给datanode回复的时候,有可能消息中会带有给datanode的一些命令等等.

5.如果namenode超过10分钟,+30秒,因为检测需要30秒,还没有收到datanode的心跳请求的话,namenode这个时候就会认为该datanode节点已经挂掉了,就会把自己的该datanode节点的信息,都删除,也不会给该datanode再发送指令信息了.

然后,上面说datanode会每隔6个小时像namenode,汇报自己的块信息,实际上就是修改

下面的配置文件的内容.

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。