一、HDFS 读数据流程
(1)客户端通过 DistributedFileSystem 向 NameNode 请求下载文件,NameNode 通过查 询元数据,找到文件块所在的 DataNode 地址。
(2)挑选一台 DataNode(就近原则,然后随机)服务器,请求读取数据。
(3)DataNode 开始传输数据给客户端(从磁盘里面读取数据输入流,以 Packet 为单位 来做校验)。
(4)客户端以 Packet 为单位接收,先在本地缓存,然后写入目标文件。
时间:2019-07-11 02:04:43
(1)客户端通过 DistributedFileSystem 向 NameNode 请求下载文件,NameNode 通过查 询元数据,找到文件块所在的 DataNode 地址。
(2)挑选一台 DataNode(就近原则,然后随机)服务器,请求读取数据。
(3)DataNode 开始传输数据给客户端(从磁盘里面读取数据输入流,以 Packet 为单位 来做校验)。
(4)客户端以 Packet 为单位接收,先在本地缓存,然后写入目标文件。
如果不读人工智能和大数据方向是不是没有前途 – java – 前端
2023-05-18
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
2022-12-18