云计算分布式框架 Hadoop

107课时
2.2K学过
8分

课程评价 (0)

请对课程作出评价:
0/300

学员评价

暂无精选评价
3分钟

数据块流水线复制

客户端向HDFS文件系统写入数据的过程如下。开始时写到本地的临时文件中,也就是客户端的缓存中,当本地临时文件的大小积累到一个数据块(64MB)大小时,客户端就会从NameNode节点中获取一个DataNode列表信息并用来存储数据块。接着客户端向DataNode节点传输数据,假设数据块的副本数为3,第一个DataNode会一小部分一小部分(大概在4KB)地接收数据,将接收到每一部分数据写入本地创库;同时数据也传输到该DataNode列表中的第二个DataNode节点,第二个DataNode节点接收数据的方法与第一个DataNode节点接收的方法相同;同时也把数据传输给第三个DataNode节点。综上所述,DataNode采用流水线的方式从第一个节点接收数据,并同时转发给下一个节点,数据采用流水线的方式从前一个DataNode节点复制到下一个DataNode节点。