3分钟
数据块流水线复制
客户端向HDFS文件系统写入数据的过程如下。开始时写到本地的临时文件中,也就是客户端的缓存中,当本地临时文件的大小积累到一个数据块(64MB)大小时,客户端就会从NameNode节点中获取一个DataNode列表信息并用来存储数据块。接着客户端向DataNode节点传输数据,假设数据块的副本数为3,第一个DataNode会一小部分一小部分(大概在4KB)地接收数据,将接收到每一部分数据写入本地创库;同时数据也传输到该DataNode列表中的第二个DataNode节点,第二个DataNode节点接收数据的方法与第一个DataNode节点接收的方法相同;同时也把数据传输给第三个DataNode节点。综上所述,DataNode采用流水线的方式从第一个节点接收数据,并同时转发给下一个节点,数据采用流水线的方式从前一个DataNode节点复制到下一个DataNode节点。
学员评价