问hdfs体系结构-由谁执行输入文件拆分
EN

Stack Overflow用户

提问于 2014-07-15 06:19:55

回答 1查看 157关注 0票数 0

我是hadoop的newbee。我搞不懂谁来拆分输入文件。假设我有一个200MB的文件，块大小是64MB。因此，我们需要总共4个数据块乘以复制因子。谁拆分文件，拆分后的文件如何提供给客户端，以便能够写入数据节点。

如果可能的话，请给我提供这些信息的链接？我尝试了谷歌搜索，但没有成功地一步一步地找到hadoop架构的详细解释。有几个网站，但缺少细节。

发布于 2014-07-15 14:05:24

尽管一些细节在这些年中发生了变化，但这两个文档(由参与HDFS早期开发的人员编写)很好地描述了HDFS中的工作原理：

回答您的特定问题: HDFS中间件(具体地说，HDFS客户端组件)在上传文件之前将文件拆分为多个数据块，并在您将文件下载到客户端时合并数据块。这对用户来说是完全透明的。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/24751163

复制

相似问题

问hdfs体系结构-由谁执行输入文件拆分EN