文章/答案/技术大牛

发布

社区首页 >问答首页 >hdfs体系结构-由谁执行输入文件拆分

问hdfs体系结构-由谁执行输入文件拆分
EN

Stack Overflow用户

提问于 2014-07-15 06:19:55

回答 1查看 157关注 0票数 0

我是hadoop的newbee。我搞不懂谁来拆分输入文件。假设我有一个200MB的文件，块大小是64MB。因此，我们需要总共4个数据块乘以复制因子。谁拆分文件，拆分后的文件如何提供给客户端，以便能够写入数据节点。

如果可能的话，请给我提供这些信息的链接？我尝试了谷歌搜索，但没有成功地一步一步地找到hadoop架构的详细解释。有几个网站，但缺少细节。

architecture

hdfs

hadoop

回答 1

Stack Overflow用户

发布于 2014-07-15 14:05:24

尽管一些细节在这些年中发生了变化，但这两个文档(由参与HDFS早期开发的人员编写)很好地描述了HDFS中的工作原理：

回答您的特定问题: HDFS中间件(具体地说，HDFS客户端组件)在上传文件之前将文件拆分为多个数据块，并在您将文件下载到客户端时合并数据块。这对用户来说是完全透明的。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/24751163

复制

python 下载FTP服务器所有文件封装类

网站 ftp python

import os, sys, ftplib from getpass import getpass from mimetypes import guess_type, add_type

用户5760343

2022/05/13

1.2K0

Linux下使用wget下载FTP服务器文件

ftp

解释： -nH：不创建以主机名命名的目录。 –cut-dirs：希望去掉原来的目录层数，从根目录开始计算。如果想完全保留FTP原有的目录结构，则不要加该参数。 -m：下载所有子目录并且保留目录结构。 –ftp-user：FTP用户名 –ftp-password：FTP密码 ftp://*.*.*.*/*：FTP主机地址。最后可以跟目录名来下载指定目录。

梅花

2020/09/28

10.6K0

linux中如何用ftp命令下载文件,linux中ftp下载文件命令的用法

ftp ssh linux shell http

linxu下的ftp命令是用来下载文件或者上传文件的，下面由学习啦小编为大家整理了linux的ftp下载文件命令的用法的相关知识，希望对大家有帮助!

全栈程序员站长

2022/09/23

17.7K0

Java FTP下载文件

ftp 单元测试编码服务器源码

依赖的包 <dependency> <groupId>commons-net</groupId> <artifactId>commons-net</artifactId> <version>3.1</version> </dependency> 方法示例 package com.xsh.util; import org.apache.commons.net.ftp.FTPClient; import

河岸飞流

2019/08/08

4.9K0

python通过pysftp加密上传、下载ftp服务器文件

python ftp 服务器加密

python通过pysftp加密上传、下载ftp服务器文件 import pysftp import sys Defines the name of the file for download / upload remote_file = sys.argv[1] srv = pysftp.Connection(host="your_FTP_server", username="your_username", password="your_password") Download the file from t

用户7999227

2021/11/02

2.3K0

ython通过pysftp加密上传、下载ftp服务器文件

python ftp 服务器加密

用户8983410

2021/11/02

1.6K0

Android 向FTP服务器上传以及下载文件

ftp

首先我们要用到commons-net-3.3.jar包可以去网上下载找不到可私信我好了，下面直接上代码封装了一个类出来可直接使用

longzeqiu

2019/08/14

2.8K2

不安装 ftp 如何用 windows 服务器上传下载文件

ftp windows 安全 windows server

现在有很多新手仍然在使用 Windows 服务器，为了方便上传下载文件，我们都会在 windows 服务器上安装 ftp 服务器端，然后在本地电脑用 ftp 软件上传下载各种文件，很是方便。不过这个也存在一些弊端。为了规避这个问题，魏艾斯博客今天教大家如何在不安装 ftp 的情况下，在本地电脑和 windows 服务器中上传下载文件。

魏艾斯博客www.vpsss.net

2018/07/12

14.6K1

ftp文件下载工具，四款超级好用的ftp文件下载工具

ftp iis java https 网络安全

ftp文件下载工具是什么工具，可能有人会回答说不知道，因为一般只有从事网站管理的工作者会使用的多一点。但不是每个人生来就会的，所以刚开始肯定都会学习怎么使用。这篇文章就来告诉大家有哪些ftp文件下载工具吧。

全栈程序员站长

2022/08/19

6.2K0

python ftp下载文件脚本

网站 ftp python socket编程

------------------------------------------getfile.py

用户5760343

2022/05/13

1.1K0

vb6.0 FTP文件下载

ftp

Inet1.AccessType = icUseDefault '设置与Internet连接的类型，默认值

办公魔盒

2019/07/22

2.5K0

FTP文件上传下载

ftp

FTP的数据端口顾名思义就是用来进行数据操作的端口。其又分为两种模式：主动模式与被动模式。

WindCoder

2020/01/21

1.8K0

python ftp下载文件脚本

ftp

import os, sys from getpass import getpass # hidden password input from ftplib import FTP # socket-based FTP tools

用户5760343

2022/05/13

9280

JAVA代码实现FTP文件下载

java https 网络安全 ftp

一、下载commons-net-1.4.1.jar包，放到lib下，并加载到.classpath文件中

全栈程序员站长

2022/08/22

1.2K0

python搭建FTP服务器之FTP上传和下载

ftp https linux 网络安全 html

Python中默认安装的ftplib模块定义了FTP类，其中函数有限，可用来实现简单的ftp客户端，用于上传或下载文件，函数列举如下

周小董

2019/03/25

10.1K0

linux ftp下载命令_centos如何连接ftp

ftp

Host为ftp主机ip，此命令用来登录ftp服务器，登录后会提示输入账户和密码，账户和密码正确输入后，就会登录到服务器，并进入FTP子程序。

全栈程序员站长

2022/11/08

23.6K0

FTP文件服务器

ftp ssh 网络安全

FTP (File transfer protocol) 是TCP/IP 协议组中的协议之一。他最主要的功能是在服务器与客户端之间进行文件的传输。FTP就是实现两台计算机之间的拷贝，从远程计算机拷贝文件至自己的计算机上，称之为“下载（download）”文件。将文件从自己计算机中拷贝至远程计算机上，则称之为“上传（upload）”文件。这个古老的协议使用的是明码传输方式，且过去有相当多的安全危机历史。为了更安全的使用 FTP 协议，我们主要介绍较为安全但功能较少的 vsftpd(very secure File transfer protocol ) 这个软件。FTP是一个C/S类型的软件，FTP监听TCP端口号为21，数据端口为20。

星哥玩云

2022/09/15

22.6K0

python定时下载FTP指定文件

ftp python

公司正好有个需求，定期从远端ftp下载指定昨天的数据，写了2个函数，一个是连接远端ftp，另一个是定期下载远端数据，用到了ftplib、datetime和正则re三个模块

py3study

2020/01/09

1.8K0

FTP是什么？如何搭建FTP服务器？

ftp tcp/ip iis windows

不管是企业还是个人站长，在使用服务器、主机空间的过程中往往都会用到FTP，FTP（File Transfer Protocal），是用于Internet上的控制文件的双向传输的协议。同时，它也是一个应用程序。但是，要使用FTP来控制我们的主机服务器资源，就必须搭建本地的FTP服务器。下面，小编就教大家如何搭建FTP服务器？

chenzhouliyan

2019/08/06

21.6K0

ftp扫描软件下载_ftp扫描文件夹连接失败

ftp ssh https 对象存储网络安全

不知道大家用过哪几种ftp扫描工具，是不是感觉都是大同小异的呢？其实市面上的ftp扫描工具功能都是差不多的，当然也还是有一点差别的，那一点的差别可能就是我们选择那一种ftp扫描工具的原因。不论怎么说，也都是要选择自己喜欢的ftp扫描工具来使用。

全栈程序员站长

2022/11/10

7.5K0

相似问题

ftp无法上传下载文件？

1841

ftp服务器？

4357

FTP只能下载不能上传？

21.5K

centos搭建的FTP服务器如何通过ftp命令进行访问？

1655

无服务器函数如何下载文件呢？

1496

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问hdfs体系结构-由谁执行输入文件拆分
EN