1回答
HDFS是Hadoop的核心，我明白。但如果我不想将数据存储在HDFS上，该怎么办？相反，我希望对存储在可通过NFS协议访问的远程服务器上的数据进行分析并运行Hadoop作业。我该怎么做？例如，我想使用NFS服务器上的数据运行Teragen，如下所示： hadoop jar hadoop-mapreduce-examples.jar teragen 1000000000 nfs://IP/some/path 我只是在寻找如何做到这一点的想法，我确实理解所有这些(<e
浏览 21提问于2019-04-19得票数 2
在Spark的FAQ中，它明确表示不必使用HDFS：
不是，但如果您在集群上运行，您将需要某种形式的共享文件系统(例如，NFS安装在每个节点的相同路径上)。那么，如果我不打算使用Hadoop MapReduce，那么与其他分布式文件系统(如NFS)相比，将Apache与HDFS结合使用有哪些优缺点呢？如果我使用NFS而不是HDFS来存储节点(用于检查点、洗牌溢出等)，我会丢失一个重要的特性吗？
浏览 0提问于2015-09-12得票数 14
回答已采纳
1回答
由于我需要以更快的处理速度和更高的可扩展性来存储大量数据，所以我选择了hadoop，但我也需要数据协作，我知道sharepoint是最好的选择。我知道SSIS，它用于SQL服务器与Hadoop的集成，但我需要实时示例，以便我能够找到它的确切解决方案。
浏览 3提问于2013-04-17得票数 0
我需要在两个独立的hadoop集群之间定期传输数据(按需传输，而不是脚本/流)。其中一个部署在孤立的网络中，无法直接访问另一个网络。
我试着在官方文档和网页上寻找答案，但这似乎是一项相当重要的任务。
浏览 0提问于2019-07-10得票数 0
在NFS安装的HDFS位置的文件夹权限中看到用户名的无意义值，而HDFS位置本身(使用Hortonworks HDP 3.1)看起来很好。例如：total 6.5K
drwx------. 3 accumulo hdfs 96 Jul 19 13:53 accumulo注意用户ml1和q_etl的不同之处，他们在NFS位置上运行ls时有数值用户值，而
浏览 1提问于2019-08-27得票数 1
回答已采纳
1回答
我有一个集群，将HDFS作为一个未存储的分布式文件系统，但我刚刚读到关于冲积is 的快速和灵活的内容。所以，我的问题是:我应该在HDFS中使用Alluxio还是Alluxio替代HDFS？(我在他们的站点中看到，用于下存储文件系统的共享存储可以是网络文件系统(NFS)。因此，我认为HDFS不是必需的。如果我犯了错误，请纠正我。在哪种模式下性能更好: HDFS与Alluxio或Alluxio stanalone (我指的术语是在集群中单独使用，而
浏览 1提问于2018-08-30得票数 2
回答已采纳
1回答
我正在运行Cloudera 5.3的集群上工作，我已经按照所有说明创建了一个NFS网关，它运行得很好。我的问题是，我仍然不能将HDFS目录看作Linux文件系统(这是RHEL 6)的一部分。我不是UNIX管理员，所以我没有安装目录的经验，而且我在网上找到的文档对这个特定的问题也没有帮助。我试过简单的在作为NFS网关的机器上，但这不起作用。当我尝试从另一台集群计算机使用我看不到网关服务器上的任何文件，也看不到<em
浏览 0提问于2015-04-23得票数 2
我有一个有两台机器的spark集群，比如mach-1和mach-2。我在本地编写代码，然后将其导出到JAR，并将其复制到mach-1。然后我使用spark-submit在mach-1上运行代码。类似地，在将文件写出到本地时，当输出文件夹仅在mach-1上可用时，它有时会起作用，但随后它给出一个错误，我也在mach-2上创建了输出文件夹。现在，它在mach-1和mach-2中创建输出(一部分在mac
浏览 0提问于2016-10-31得票数 0
2回答
目标：将集群上的数据备份到NFS驱动器，卸载集群，安装其他发行版(Cloudera，Hortonworks)，并将数据从NFS驱动器重新加载到这个新集群。Concerns/Queries：
如何在NFS驱动器上备份整个集群？目前，我有一台独立的机器(不是集群的一部分)，它安装了NFS驱动器。最简单的方法是将表导出到NFS驱动器中的csv/tsv文件，并在新集群中加载这些表，但将这些大表导出到csv/tsv会让我感到不舒服，但我想不出其他方法。根据我的理解
浏览 4提问于2015-02-05得票数 1
1回答
现在通过ls -lh <nfs path to the hdfs location>在本地文件系统上尝试：[ml1@HW04 ml1c]$ ls -lh <nfs path to the hdfs location>drwxrwxr-x. 4 hph_etl hph_etl 128 Jul 31 15:13 export显然，这不是意外的行为。和霍顿工厂的人谈话，目的是.
浏览 0提问于2019-08-09得票数 0
回答已采纳
(IdUserGroup.java:110) at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:172)
at org.apache.hadoop.hdfs.nfs</
浏览 11提问于2014-05-22得票数 1
尝试在之后使用/启动HDFS (并没有启动hadoop portmap服务，因为操作系统不是SLES 11和RHEL6.2)，但是在尝试设置启动hdfs nfs3服务的NFS服务时出错：[root@HW02 ~]#19/07/23 13:49:33 INFO nfs3.Nfs3Base: STARTUP
浏览 0提问于2019-07-24得票数 1
回答已采纳
我正在使用NFS网关服务将一些数据摄取到HDFS (CDH5.4.5)中。
直到我收到一条消息，警告我日志目录空闲空间非常低时，一切似乎都好起来了。并注意到一个名为/var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out的34 and文件。org.apache.hadoop.security.UserGroupInformation: No groups available for user [
浏览 4提问于2015-11-30得票数 0
回答已采纳
/opt/mssql-tools/bin/bcp "ACCOUNT" in \ -D -S MyMSSQLServer\ -d SOME_MSSQL_DB \ -t \t \
-e /HDFS_NFS</em
浏览 0提问于2019-07-30得票数 0
回答已采纳
HDFS NFS GateWay mount.nfs:输入/输出错误？1.错误如下：mount.nfs: Input/output error
2016-03-10 15:12:06,350 WARN org.apache.hadoop.hdfs.
浏览 1提问于2016-03-10得票数 0
1回答
我有一个巨大的20 to文件要复制到Hadoop/HDFS中。当然，我需要管理任何错误情况(如果服务器或传输/加载应用程序崩溃)。在这种情况下，我需要重新启动处理(不管是否在另一个节点中)，并继续传输，而不从一开始就启动CSV文件。用水槽？斯库普？本地Java应用程序？火花？
非常感谢。
浏览 5提问于2016-05-31得票数 0
回答已采纳
1回答
我正在尝试将windows Server 2012中的一个NFS共享挂载到我的Hadoop集群(运行Hadoop2.7.3)上，这样它就可以对上传到Windows server的文件运行MapReduceHadoop集群在raspberry pi 2(其中8个)上运行，我已经了解了Hadoop 上的配置
我尝试将NFS挂载到主服务器上的HDFS目录(/hdfs/tmp/datanode)上，但在namenode我是不是把它装错地方了？
浏览 15提问于2017-03-15得票数 0
1回答
我是this.Would新手，想知道hadoop分布式文件系统和网络文件系统的基本区别，以及hdfs相对于nfs有什么好处？
浏览 2提问于2014-09-08得票数 17
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
