我在hdfs中有一个巨大的数据集，我想从中提取一些术语。同样的，haddop streaming命令是什么？(请看“我不想用猪”)
浏览 13提问于2016-07-26得票数 0
回答已采纳
我在CentOS linux中有一个5节点hadoop集群。我写了一张地图，还原并编译了这个罐子。我需要将JAR部署到哪个节点？
提前谢谢。
浏览 7提问于2015-06-15得票数 2
1回答
我最近开始学习如何使用Hadoop系统，并决定是时候尝试编写一些代码了。在此之前，我想尝试运行中的示例。然而，它似乎没有产生任何明显的结果。我目前使用的是Hadoop版本3.3.1，使用的是单节点设置，使用的是JDK11.0.11。我正在Windows 10上运行这个(由于当前的开发需求)。我在cmd上使用了以
浏览 5提问于2021-12-14得票数 0
Hadoop将中间结果写入本地磁盘，将reducer的结果写入HDFS。HDFS是什么意思。它在物理上翻译成什么？
浏览 1提问于2012-09-14得票数 0
回答已采纳
2回答
我在Apache Hadoop中看到的示例将存储在本地文件系统(例如org.apache.hadoop.examples.Grep)上的文件作为输入。有没有一种方法可以加载和保存Hadoop文件系统(HDFS)上的数据？例如，我使用hadoop-0.19.1/bin/hadoop dfs -put ~/local.x
浏览 2提问于2009-04-24得票数 0
回答已采纳
如果我希望将文件从本地目录复制到HDFS，是否需要在每个Hadoop节点上物理复制该文件？或者，如果我使用hadoop dfs命令，Hadoop将在每个节点上内部创建此文件的副本？
浏览 1提问于2015-09-13得票数 1
我们希望通过python脚本运行以下shell命令(我们使用pythonVersion2.7)2.6import os
os.system("echo
浏览 0提问于2020-07-08得票数 0
回答已采纳
我在多个本地文件夹中有数据，即/usr/bigboss/data1、/usr/bigboss/data2和更多文件夹。我想使用所有这些文件夹作为我的MapReduce命令的输入源，并将结果存储在HDFS中。我找不到一个有效的命令来使用Hadoop Grep示例来执行此操作。
浏览 2提问于2012-05-16得票数 0
回答已采纳
将文件从本地文件系统复制到hdfs时出现错误，我使用这个命令：
hadoopd fs -put text.txt file
浏览 4提问于2014-08-20得票数 0
我们希望遵循/var/hadoop/hdfs分区的使用空间，如果使用的空间更多地是50%，那么作为结果，我们运行脚本- do_action.bash，最后这个命令应该在crontab中，并且应该每1小时运行一次分区hdfs示例/dev/sdc 20G 1.7G 18G 9%
浏览 0提问于2022-08-04得票数 2
回答已采纳
我正在尝试读取几个文件的内容，并使用grep查找与我的搜索查询行，然后将结果输出到另一个目录中的文件夹中。我得到一个错误“没有这样的文件或目录存在”。我已经创建了文件夹结构和文本文件。hadoop fs -cat /Final_Dataset/c*.txt | grep 2015-01-* > /energydata/2015/01/01.txt-bash: /ene
浏览 8提问于2021-10-29得票数 0
回答已采纳
2回答
这是一种情况，我有一个hadoop集群，它没有配置Kerberos安全性和工作站。Hadoop集群运行Cloudera CDH3发行版。群集上的数据都存储在'hdfs‘用户下。该工作站是linux或macos工作站，它运行一个嵌入PIG客户端的复杂软件。PIG客户端连接到群集以运行分析作业。
这里有一个问题。群集和工作站上的用户帐户不同，hadoop群集中的所有数据都存储
浏览 0提问于2012-11-02得票数 0
回答已采纳
我正试图通过Yarn在Hadoop集群上运行星体外壳。我使用
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.1 -DskipTests clean package
编译工作正常，我可以运行另一件有趣的事情是，我可以使用pyspark --mast
浏览 1提问于2014-07-07得票数 11
我正在尝试从HDFS复制，当我运行此命令时，什么也没有发生。hadoop fs -copyToLocal out1 ~/datatemp我也试过
hadoop fs -get out1 ~/datatemp
浏览 355提问于2018-06-08得票数 0
如何配置Hadoop，使每个datanode使用不同的目录进行存储？
每个datanode共享一个存储空间。我希望datanode1使用dir1，datanode2使用dir2。首先，我将所有数据节点配置为使用共享存储中的同一目录，结果发现只有一个datanode在运行。
浏览 2提问于2012-10-01得票数 1
当我尝试将文件从local directory复制到HDFS中时，出现以下错误：[cloudera@localhost ~]$ su[root@localhost cloudera]# hdfs dfsadmin -safemodeSuperuser privilege is required
并进一步执行命令以将文件存储到<e
浏览 2提问于2015-09-28得票数 1
我正在查看Hadoop文件系统。用命令我将查看以dir1开头的每个目录，并返回它们的文件。我感兴趣的唯一信息是文件部分的路径。如何将路径仅存储到另一个文件中？理想情况下，我希望文件的输出仅包含该文件中的路径。最初，我考虑运行命令并将其输出存储到一个文件中，然后解析新文件，并使用regex获取路径，并将它们放入一个新文件，但这似乎
浏览 8提问于2014-11-10得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
对象存储
实时音视频
腾讯云开发者
