3回答
我已经开始阅读有关hadoop的文章。我也想学习实践。由于hadoop是分布式环境，并被设计为在linux上运行，因此我不能在运行windows的本地计算机上实践它。互联网上有没有云或虚拟机，我可以自己搭建整个环境并开始学习？我可以预先配置hadoop集群，但我更喜欢自己配置。
浏览 0提问于2014-08-15得票数 0
我有一台带10.7.4的MBP和一台带Ubuntu 12.04的笔记本。这样的混合环境可以搭建hadoop集群吗？
诚挚的问候,
浏览 3提问于2012-07-06得票数 0
回答已采纳
1回答
我使用两台腾讯云，一台阿里云，搭建Hadoop集群，使用的是本地内网，对外外网的方式，hdfs中put方法总是报错，其他方法没有问题，请问是我的服务器配置问题吗？
浏览 458提问于2018-09-01
1回答
混合hadoop集群
、、、
在hadoop集群中是否可以有windows和linux(centos，rhel)数据节点。混合集群需要哪些配置设置？
尊敬的hadoop用户
浏览 23提问于2016-07-19得票数 1
我对hadoop有基本的理解。我的问题是客户机/开发人员如何连接到hadoop集群来执行查询。
例如，我是hadoop开发人员。某个远程位置的Hadoop集群。如何连接到hadoop集群来运行我的java代码？我是否也必须在我的笔记本电脑中安装hadoop (为此我必须运行Linux)？
或者，如果我与Hadoop集群在同一个网络中，只需在我的笔记本电脑中挂载共享，并将我的代码放入hadoop集群，是否可以呢？
第二个问题:对于运行java代码，我是否必须对任何数据节点进行SSH，然后运行作业？
以上两个问题一直困扰着我。我没有实时经验。
提前谢谢你！
浏览 4提问于2014-11-07得票数 1
回答已采纳
2回答
文件夹中的流式文件
、、、
我要把流媒体应用从flume转移到kafka。
我需要帮助，因为我刚接触卡夫卡。
我有一台windows机器，在其上，由物联网传感器在特定位置(例如D:/Folder )连续生成CSV文件。
我想把它转移到hadoop集群。
1)在传输日志文件之间是否需要kafka集群/代理，或者是否可以直接从windows机器传输到hadoop linux机器？
2)是否可以在windows和hadoop linux机器上安装kafka，然后将CSV文件直接发布到hadoop机器上创建的kafka topic。
我将在hadoop机器上运行一个消费者？
浏览 4提问于2017-12-26得票数 0
我正在尝试从一个不是hadoop集群一部分的windows机器连接hadoop集群。基本上，我们在linux服务器机器上安装了hadoop。所以没有GUI可用。因此，我们所要做的就是在windows机器上使用hadoop eclipse插件运行eclipse。并试图从windows机器上运行代码。
我无法弄清楚如何从这台窗口机器到hadoop主节点运行map还原程序。
浏览 2提问于2012-10-16得票数 1
我正在寻求帮助，谁可以澄清我的怀疑。我已经设置了5节点集群环境。我已经在linux机器上安装了hadoop。
现在，我需要检查每个machine.How中HDFS分区/用户/hadoop的磁盘空间来检查它。
在哪个分区中，逻辑volume..Physicallly这个hdfs /user/hadoop分区被分配。
是否可以在集群机器中执行cd /user/hadoop操作。
浏览 3提问于2014-02-20得票数 0
有没有在本地运行Hadoop作业和在远程集群上运行Hadoop作业之间进行切换的简单方法？我更喜欢在本地进行所有开发，并通过命令行运行，更改参数或环境变量以在本地运行或在远程集群上运行之间切换。
对于上下文，我有一个安装了Hadoop的Linux虚拟机。我是Hadoop的新手，但可以在那里运行本地作业。
相关问题:对于Hadoop配置，有哪些好的文档可用？
浏览 0提问于2015-05-18得票数 0
我是 Hadoop 的初学者，我在Google平台上创建了一个Hadoop集群(一个主服务器和两个奴隶)。
我使用本地文件系统(Linux)：ssh -i key key@public_ip_of_master访问集群的主服务器
然后，我在集群中做了sudo su -，因为函数在根用户时只出现。
然后，我使用start-dfs.sh和start-all.sh启动了HDFS。
现在的问题是，想要将文件从本地Linux文件系统传输到 Hadoop集群，反之亦然，使用以下命令(将命令插入到集群中，同时作为根)
root@master:~# hdfs dfs -put /home/abas1/De
浏览 3提问于2022-02-16得票数 -1
0回答
scp报错？
、、
Hadoop分布式集群安装问题解决：linux下scp把master配置好的hadoop文件传到slave节点报No such file or directory错误的解决
浏览 57提问于2022-09-20
我已经在Windows本地系统上安装了Apache nifi 1.1.1。如何使用本地Windows Box上安装的Apache Nifi实例连接到安装了Hadoop的远程Linux节点？另外，如何使用这些Nifi本地实例在安装了Hadoop的远程Linux节点上执行数据迁移活动？我已经在这些远程Hadoop集群上启用了Kerberos。
浏览 0提问于2017-02-27得票数 0
学生党想学习k8s，搭建k8s集群，三台云服务器有点贵，想问问三台Lighthouse能否搭建一个三节点的k8s集群，跟三台云服务器搭建的集群有什么不同
浏览 1764提问于2020-09-20
2回答
我也是hadoop，linux的新手。我的教授要求我们使用端口映射或VPN分离Hadoop客户端和集群。我不明白这种分离的含义。有人能给我个提示吗？
现在，我了解了集群客户端分离的概念。我认为需要在客户端机器中安装hadoop。当客户端提交一个hadoop作业时，它将提交给集群的主程序。
我有一些天真的想法：
1.创建客户端计算机并安装hadoop。
2.将fs.default.name设置为hdfs://master:9000
3.把dfs.namenode.name.dir设为file://master/home/hduser/hadoop_tmp/hdfs/namenode，对吗？
4.
浏览 1提问于2016-02-10得票数 1
回答已采纳
2回答
如何为Hadoop2构建本机库
、、、、
我已经设置了一个在64位linux上运行Hadoop2.1beta的集群。但是，每次我运行hadoop命令工具时，都会弹出一条警告消息：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for
your platform...
using builtin-java classes where applicable
然后我发现它缺少64位linux的本地库。官方的Hadoop2.1tarball只在/lib/native文件夹中提供了32位linux的本地库。
我阅读了hadoop本机库的，该指南说：
Once
浏览 4提问于2013-09-04得票数 2
2回答
我们希望在redhat Linux machiens上构建一个新的hadoop集群( ambari集群)。
我们的主机名是
master01.fg.sys70.com
master02.fg.sys70.com
master03.fg.sys70.com
worker01.fg.sys70.com
worker02.fg.sys70.com
worker03.fg.sys70.com
附加的“。在域构建新hadoop集群时可能会出现问题吗？
浏览 2提问于2018-04-08得票数 0
回答已采纳
我们有hadoop集群，其中包含所有相关组件/服务，如
HDFS
YARN
mapreduce
HIVE
Tez
pig
Zookeeper
hadoop clutser包含3台主机机、12台数据节点机和3台kafka
现在，我们希望使用presto对数据源( hadoop集群/配置单元)运行查询
因此我们构建了一个新的presto集群，如下所示
1 presto coordinator
8 presto workers
所有的presto集群机器都是redhat 7.2
现在我们要在所有操作系统上安装presto
但是我们不确定在Linux scratch OS之后，presto是否可以随
浏览 0提问于2019-05-01得票数 0
我有一个客户端设置了Hadoop集群。我们都使用过CentOS 7，并且非常熟悉它。有人告诉我，科学Linux可能更适合于Hadoop。
这有什么事实吗？
浏览 0提问于2016-10-09得票数 2
2回答
我计划用大约5台机器来实现hadoop集群。通过一些背景研究，我了解到为了实现集群，我需要在每台机器上安装hadoop。
早些时候，我计划在每台机器上安装Linux发行版，然后分别安装hadoop，并将每台机器配置为并行工作。
最近我经历了一些Hadoop发行版，比如Cloudera和Hortonworks。我的问题是，是在每台机器上安装诸如Cloudera或Hortonworks之类的发行版，还是像前面描述的那样分别安装hadoop？
使用发行版会使我的任务更容易，还是需要比纯hadoop安装更多的知识来处理它们？
浏览 0提问于2014-04-29得票数 1
回答已采纳
1回答
我在我的家庭网络中的3台计算机上安装了Hadoop2.7.1，其中1台是64位mac，2台是32位linux。我已经成功地将它们配置为在单节点模式下运行，并设置了SSH授权密钥。我想用我的mac作为主机，linux作为从机。当我在mac上运行启动脚本时，我得到这样的错误
hadoop@10.0.1.100: bash: line 0: cd: /usr/local/Cellar/hadoop/2.7.1/libexec: No such file or directory
10.0.1.100是我的一台linux机器的ip地址，/usr/local/Cellar/hadoop/2.7.1/li
浏览 1提问于2016-01-11得票数 0
我正在尝试运行HBase importTSV hadoop作业来将数据从TSV文件加载到HBase中。我正在使用下面的代码。
Configuration config = new Configuration();
Iterator iter = config.iterator();
while(iter.hasNext())
{
Object obj = iter.next();
System.out.println(obj);
}
Job job = new Job(config);
job.setJa
浏览 0提问于2012-07-16得票数 1
如果我使用Kubernetes集群来运行星星之火，那么我将使用星火中的Kubernetes资源管理器。
如果我使用Hadoop集群运行spark，那么我将使用Spark中的Yarn资源管理器。
但我的问题是，如果我在kebernetes中生成多个linux节点，并使用其中一个节点作为星星之火，使用另外三个节点作为工作人员，那么我应该使用哪个资源管理器呢？我能用那边的纱线吗？
第二个问题，对于任何一个4节点的linux火花集群(不在kubernetes中，也不是hadoop，简单连接的linux机器中)，即使我没有hdfs，我可以在这里使用纱线作为资源管理器吗？如果没有，那么哪个资源管理器应该用
浏览 5提问于2021-02-14得票数 0
回答已采纳
1回答
我试图连接到运行在Linux系统上的Hadoop集群，它运行在Windows10上。在测试连接时，我收到了以下错误："Hadoop文件系统连接--无法连接到主机名xxx.xx.xx.xxx.“
浏览 0提问于2018-03-08得票数 2
我在Ubuntu上设置了一个单节点集群，并使用了常用的指南。
在我开始格式化HDFS Namenode之前，一切都很顺利
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format
或
hadoop@ubuntu:~$ <HADOOP_INSTALL>/hadoop/bin/hadoop namenode -format
我找不到运行此命令的正确位置。这很可能是因为我不熟悉Linux。
我在2011年10月17日使用deb安装了Hadoop : release 0.20.205.0
浏览 2提问于2012-04-24得票数 2
回答已采纳
我所租用的腾讯云主机有区分内网外网，当我搭建Redis集群服务时，只有使用内网作为bind才能正常搭建，但是当我使用JedisCluster进行操所时，发现JedisCluster获取的集群节点的ip为内网ip，这就导致无法连接到集群中（使用Redis desktop Manager是可以正常操所的）
浏览 545提问于2018-06-04
我既不是linux的专家，也不是hadoop的专家，但我遵循了在分布式模式下安装hadoop的说明(Hortonworks发行版和手册)，当我读到启动集群一节时，我思考了为什么这不能作为服务运行。
有没有人有将hadoop作为linux服务运行的经验？这是个好主意还是坏主意？赞成与反对?有什么提示要这么做吗？
任何帮助都会得到重视。Thx
浏览 1提问于2013-09-02得票数 0
1回答
有没有任何方法获得hadoop/hdfs集群的i/o stat(即总读I/O、写i/o)？可能是类似于Linux中的iostat？我知道有一种方法可以在webUI中查看stat。
http://<namenode_host>:50070/jmx
但是我需要访问命令行中的stat。有任何方法可以在命令行中获取webUI内容吗？或者其他工具？我正在为Hadoop集群使用Amazon。
浏览 4提问于2021-04-08得票数 0
得到了一个旧的hadoop系统(多年没有使用过)，当试图重新启动集群时(一个主服务器，两个从服务器)，全部在Linux上，在namenode上出错。
错误输出：
2021-03-18 20:18:28,628 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.IOException: Failed to load image from FSImageFile(file=/home/xxx/tmp/hadoop/name/current/fsimage_0000000
浏览 0提问于2021-03-18得票数 1
我已经按照步骤在一台linux机器上设置了Hadoop伪分布式集群(hadoop-2.5.1)。
如果我通过超级用户登录，则可以访问web界面http://localhost:50070。
但是，如果我通过任何其他用户登录，在浏览器上会出现以下错误：
Access Denied : You are not allowed to access the document at location http://localhost:50070
如何授予其他用户访问Hadoop Web界面的权限？
浏览 5提问于2015-01-05得票数 0
我在一个启用文件系统权限的私有集群上运行Hadoop2.6.2。集群有密码文件，只有像hadoop这样的系统用户，没有个人帐户。我正在从linux边缘节点访问DFS，该节点有我的个人帐户(“clott”)。
问题是，我不能写入DFS目录('shared')，即模式775和组hadoop；edge节点向我显示hadoop组的一个成员。我以为会使用边缘节点上的用户组成员身份，但不是吗？我看到的是：
clott@edge$ id
uid=1003(clott) gid=1003(clott) groups=1003(clott),27(sudo),1001(hadoop)
clot
浏览 5提问于2015-12-22得票数 2
回答已采纳
我将在我的项目(3个节点)中设置一个hadoop集群。我怀疑我们是否可以继续使用cygwin，还是应该在我的机器上安装linux操作系统来设置集群？换句话说，使用cygwin建立集群会导致单节点的pseduo分布式模式，或者它就像一个普通的分布式集群？？
请帮我理解一下
谢谢。
浏览 2提问于2014-07-30得票数 1
1回答
我想从windows服务器向HDFS写入文件。Hadoop集群在Linux上。我试着在任何地方研究我可以使用"hadoop“运行的java代码。
有人能帮助我理解如何运行HDFS文件，从windows编写java代码吗？Windows盒需要什么？即使是一个适当的链接也行。
浏览 2提问于2015-10-31得票数 0
回答已采纳
1回答
我已经设置了Hadoop集群，我想查看这个集群中所有节点之间的网络使用情况，也就是说，如果我有N个节点，我希望看到NxN网络连接，以便可以查看所有节点之间的所有通信量。
我正在Linux系统上运行集群，我如何做到这一点？
浏览 0提问于2015-03-12得票数 1
使用公网IP创建redis集群失败：Could not connect to Redis at 公网ip:7001: Connection timed out(集群总线端口17001-17006已打开)
使用
使用内网ip或 127.0.0.1创建集群成功，但是项目在本地无法正常访问redis集群进行操作，会报：JedisClusterMaxAttemptsException: No more cluster attempts left (如果把项目打包发布到服务器则正常)
我也知道搭建集群应该使用内网ip，可是我现在就是需要搭建服务器集群，然后在本地进行远程访问，结果卒。。。
各位大佬，欢迎
浏览 517提问于2020-05-15
2回答
我正在尝试在Windows上使用Eclipse构建我的项目，并在Linux集群上执行。该项目依赖于一些外部JAR，我使用eclipse的"Export -> Runnable jar-> Package required library into jar“构建选项封装了这些jar。我检查了jar包含文件夹结构中的类，而外部jar位于根文件夹中。
在Hadoop standalone、Cygwin和Linux上，这工作得很好，但在实际的Hadoop Linux集群上，当它试图从第一个外部jar访问一个类时，它会失败，抛出一个ClassNotFoundException。
有没
浏览 2提问于2010-07-17得票数 4
6回答
如何搭建Hadoop处理环境？
、、、、
Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分（Hadoop分布式文件系统）及其数据处理部分（MapReduce）组成。Hadoop将文件分割成大块，并将它们分发到群集中的节点上。那么如何搭建Hadoop处理环境？
浏览 2027提问于2018-10-24
我是Hadoop和Linux的新手。我正在遵循一个教程来构建一个简单的3节点集群，在成功安装了pseduo分布式集群之后，我现在需要将它重新配置为完全分布式。
我到了需要为fsimage文件提供冗余的地步。因此，根据本教程，我需要以这种方式编辑hdfs-site.xml：
电流设置(伪分布)
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/hdfs/namenode</value>
</property>
改为(全分发)
<
浏览 1提问于2020-03-28得票数 1
回答已采纳
1回答
我是一个R用户。我对Linux命令，PuTTY或Hadoop/Hive知之甚少。所以，如果我错了，请纠正我。
我现在和一个团队一起工作。他们有一个运行在集群上的Ubuntu系统。我可以使用PuTTY访问这个Ubuntu系统，并使用代码访问数据文件：
user$hadoop fs -ls /datafolder/
或者使用蜂箱：
user$hive
hive>use datafolder;
hive>show tables;
相反，和我一起工作的团队对R知之甚少，所以他们想让我做R部分。我已经在集群上安装了R，并在R中安装了rJava HRive和其他软件包(我不确定我这样
浏览 3提问于2014-07-14得票数 1
回答已采纳
我已经为scala配置了eclipse，创建了一个maven项目，并在windows上写了一个简单的字数统计任务。现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
有没有可以在Linux或Windows机器上本地模拟完整集群的Hadoop框架？DFS可以在本地复制数据，而计算层将进行并行执行？有没有这样或类似的框架？
浏览 3提问于2011-11-28得票数 1
回答已采纳
2回答
我按照教程设置hadoop单节点集群，其中使用了以下模式：~/..bashrc
与目录中的一样，bash文件仅用".bashrc“保存。我是linux新手。
请查看主页目录的屏幕截图。
浏览 4提问于2015-08-05得票数 0
回答已采纳
我的HDInsight Hadoop (Linux)集群中的一个工作节点死了(停止发送心跳)。HDInsight有没有可能尝试纠正这个问题呢？如果没有，有什么方法可以让它重新上线？
浏览 0提问于2016-07-21得票数 1
我正在寻找REST API，它将允许我获取给定HDInsight (Hadoop/Linux)集群的性能指标--例如集群使用的内存量或百分比、cpu使用率等。我找到的唯一最接近的链接是。但这也与获取性能指标没有任何关系。这些信息会作为REST API公开吗？
浏览 17提问于2019-12-01得票数 0
回答已采纳
2回答
我有一个用Hadoop安装的EC2映像。但是，我将它设置为在实例化时是没有滚动的(它不是奴隶或主)。为了启动Hadoop集群，我在EC2上启动了我需要的尽可能多的实例(节点)，然后我必须对每个节点执行以下3项操作：
更新/etc/主机以包含必要的IP地址。
如果主节点，则更改$HADOOP_HOME/conf/ master和$HADOOP_HOME/conf/从节点。
启用节点之间的SSH访问。
我希望能够找到一种自动完成此操作的方法，这样对于任意数量的节点，我就不必在每个节点上设置所有这些设置。
其他人如何自动设置Hadoop集群？有什么方法可以使网络部分自动化吗？
我
浏览 6提问于2012-10-15得票数 2
回答已采纳
1回答
我在hadoop集群上有一个8.8G的文件，我正在尝试提取某些行用于测试。
鉴于没有拆分命令，我如何才能在不下载文件的情况下执行此操作。
如果文件在linux服务器上，我会使用：
$ csplit filename %2015-07-17%
前面的命令可以正常工作，在Hadoop上是否可以做到这一点？
浏览 3提问于2015-09-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
