2回答
我已经在Hadoop MR作业的setup方法中初始化了redis(jedis)客户端连接。当我在映射作业中使用连接来更新键、值对时，在多个节点上运行的映射是否可以同时使用相同的连接来更新redis？或者连接上有锁吗？
浏览 21提问于2016-09-02得票数 0
回答已采纳
1回答
我正在设置一个多节点hadoop集群，并在节点之间拥有一个共享密钥以实现无密码SSH。我将文件命名为~/.ssh/hadoop_rsa，并可以使用ssh -i ~/.ssh/hadoop_rsa host连接到其他主机。我需要一些方法来告诉hadoop在连接到其他节点时使用这个备用SSH密钥。
浏览 0提问于2015-09-11得票数 2
回答已采纳
2回答
我的问题很简单，我想要设置一个50个节点hadoop集群，如何在50个节点之间设置无密码。如果手动操作非常困难！提前感谢！
浏览 1提问于2012-12-24得票数 1
我和一位同事讨论了MongoDB连接器在Hadoop中的使用问题，他解释说这是非常低效的。他说，MongoDB连接器使用它自己的映射减少，然后使用Hadoop映射减少，这在内部减缓整个系统。如果是这样，那么将我的数据传输到Hadoop集群的最有效方法是什么？如果MongoDB连接器效率更低，它有什么用途？在我的场景中，我希望从M
浏览 2提问于2014-01-07得票数 1
回答已采纳
1回答
.*)中安装了Hadoop-2.6.0，遵循了链接中给出的步骤sbin/start-dfs.sh
启动二级namenodes [2016-02-15 22:46:36,600警告main util.NativeCodeLoader(NativeCodeLoader.java:(62)) -无法为平台加载本机<e
浏览 1提问于2016-02-16得票数 1
作为intellij环境设置的一部分，我需要连接到远程hadoop集群并访问本地spark代码中的文件。
有没有办法在不创建hadoop本地实例的情况下连接到hadoop远程环境？连接代码片段将是理想的答案。
浏览 2提问于2017-05-05得票数 0
1回答
DistributedCache.createSymlink(job.getConfiguration()); ("hdfs:/user/hadoop/harsh/libnative1.so"),job.getConfiguration()); System.loadLibrary("libnative1.so");
(我也试过System.loadLibrary但是我得到了这个错
浏览 1提问于2012-04-21得票数 1
回答已采纳
我想在Jupyter notebook的帮助下使用Pyspark访问我的对象存储中的数据。2.将2.HDFS连接器连接到Spark并提交我的spark作业
我没有找到任何文档或备用SDK，我在其中直接连接到对象存储访问并运行我的spark作业
浏览 1提问于2019-08-19得票数 0
我刚开始学习Hadoop和PIG (从过去的两天开始！)为了我未来的一个项目。对于实验，我安装了Hadoop (默认本地主机上的HDFS:9000)作为伪分布式模式和PIG (map-reduce模式)。
当我通过输入./bin/pig命令初始化pig时，它启动了GRUNT命令行，我得到了PIG已连接到HDFS (localhost:9000)的消息，后来我可以通过pig成功地访问HDFS。我的问题是，PIG从哪里识别默认HDFS配
浏览 0提问于2012-11-18得票数 1
回答已采纳
我让Hadoop运行在具有非专用节点的集群上(即，它与其他应用程序/用户共享节点)。当其他用户正在使用群集的节点时，不允许在该节点上运行Hadoop作业。因此，在给定时刻可能只有几个节点可用，并且这几个节点并不具有Hadoop作业所需的所有数据块(副本)。
我还有一个用于备份的大型网络连接存储。因此，我想知道是否有一种方法可以将其用作Hadoop的辅助存储。例如，如果群集
浏览 0提问于2012-03-16得票数 0
回答已采纳
1回答
对接中的Kafka连接与HDFS
、、、、
我正在使用kafka连接HDFS接收器和Hadoop (对于HDFS)在一个坞-撰写。Error creating writer for log file hdfs://namenode:8020/logs/MyTopic/0/log
我的docker中的</em
浏览 1提问于2018-10-01得票数 2
回答已采纳
我用Java编写了访问Hive表的SparkSQL，并打包了一个可以使用spark-submit运行的jar文件。java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
我所做的是在$HIVE_HOME/lib中查找包含该类的jar，在Oozie工作流根路径的lib路径中复制jar，并将其添加到火花操作中
浏览 1提问于2015-07-21得票数 1
回答已采纳
1回答
目前，Hadoop通过将任务分配给包含数据的节点或接近该节点的节点(例如相同的机架)来实现数据局部性。但是，我想知道是否可以将相同的概念应用于部署在一组虚拟机上的云计算中，因为有关物理层的信息，例如哪些物理机器当前承载了这些VM，可能是不可用的。
浏览 5提问于2014-01-21得票数 2
回答已采纳
我使用Hadoop-azure lib从azure blob存储中读取文件。从文档中，我可以手动添加Hadoop配置以使用共享访问签名(sas)或共享密钥身份验证。我找到了下一步为Azure-Data-Lake-Storage-gen2配置它的方法，尽管我仍然好奇我是否可以以某种方式将它用于azure blob (wasb/wasbs blob)
hadoopConfig.setblob.core.windows.net", &qu
浏览 0提问于2021-10-11得票数 0
1回答
带有静态IP的超级VLAN
、、、、
尝试通过多个(Hyper)VM在本地设置/模拟Hadoop集群。如果我只是从主机连接，这是可以的，但当其他vm也想要与它交谈时，就不太好了。另外，我不能与多于一个交换机共享连接(或者可以吗？)
如果我要为hadoop节点使
浏览 0提问于2015-07-28得票数 1
1回答
我在airflow中有以下任务，它的工作非常有魅力： task_id = 'some_id', name = 'airflow-spark', 'spark.hadoop.fs.s3a.endpoint': 'https://some.url
浏览 3提问于2020-11-23得票数 0
回答已采纳
我在AWS EC2中有一个hadoop集群设置，但我的开发设置(Spark)是在本地windows系统中。当我尝试连接AWS Hive thrift服务器时，我可以连接，但当我尝试从本地spark配置提交作业时，它显示一些连接被拒绝错误。请注意，在windows中，我的用户名与Hadoop eco系统在AWS服务器中运行的用户名不同。谁能给我解释
浏览 1提问于2017-08-28得票数 0
1回答
我成功地将Hadoop与3个datanodes作为一个小集群进行了设置，一切都正常。在试图访问S3A协议上的AWS桶时，我得到了以下错误：
java.lang.RuntimeException) at org
浏览 1提问于2018-12-25得票数 0
回答已采纳
我对hadoop有基本的理解。我的问题是客户机/开发人员如何连接到hadoop集群来执行查询。
例如，我是hadoop开发人员。某个远程位置的Hadoop集群。如何连接到hadoop集群来运行我的java代码？我是否也必须在我的笔记本电脑中安装hadoop (为此我必须运行Linux)？或者，如果我与Hadoop集群在同一个网络
浏览 4提问于2014-11-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
