您是否知道这是可能的，如果是，那么使用kafka connect和kafka确保一次交付到hdfs的最佳方式是什么？
浏览 13提问于2019-05-14得票数 1
(TcpPeerServer.java:92) at org.apache.hadoop.hdfs.BlockReaderFactory.build(BlockReaderFactory.java(DFSInputStream.java:1663)
浏览 2提问于2020-06-23得票数 0
我试图连接到HDFS并添加使用Azure Blob作为存储的文件。在Apache中，我使用hdfs-site.xml和core-site.xml文件配置了HDFS连接。Failure is due to java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.azure.NativeAzureFileSystemnot found10:01:3
浏览 5提问于2022-06-13得票数 1
我正在用卡夫卡连接测试2.7版的卡夫卡，我面临着我不明白的问题。因此，我用json数据使用REST制作了新的Kafka HDFS连接器，如下所示。(TopicPartitionWriter.java:742)
at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWr
浏览 3提问于2021-06-28得票数 0
回答已采纳
我是flume的支持者，当我尝试编写一个模板来研究如何使用flume来实时处理发布到HDFS的文件时，我得到了一个关于连接被拒绝的错误。failed on connection exception: java.net.ConnectException: 拒绝连接(connection denied); For more details(FileSystem.java:776)
at org.apache.flume.sink.hdfs.HDFSDataStream.doO
浏览 189提问于2019-07-03得票数 0
连接。如何启用hdfs连接，以便编辑实际的远程文件系统？
我试图从hftp -> hdfs更改上面的协议，但我得到了以下例外.:384) at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:111) at org.apache.hadoop.hdfs.DFSClient(DFSClient.java:213) at org.apache.hadoop.h
浏览 2提问于2011-10-21得票数 3
回答已采纳
1回答
我试图通过R远程连接到Hive服务器，并使用Kerberos keytab文件执行身份验证。.jcall中的错误(“RJavaTools”，"Ljava/lang/Object;"，"invokeMethod"，cl，：java.io.IOException: antonio.silva@HADOOPREALM.LOCAL
浏览 2提问于2018-12-04得票数 0
回答已采纳
1回答
我正在尝试将MongoDB集合摄取到HDFS中，并且可以选择使用mongoDB java + hdfs，而不是使用MongoDB连接器。
这两种方法有何不同？我检查了星火mongoDB连接器的源代码，它还使用MongoDB java来写mongoDB，但是使用sparkSession从mongoDB读取。由于MongoDB和HDFS集群在我们的例子中是不同的，那么边缘节点是否充当了MongoDB和HDFS集群之间的分阶段区域？如果是这样，如果mon
浏览 0提问于2019-04-23得票数 1
我正在尝试听HDFS中的变化，使用HdfsSensor在python3中触发我在气流中的ETL管道。
浏览 0提问于2019-04-11得票数 2
2回答
正在尝试将数据从kafka写入hdfs。没有文档说明如何使用Confluent的kafka-connect-hdfs Java API。
浏览 0提问于2016-08-11得票数 3
1回答
我正在使用卡夫卡1.1版本的卡夫卡与卡夫卡连接，我面临一个错误，我不明白。如果我设置了这样的想法，我就无法连接到HDFS：或者是这样(注意没有端口)：我有一个错误
浏览 0提问于2018-10-19得票数 1
回答已采纳
1回答
向emr提交本地火花作业
、、、
但是，错误是连接到数据节点。INFO hdfs.DFSClient:在等待通道准备连接时createBlockOutputStream createBlockOutputStream 60000 millis超时的异常。(NetUtils.java:533) at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.javahdfs.DFSOutputStream$
浏览 0提问于2019-02-08得票数 0
回答已采纳
Sys.setenv(HADOOP_CMD="/home/hduser/hadoop-2.7.7/bin/hadoop")我已经运行了上面的代码来通过R连接hd
浏览 0提问于2018-11-15得票数 0
在org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1384) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2477) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.
浏览 8提问于2014-01-02得票数 10
回答已采纳
我正在尝试从运行在我桌面的Eclipse中的Java程序连接到远程HDFS。我能够连接。DFSClient.java:826)at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSInputStream.java:319)
at o
浏览 2提问于2018-03-02得票数 2
Mar 18 08:15:43 2017 ======开始运行警告:未在/ libjvm.so /cloudera/parcels/MRS-9.0.1/hadoop中找到日志，正在系统范围内搜索
内部错误:连接到hdfs文件系统时无法重置hdfs内部参数。尝试时出错({：内部错误:连接
浏览 2提问于2017-03-19得票数 0
2回答
现在，我正在尝试在eclipse中执行一个应用程序，在这个应用程序中，我希望使用HDFS中的数据。如果我们想用Java连接数据库，我们就有JDBC连接。这样，我需要做什么才能直接连接到HDFS？
浏览 3提问于2015-05-08得票数 4
回答已采纳
但几分钟后，两个HBase服务停止工作：
Ambari-Server主机(host1)可以通过ping访问所有oher主机，并且可以在每个SS
浏览 2提问于2016-11-23得票数 0
我试图从Java代码中访问HDFS中的文件。： URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
in = new URL("hdfs
浏览 0提问于2012-04-17得票数 0
我正在尝试使用java/sprig-mvc/maven/tomcat实现一个简单的REST服务器，它侦听端口8080并执行hadoop以在hdfs上执行文件操作。例如：- Http请求"“将触发以下代码中hdfs fs.getHomeDirectory()和fs.mkdirs()。我使用core-site.xml将hdfs配置添加到Configuration类，并通过在代码中打印相同的配置来验证它。但是，访问的文件系统仅是本地文件系统，而不是hdfs。我分析
浏览 0提问于2015-04-30得票数 1
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号