我试图连接到HDFS并添加使用Azure Blob作为存储的文件。在Apache中，我使用hdfs-site.xml和core-site.xml文件配置了HDFS连接。
Apache中的PutHDFS组件引发以下错误。
10:01:39 UTC ERROR
PutHDFS. Failed to properly initialize Processor. If still scheduled to run, NiFi will attempt to initialize and run the Processor again after the 'Administrative Yiel
浏览 5提问于2022-06-13得票数 1
我是flume的支持者，当我尝试编写一个模板来研究如何使用flume来实时处理发布到HDFS的文件时，我得到了一个关于连接被拒绝的错误。我想在模板中做什么：-->使用flume收集由hive创建的日志，并将其发布到HDFS 这是我的job_conf #name sources,sinks,and channels
a2.sources=r2
a2.sinks=k2
a2.channels=c2
#sources conf,specify the log file i want to watch
a2.sources.r2.type=exec
a2.sources.r2.command
浏览 189提问于2019-07-03得票数 0
我正在用卡夫卡连接测试2.7版的卡夫卡，我面临着我不明白的问题。
我首先启动了分布式连接器，配置如下所示。
bootstrap.servers=..:9092,...:9092, ...
group.id=kafka-connect-test
key.converter=org.apache.kafka.connect.converters.ByteArrayConverter
value.converter=org.apache.kafka.connect.converters.ByteArrayConverter
... some internal topic configuration
浏览 3提问于2021-06-28得票数 0
回答已采纳
我找到了一种通过hftp连接到hadoop的方法，它工作得很好，(只读)：
uri = "hftp://172.16.xxx.xxx:50070/";
System.out.println( "uri: " + uri );
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get( URI.create( uri ), conf );
fs.printStatistics();
但是，我想要读/写以及复制文件，也就是说，我想通过hdfs连接。如何启
浏览 2提问于2011-10-21得票数 3
回答已采纳
1回答
我对大数据很陌生。我正在尝试将MongoDB集合摄取到HDFS中，并且可以选择使用mongoDB java + hdfs，而不是使用MongoDB连接器。
这两种方法有何不同？我检查了星火mongoDB连接器的源代码，它还使用MongoDB java来写mongoDB，但是使用sparkSession从mongoDB读取。
由于MongoDB和HDFS集群在我们的例子中是不同的，那么边缘节点是否充当了MongoDB和HDFS集群之间的分阶段区域？如果是这样，如果mongoDB集合太大，边缘节点会成为瓶颈吗？为了推广这一问题，当将外部数据源(RDBMs、NoSQL等)摄入到HDFS中时，
浏览 0提问于2019-04-23得票数 1
1回答
我正在使用卡夫卡1.1版本的卡夫卡与卡夫卡连接，我面临一个错误，我不明白。如果我设置了这样的想法，我就无法连接到HDFS：
hdfs.url": "/user/myuser/mydirectory"
或者是这样(注意没有端口)：
hdfs.url": "hdfs://hostname/user/myuser/mydirectory"
我有一个错误：
state: "FAILED",
trace: "java.lang.NullPointerException
at io.confluent.connect.hd
浏览 0提问于2018-10-19得票数 1
回答已采纳
1回答
向emr提交本地火花作业
、、、
我遵循amazon关于将火花作业提交给emr集群的文档。
在遵循这些说明之后，对于frecuent故障排除，它会因为未解析的地址而失败，其消息类似于。
错误spark.SparkContext:初始化SparkContext时出错。org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)：java.lang.IllegalArgumentException: java.net.UnknownHostException: ip-172-32-1-231.us-east-2.计算
当我看
浏览 0提问于2019-02-08得票数 0
回答已采纳
Sys.setenv(HADOOP_CMD="/home/hduser/hadoop-2.7.7/bin/hadoop")
Sys.setenv(JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64")
library(rhdfs)
hdfs.init()
我已经运行了上面的代码来通过R连接hdfs，但是我得到了下面的错误。请帮我解决这个问题。
Error in .jcall("RJavaTools", "Ljava/lang/Object;&#
浏览 0提问于2018-11-15得票数 0
我搜索网页和堆栈溢出已经很长时间了，但是没有用。
我已经在2节点集群设置中安装了hadoop纱线2.2.0。但出了点问题。当我在主节点上使用start-dfs.sh和start-yarn.sh启动hadoop守护进程时，它们成功地在主节点和从节点中运行(我的主机名是RM，我的奴隶的主机名是slv)。他们可以成功地彼此交流。但是，当我想运行作业时，会出现以下错误：
14/01/02 04:22:53警告util.NativeCodeLoader:无法为平台加载本机-hadoop库.如果适用的话，使用内置的java类: 14/01/02 :22:56警告hdfs.DFSClient: DataS
浏览 8提问于2014-01-02得票数 10
回答已采纳
我正在尝试从运行在我桌面的Eclipse中的Java程序连接到远程HDFS。我能够连接。但在尝试读取数据时会出现以下异常：
原因: org.apache.hadoop.ipc.RpcException: RPC响应超过最大数据
有人能帮个忙吗？
我有一个非常基本的代码，用于读取来自hdfs.open()的测试data.Error；
FileSystem hdfs =null;
String uriPath = "hdfs://" + Constants.HOST + ":" + Constants.PORT+ "/test/hello_world
浏览 2提问于2018-03-02得票数 2
rxRemoteHadoopMRCall() ====== xxxx.cloudapp.azure.com (Master HPA Process)已于Sat Mar 18 08:15:43 2017 ======开始运行
17/03/18 03:16:36 WARN util.NativeCodeLoader:无法为您的平台加载本机hadoop库...使用内置java类
警告:未在/ libjvm.so /cloudera/parcels/MRS-9.0.1/hadoop中找到日志，正在系统范围内搜索
内部错误:连接到hdfs文件系统时无法重置hdfs内部参数。
尝试时出错({：内部错误:连
浏览 2提问于2017-03-19得票数 0
2回答
我是刚认识Hadoop的。现在，我正在尝试在eclipse中执行一个应用程序，在这个应用程序中，我希望使用HDFS中的数据。如果我们想用Java连接数据库，我们就有JDBC连接。这样，我需要做什么才能直接连接到HDFS？
浏览 3提问于2015-05-08得票数 4
回答已采纳
我用HDP 2.5建立了一个新的Hadoop集群(包含6台机器)。安装工作进行得很好，开始的几分钟一切似乎都正常。但几分钟后，两个HBase服务停止工作：
HBase / host1.mydomain.de
HBase主进程:连接失败Errno 111连接被重新转换为host1.mydomain.de
HBase / host6.mydomain.de
HBase RegionServer进程:连接失败Errno 111连接拒绝host6.mydomain.de
当我搜索这个问题时，我发现了以下提示：
检查并启用NTPD (安装前已启
浏览 2提问于2016-11-23得票数 0
1回答
运行: cloudera @quickstart ~$ sqoop导出--连接"jdbc:mysql://quickstart.cloudera:3306/retail_db“--用户名retail_dba --密码cloudera-table department_export --导出-dir /home/cloudera/sqoop_import/departments -m 12
错误：
16/12/24 22:29:48 INFO client.RMProxy:连接到ResourceManager at /0.0.0.0:8032 16/12/24 22:29:49 INF
浏览 4提问于2016-12-27得票数 0
2回答
我需要构建一个实用程序类来测试到HDFS的连接。测试应显示HDFS的服务器端版本和任何其他元数据。虽然有很多客户端演示，但没有关于提取服务器元数据的内容。有人能帮上忙吗？
请注意，我的客户机是一个远程java客户机，没有hadoop和HDFS配置文件来初始化配置。为此，我需要动态地使用其URL连接到HDFS名称节点服务。
浏览 0提问于2012-09-11得票数 2
回答已采纳
1回答
我在服务器VM上设置了hadoop (伪分布式)，并试图使用Java访问HDFS。
我的服务器上的fs.default.name是hdfs://0.0.0.0:9000 (与localhost:9000一样，它不接受来自远程站点的请求)。
我可以连接到端口9000上的服务器。
$ telnet srv-lab 9000
Trying 1*0.*.30.95...
Connected to srv-lab
Escape character is '^]'.
^C
这对我来说意味着连接应该可以正常工作。我使用的Java代码是：
try {
Path pt = new
浏览 0提问于2016-01-27得票数 5
回答已采纳
我最近开始学习hadoop，在创建新文件夹时，我得到了下面的错误-
vm4learning@vm4learning:~/Installations/hadoop-1.2.1/bin$ ./hadoop -mkdir helloworld警告:不推荐使用$HADOOP_HOME。15/06/14 19:46:35 INFO ipc.Client:重新尝试连接服务器: localhost/127.0.0.1:9000。已经尝试了0次；重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries=10，sleepTime=1秒)
请求你到help.b
浏览 1提问于2015-06-14得票数 1
回答已采纳
我使用的是与kafka 2.0.0汇合的hdfs接收器连接器5.0.0，我需要使用ExtractTopic转换()。我的连接器工作得很好，但是当我添加这个转换时，我得到了NullPointerException，即使在只有2个属性的简单数据样本上也是如此。
ERROR Task hive-table-test-0 threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerSinkTask:482)
java.lang.NullPointerException
at io.c
浏览 0提问于2019-01-25得票数 0
回答已采纳
Hi正在尝试使用Java从HDFS读取一个文件。
连接到HDFS并列出文件是很好的。
但是，在尝试读取文件时，将得到以下异常
函数调用: fs.copyToLocalFile(path，dPath)；
java.io.IOException: Could not obtain block: blk_-747325769320762541_16269493 file=/user/s3t.txt
at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.chooseDataNode(DFSClient.java:2266)
at org.
浏览 12提问于2013-10-21得票数 0
我正在尝试kafka连接hdfs接收器连接器，以便将json数据从kafka移动到hdfs。
即使kafka中的json数据有模式和有效载荷，kafka连接任务也会出错。
org.apache.kafka.connect.errors.DataException: JsonConverter with schemas.enable requires \"schema\" and \"payload\" fields and may not contain additional fields.
卡夫卡的数据：
./bin/kafka-控制台-使用者-主题test_
浏览 0提问于2017-05-15得票数 7
回答已采纳
如何计算出我的hdfs dfs命令连接到的URI？
是否有存储URI的配置文件或任何可用于显示它的命令？
我研究了和的文档，但没有成功。(而且，我无法访问大多数dfsadmin命令。)
当我用hdfs:///user/myUserName/...调用命令时，它会抛出异常：
Exception in thread "main" java.io.IOException: Incomplete HDFS URI, no host: hdfs:///user/myUserName/test.avro
at org.apache.hadoop.hdfs.Distribut
浏览 20提问于2020-05-26得票数 3
回答已采纳
我正在尝试接收字节数组序列化的Avro消息与Kafka连接的帮助。序列化avro数据的生产者配置
key.serializer-org.apache.kafka.common.serialization.ByteArraySerializer
value.serializer-org.apache.kafka.common.serialization.ByteArraySerializer
hdfs接收器配置
name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics
浏览 0提问于2018-03-29得票数 2
Crosspost来自：
我正在查看预发布服务。除了通常的作业执行之外，我还想从我的应用程序中访问HDFS。我正试图在名称节点上运行它，通过RDP提供。
我尝试过stahdard驱动程序(用org.apache.hadoop.fs.FileSystem.get()方法打开)，将名称节点配置('C:\Apps\dist\conf')包含到类路径中。据我所知，这应该与名称节点一样，将我的应用程序连接到HDFS集群。
但我得到了以下例外：
Exception in thread "main" java.io.IOException: Failed on local e
浏览 2提问于2012-07-13得票数 0
1回答
试图通过安装在我的intelliJ集群上的laptop.The在本地连接hdfs的Iam试图连接到hdfs是通过一个edge节点实现的。我为边缘节点生成了一个keytab，并在下面的代码中对其进行了配置。我现在可以登录到edgenode了。但是，当我现在尝试访问位于namenode上的hdfs数据时，它会抛出一个错误。下面是试图连接到hdfs的Scala代码：
import org.apache.spark.sql.SparkSession
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{File
浏览 1提问于2018-06-20得票数 1
回答已采纳
我的HDFS-Sink连接：
{
"name":"hdfs-sink1",
"config":{
"connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector",
"tasks.max":"3",
"topics":"mysql-prod-registrations-",
"hadoop.conf.dir":"/usr/hdp
浏览 0提问于2018-12-12得票数 0
1回答
我正在使用java代码与hive建立连接，但是我得到了以下错误-
Log4j:没有为记录器(org.apache.thrift.transport.TSaslTransport)找到任何附加程序。log4j :警告请正确初始化log4j系统。Log4j:警告参见以获得更多信息。线程"main“java.sql.SQLException: Error中的异常，同时处理语句: FAILED: Execution，从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。org.apache.hadoop.security.AccessControlExce
浏览 2提问于2014-10-28得票数 2
回答已采纳
我正在构建一个数据同步器，它从MySQL源捕获数据更改，并将数据导出到单元中。
我选择使用Kafka来实现这一点。我使用作为源连接器，作为接收器连接器。
但问题是，Debezium对Kafka主题的命名惯例是：
serverName.databaseName.tableName
在汇合hdfs接收器特性中，我必须配置与Debezium生成的topics相同的配置：
"topics": "serverName.databaseName.tableName"
汇合hdfs接收器连接器将在HDFS中生成路径，如下所示：
/topics/serverName.datab
浏览 2提问于2020-05-07得票数 0
回答已采纳
我目前正在试验一个用Hadoop2.3.0构建的遗留应用程序(我知道.不要问)。只要我在同一台计算机上运行与单个节点hadoop部署相同的客户机，一切都正常。现在，我将客户端应用程序转移到本地网络上的另一台计算机上，因此无法连接到数据节点。
2018-04-02 14:33:29.661/IST WARN [hadoop.hdfs.BlockReaderFactory] I/O error constructing remote block reader.
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketCh
浏览 0提问于2018-04-02得票数 1
1回答
目标:将csv加载到一个hive/impala/hdfs表工具:K尼梅场景:我正在使用表创建者(只有1行1值)、HIve连接器(它连接到主机而没有问题)、HDFS连接和单元加载程序。当我使用带有主机和端口信息的单元加载程序配置HDFS连接节点时，我会得到一个错误:执行失败:本地主机之间的文件异常结束为：“Cyuyuyu/xxx.xx.x.x.xxx”；目标主机是："xxxnode04.xx.xx.com":21050；：java.io.EOFException；有关详细信息，请参阅。
我做错了什么？提前谢谢。
浏览 0提问于2018-06-28得票数 0
回答已采纳
1回答
我设置了HBase和HDFS，并在伪分布式模式下工作(在Mac上)。我还有一个简单的Java应用程序。在本地使用时，它可以正常工作。我想让它远程工作。服务器隐藏在路由器后面，所有必要的端口都已转发。
当我尝试远程连接时，我得到：
...
12/01/25 23:21:15 INFO zookeeper.ClientCnxn: Session establishment complete on server
remote.host.com/remoteip:53058, sessionid = 0x13516f179a30005, negotiated timeout = 40000
12/0
浏览 1提问于2012-01-26得票数 3
回答已采纳
我想连接到Azure Blob存储卡夫卡HDFS Sink连接器。到目前为止，我已经做了：
设置kafka-connect属性：
hdfs.url=wasbs://<my_url> hadoop.conf.dir={hadoop_3_home}/etc/hadoop/ hadoop.home={hadoop_3_home}
在core-site.xml中增加了对黄蜂的支持：
fs.wasbs.impl org.apache.hadoop.fs.azure.NativeAzureFileSystem
导出的HADOOP_CLASSPATH变量，添加到PATH中
但
浏览 1提问于2018-01-21得票数 1
回答已采纳
1回答
如何连接到远程HDFS
、、、
我正在尝试连接到运行在远程计算机上的HDFS实例。
我在windows机器上运行eclipse，HDFS运行在Unix框上。这是我尝试过的
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://remoteHostName:portNumber");
DFSClient client = null;
System.out.println("try");
try
浏览 3提问于2015-11-09得票数 0
我们正试图在给定节点上启动多个独立的kafka hdfs连接器。
对于每个连接器，我们分别将rest.port和offset.storage.file.filename设置为不同的端口和路径。
同样，kafka broker JMX端口是@ 9999。
启动kafka独立连接器时，会出现错误。
错误:代理引发的异常: java.rmi.server.ExportException:已在使用的端口: 9999；嵌套异常为: java.net.BindException:已在使用的地址(绑定失败)
尽管rest.port设置为9100
kafka版本: 2.12-0.10.2.1
kafk
浏览 7提问于2017-06-14得票数 2
下面是CM上报告的运行状况问题的快照。列表中的数据节点不断变化。datanode日志中的一些错误：
3:59:31.859 PM ERROR org.apache.hadoop.hdfs.server.datanode.DataNode
datanode05.hadoop.com:50010:DataXceiver error processing WRITE_BLOCK operation src: /10.248.200.113:45252 dest: /10.248.200.105:50010
java.io.IOException: Premature EOF
浏览 3提问于2015-12-30得票数 1
我正在尝试了解如何从本地计算机连接到hdfs(在aws EMR上)
我的示例程序
public class EMRConnection {
public static void main(String[] args) throws IOException, URISyntaxException {
Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(new URI("hdfs://***-**-**-***-***.compute-1.amazonaws.com
浏览 1提问于2016-03-18得票数 2
1回答
我已经在hbase-0.94中拍摄了快照。当我尝试切换到另一个hbase-0.94.8伪分布式模式时(命令如下所述)
./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot mission_snapshot -copy-to hdfs:///xx.xx.xx.246:9000/hbase/
我得到了这个错误
Exception in thread "main" java.io.IOException: Incomplete HDFS URI, no host: hdfs:///xx.xx.xx.246:
浏览 0提问于2015-01-02得票数 0
我已经将密钥和访问密钥作为文件存储在hdfs中，用于访问AWS。
hadoop credential create fs.s3a.access.key -provider jceks://hdfs/user/dev/keys.jceks -value ****************
hadoop credential create fs.s3a.secret.key -provider jceks://hdfs/user/dev/keys.jceks -value **********
我想使用jceks文件从Java代码连接到SQS队列和S3。
浏览 5提问于2019-10-23得票数 1
1回答
当连接到hadoop时，出现以下错误
线程"main“java.lang.AbstractMethodError: java.lang.AbstractMethodError中的异常在org.apache.hadoop.io.retry.RetryInvocationHandler.(RetryInvocationHandler.java:73) at org.apache.hadoop.io.retry.RetryInvocationHandler.(RetryInvocationHandler.java:64) at org.apache.hadoop.io.retry.Retry
浏览 1提问于2017-11-09得票数 1
我已经使用下面的CDH4在CentOS 6.3 64位上安装了伪分布式模式的。所有内容都设置为Hadoop配置文件中的localhost。但是，当我格式化名称节点时，仍然会出现下面的异常。当我向192.168.1.101 CentOSHost文件中添加一个/etc/hosts条目时，异常就消失了，我能够运行格式化/启动/etc/hosts并运行MR。
我想运行先生乔布斯，即使我没有连接到网络，而不添加一个条目到/etc/hosts文件。怎么把这事做完？
12/08/27 22:17:15警告net.DNS:无法确定主机地址-回到"localhost“地址java.net.Unknow
浏览 3提问于2012-08-27得票数 4
2回答
我尝试使用hadoop fsck实用程序，但它不起作用。在这台机器上安装了CDH3 (通过cloudera管理器)。但是使用ssh，我可以连接到mynamenode。日志如下：
[18:54]hdfs@datanode2:~$ hadoop fsck -fs "hdfs://namenode:8020/" /
12/09/17 18:55:01 ERROR security.UserGroupInformation: PriviledgedActionException as:hdfs (auth:SIMPLE) cause:java.net.ConnectException:
浏览 2提问于2012-09-17得票数 1
2回答
我有一个pig脚本，它生成HDFS目录的一些输出。pig脚本还在同一个HDFS目录中生成一个成功文件。pig脚本的输出被分割成多个部分，因为要在脚本中使用的减速器的数量是通过'SET default_parallel n;‘定义的。
现在我想使用Java将所有文件部分连接/合并到一个文件中。显然，我想在连接时忽略成功文件。我如何在Java中做到这一点？
提前谢谢。
浏览 5提问于2015-04-22得票数 2
回答已采纳
我使用的是来自docker swarm的Hadoop，有1个namenode和3个数据节点(在3台物理机上)。我还使用kafka和kafka connect + hdfs连接器将消息以parquet格式写入HDFS。
我可以使用HDFS客户端(hdfs put)将数据写入HDFS。但当kafka编写消息时，它在一开始就有效，如果失败，并出现以下错误：
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch :
浏览 0提问于2018-05-23得票数 1
我正试图从Apache连接到启用Kerberos的HDFS集群，面对问题，需要从HDFS文件中读取，并编写可以ping示例工作代码的人。附加示例代码段。使用的语言-- Java
正在使用Kerberos配置，仍然获得访问控制异常。
我已经说过--
浏览 7提问于2022-07-11得票数 0
我正在尝试将java客户端连接到hadoop HDFS，但在尝试从配置中获取文件系统时却卡住了。
Configuration conf = new Configuration();
conf.set("fs.default.name", _PATH_);
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem f = FileSystem.get( conf );
然后我得到了这个经验..
java.lang.RuntimeExcep
浏览 0提问于2013-04-01得票数 1
回答已采纳
我有一个独立的Flink安装，我想在上面运行一个流作业，将数据写入HDFS安装。HDFS安装是Cloudera部署的一部分，需要Kerberos身份验证才能读取和写入HDFS。由于我没有找到关于如何使Flink与受Kerberos保护的HDFS连接的文档，所以我不得不对这个过程进行一些有教养的猜测。以下是我迄今所做的工作：
我为用户创建了一个keytab文件。
在我的Flink工作中，我添加了以下代码：
UserGroupInformation.loginUserFromKeytab("myusername"，"/path/to/keytab")；
浏览 0提问于2016-01-04得票数 3
我已经开发了一个自定义身份验证器提供程序，在身份验证方面一切似乎都很好: HiveServer2启动良好，并且验证了经过身份验证的连接。甚至，简单的Hive查询也能工作，比如show tables。
问题是当我试图从远程Hive客户端执行查询时。因为我已经连接到传递我的凭证(用户+密码).嗯，不是真正的密码，它是一个令牌，但这是不相关的)，而Hive配置已经准备好进行模拟(参见下面)，我期望HiveServer2作为我的用户执行这个查询。不过，它使用的是hive 用户，该用户对我的HDFS用户空间没有权限。
例如，如果我创建一个表：
> create external table myt
浏览 10提问于2017-03-01得票数 8
我是Hadoop系统的新手，在试图获得Hadoop (HDFS)文件系统时，我遇到了以下错误--安装程序是运行在UbuntuServer15.05上的Hadoop。以及一个在Windows上运行的Java程序，它使用Java将文件连接并添加到Hadoop系统中。
错误是：
15/07/14 11:23:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/07/1
浏览 4提问于2015-07-14得票数 0
回答已采纳
我是hadoop的新手，今天我只是开始使用它，我想将文件写入hdfs hadoop服务器，我正在使用hadoop 1.2.1服务器，当我在cli中发出jps命令时，可以看到所有节点都在运行。
31895 Jps
29419 SecondaryNameNode
29745 TaskTracker
29257 DataNode
这是我将文件写入hdfs系统的示例客户端代码
public static void main(String[] args)
{
try {
//1. Get the instance of COnfiguration
浏览 1提问于2014-08-05得票数 3
我想要连接到hdfs (在localhost中)，但我有一个错误：
从despubuntu-ThinkPad-E420/127.0.1.1到本地主机:54310的调用失败，原因是连接异常: java.net.ConnectException:连接被拒绝；有关详细信息，请参阅：
我遵循了其他帖子中的所有步骤，但我没有解决我的问题。我使用hadoop 2.7，这是配置：
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>
浏览 1提问于2015-04-28得票数 7
我需要写入外部HDFS集群，它的身份验证细节可以用于简单身份验证和kerberos身份验证。为了简单起见，让我们假设我们所处理的是简单身份验证。
这就是我所拥有的：
外部HDFS集群连接详细信息(主机、端口)
身份验证细节(用户用于简单的auth)
需要写入文件的HDFS位置(hdfs://host:port/loc)
此外，其他细节，如格式等。
请注意，星火用户与HDFS指定的用户不一样。
现在，使用spark编程API，这就是我想要做的：
val hadoopConf = new Configuration()
hadoopConf.set("fs.def
浏览 0提问于2018-04-29得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
