1回答
我使用Kubernetes中的httpfs设置来设置对HDFS的访问，因为我需要访问HDFS数据节点，而不仅仅是name节点上的元数据。我可以通过telnet使用Node端口服务连接到HDFS，但是，当我尝试从HDFS获取一些信息时-读取文件，检查文件是否存在，我得到一个错误： [info] java.net.SocketTimeoutExceptionHDFS Kubernetes设置如下所示： apiVersion: v1metad
浏览 27提问于2019-04-20得票数 5
回答已采纳
我想通过httpfs或Webhdfs将一个文件从HDFS读入Spark。有关的东西
sc.textFile("httpfs://myhost:14000/webhdfs/v1/path/to/file.txt&qu
浏览 0提问于2014-12-08得票数 2
"config": { }, "name": "hdfs-HTTPFS-BASE",
"roleType": "HTTP
浏览 0提问于2016-10-27得票数 5
回答已采纳
现在我正在通过HttpFS摄取日志，它在巨大的体积下分崩离析。由于性能原因，我不能在我的边缘运行JVM。因此，我正在考虑使用原生协议来摄取(我听说它要么是IPC，要么是原始网络套接字魔术)hadoop fs -put本地文件-fs webhdfs://datanode:14000/hadoopfilehadoop fs -put本地文件hdfs://名称节点/hadoopfile
浏览 3提问于2013-07-02得票数 0
1回答
我正在构建一个客户端，它将一些数据插入到我的HDFS中。因为HDFS位于防火墙后面的集群中，所以我使用HttpFS作为代理来访问它。当我试图读取/写入HDFS时，客户机将使用IOException退出。消息是No FileSystem for scheme: webhdfs。hdfsURI = "webhdfs://myhttpfshost:14000/";
Configuration configuration = new Configurat
浏览 1提问于2014-02-06得票数 2
回答已采纳
我已经安装了httpfs，当然是在重新启动所有服务之后启动它。所以这里httpfs应该可以工作，即使nn1成为备用，但是现在发送相同的请求。
http://nn1:14000/webhdfs/v1/aloosh/oula.txt?state standby","exception":"RemoteException","javaClassName":"org.apache.hadoop.ipc.RemoteExcepti
浏览 4提问于2017-04-11得票数 10
回答已采纳
1回答
我正在努力寻找合适的替代方案来替代基本的HDFS web界面。我尝试过hadoop eclipse插件，但它似乎已经过时了，正确设置它是一件痛苦的事情！有没有人能告诉我HDFS web界面的替代方案，我可以通过GUI轻松地下载和上传文件到HDFS？附注:我在本地运行所有的东西，不，集群参与。我尝试了很多，但似乎没有任何东西指向正确的方向
浏览 0提问于2013-03-23得票数 1
我有一个hadoop集群运行在centos 6.5上。我目前正在使用python2.6。由于不相关的原因，我无法升级到python2.7。由于这个不幸的事实，我无法安装pydoop。在hadoop集群中，我有大量的原始数据文件，名为raw“全年时间小时”.txt，括号中的所有内容都是一个数字。是否有一种方法可以将python?中的hadoop目录中的所有文件都列出来，这样程序就会创建一个类似的列表。这将使我需要做的一切变得更容易，
浏览 8提问于2016-04-02得票数 1
我已经在我的集群上安装了hadoop1.0.4，包括1主3从，现在我正在安装HTTPFS(hadoop-hdfs-httpfs-0.20.2-cdh3u5-SNAPSHOT)来使用http协议访问HDFS我可以通过它访问正常的页面它的工作正常:)curl -i "
浏览 2提问于2013-03-12得票数 4
回答已采纳
1回答
- project\hadoop-hdfs-httpfs\downloads\tomcat.tar.gz [exec] tar (child): C\:hadoophadoop-hdfs-projecthadoop-hdfs-httpfsSUCCESS [ 35.
浏览 3提问于2014-05-19得票数 4
我正在使用confluent的文档，但是当我添加一个hdfs-sink连接器时，我得到了这个错误：
Caused by: java.io.IOException: No FileSystem for scheme
浏览 0提问于2018-07-03得票数 0
1回答
= hdfs-channelcygnusagent.sinks.hdfs-sink.type = es.tid.fiware.fiwareconnectors.cygnus.sinks.OrionHDFSSink.y1.z1.w1,x2.y2.z2.w2
###port of the Cosmos service listening for persistence operations; 14000 for httpfsusername allowed to writ
浏览 1提问于2014-11-26得票数 1
= 130.206.80.46cygnusagent.sinks.hdfs-sink.cosmos_default_username = myUsername# HDFS backend type (webhdfs, httpfs or infinity
浏览 2提问于2015-02-03得票数 4
回答已采纳
//*:/usr/lib/hadoop-hdfs/./:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/.
浏览 0提问于2015-02-04得票数 9
回答已采纳
1回答
我的服务节点和数据节点与webapp分离，所以我使用HttpFS与Hadoop进行通信。因此，每当在我的应用程序中生成新的数据行时，我是否应该已经调用相应的HttpFS URL来将数据附加到HDFS文件中？我是否应该将这些数据写入for服务器中的文件中，并使用cronjob将其上传到HDFS，例如每小时一次？我是应该更新Hive表，还是应该在需要查询数据时将数据加载到其中？
浏览 0提问于2015-10-05得票数 0
回答已采纳
2回答
我正在做一个研究项目，我需要为HDFS创建某种类型的代理，这样我们就可以捕获对HDFS的调用，并在将其返回给用户之前应用一些访问/拒绝(文件)策略。对于HttpFs和WebHDFS这样的HDFS接口，很容易设计代理系统，因为它们使用HTTP与客户端通信。但HDFS驱动程序使用协议缓冲区定义的协议在客户端和namenode之间进行通信。在HDFS代码中是否有任何钩子来围绕HDFS原生协议设计代理。这方面的Hadoop版本是2.6。
浏览 4提问于2015-02-10得票数 1
6回答
我需要从外部源(如windows box )将数据写入Hadoop (HDFS)。现在，我一直在将数据复制到namenode，并使用HDFS的put命令将其摄取到集群中。我希望有人能告诉我，我错了，有一种简单的方法可以针对HDFS编写外部客户端代码。
浏览 84提问于2009-10-07得票数 18
回答已采纳
如何使用httpfs将文件复制到hdfs中的另一个目录。例如，我可以使用()创建一个文件。我在中找不到
浏览 8提问于2016-09-08得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
