创建HDFS文件时的java.lang.IllegalArgumentException
是一种错误类型，通常在使用Java编程语言访问Hadoop分布式文件系统（HDFS）时出现。
概念：HDFS是Apache Hadoop生态系统中的分布式文件系统，适用于大规模数据处理和存储。它通过将文件切分为多个块，并将这些块分散存储在多个计算机节点上，实现了高容错性和高可靠性。
分类：java.lang.IllegalArgumentException是Java编程语言中的一个异常类型，表示方法或构造函数的参数不满足方法的预期。
优势：HDFS的优势包括高可扩展性、高容错性、高吞吐量、适合大数据处理和分析、自动数据复制和数据本地化。
应用场景：HDFS广泛应用于大数据领域，例如日志分析、数据仓库、数据备份和恢复等。
推荐腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：提供高度可扩展的云端存储服务，适用于存储和处理大规模数据。详细信息请参考：https://cloud.tencent.com/product/cos
- 腾讯云数据万象（CI）：提供图片和视频处理的云端服务，包括图片处理、内容审核、智能剪辑等功能。详细信息请参考：https://cloud.tencent.com/product/ci
- 腾讯云云服务器（CVM）：提供可扩展的云服务器实例，适用于各种计算任务和应用。详细信息请参考：https://cloud.tencent.com/product/cvm
请注意，以上推荐的腾讯云产品仅为示例，并非广告推广。在实际使用时，应根据具体需求选择适合的产品和服务提供商。
相关·内容
2回答
我正在尝试从HDFS读取文件。我使用以下代码：
val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4)
我得到了以下错误：
java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000
在我的文件路径中添加URI时，我引用了这个问题：
但由于上述错误，我仍然无法读取该文件。我怎么解决这个问题？
浏览 4提问于2016-11-08得票数 1
回答已采纳
2回答
我使用下面的代码将DataFrame以text格式加载到HDFS中。finalDataFrame是DataFrame
finalDataFrame.repartition(1).rdd.saveAsTextFile(targetFile)
执行上述代码后，我发现用我提供的文件名创建了一个目录，在该目录下创建了一个文件，但不是以文本格式创建的。文件名类似于part-00000。
我已经使用下面的代码在HDFS中解决了这个问题。
val hadoopConfig = new Configuration()
val hdfs = FileSystem.get(hadoopConfig)
FileUt
浏览 11提问于2017-09-19得票数 3
回答已采纳
当在刚安装的Hadoop 2.2.2.4上运行Oozie java操作时，例如，尝试访问hdfs时，它访问错误的文件系统：java.lang.IllegalArgumentException: Wrong FS: hdfs:/tmp/text.txt, expected: file:///
它可以通过在Oozie操作中包含core-site.xml来修复：
<file>hdfs:/path-to-core-site.xml-on-hdfs</file>
但是，原因是什么，正确的解决办法是什么？
浏览 3提问于2015-10-13得票数 1
回答已采纳
我有两条路径，一条用于文件，另一条用于文件夹。我想将文件移到HDFS上的文件夹中。我怎样才能在Scala中做到这一点？我也在用星火
如果同样的代码也适用于Windows路径，就像在HDFS上读取/写入文件一样，但不是必需的。
我尝试了以下几点：
val fs = FileSystem.get(sc.hadoopConfiguration)
fs.moveFromLocalFile(something, something2)
我得到了以下错误：
线程“主”java.lang.IllegalArgumentException中的异常:错误的FS: hdfs:/user/o/datasets/d
浏览 3提问于2018-01-12得票数 3
回答已采纳
我尝试从HDFS加载hadoop的分布式缓存中的文件，但它不起作用。我使用的是hadoop版本2.5.1。这是我如何在映射器中使用缓存文件的代码：
@Override
protected void setup(Context context) throws IOException, InterruptedException {
URI[] uris = context.getCacheFiles();
for (URI uri : uris) {
File usersFile = new File(uri);
浏览 0提问于2014-12-11得票数 1
//etl.py
start = DummyOperator(task_id = 'start', dag = dag)
job1 = SparkSubmitOperator(task_id = 't1', application = '/home/airflow/dags/test.py',
name = 'test', conf = {'spark.master': 'yarn'}, dag = dag)
start >> job1
//
浏览 1提问于2022-08-10得票数 0
回答已采纳
1回答
我正在尝试获取一个文件的创建日期，该文件存在于HDFS中，使用Scala。在我的研究中，我发现我们可以使用以下代码来完成这个任务：
val conf = spark.sparkContext.hadoopConfiguration
val fs = FileSystem.get(conf)
val dirPath = new Path("path of the file")
val filestatus = fs.listStatus(dirPath)
filestatus.foreach(f => println(f.getModificationTime))
以上代码
浏览 3提问于2017-11-28得票数 0
我得到了
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: file:/path/to/my.jar, expected: hdfs://ec2-xx-xx-xx-xxx.compute-1.amazonaws.com
如果我尝试将本地文件添加到hadoop中的分布式缓存。当文件在HDFS上时，我没有得到这个错误(显然，因为它使用的是预期的文件系统)。有没有一种方法可以在分布式缓存中使用本地文件，而无需首先将其复制到hdfs？下面是一个代码片段：
Configuration conf
浏览 3提问于2012-03-16得票数 2
我正在尝试使用以下命令将文件从S3复制到HDFS：
hadoop distcp s3n://bucketname/filename hdfs://namenodeip/directory
但是，这是不起作用的，得到如下错误：
ERROR tools.DistCp: Exception encountered
java.lang.IllegalArgumentException: Invalid hostname in URI
我曾尝试在hadoop conf.xml中添加S3密钥，但同样不起作用。请帮助我按照适当的步骤一步一步地实现从S3到HDFS的文件复制。
提前谢谢。
浏览 4提问于2014-03-27得票数 1
回答已采纳
我试图通过以下代码将port/example_File/2017中的abc.json复制到HDFS中的另一个位置/port/example_File/2018
String exampleFile= "hdfs://port/example_File/2017/abc.json"
String targetFile="hdfs://port/example_File/2018"
hdfs.copyFromLocalFile(new Path(exampleFile),new Path(targetFile))
我正处于例外状态
org.jboss.res
浏览 3提问于2017-04-01得票数 1
回答已采纳
我正在使用通过Azure ACS安装的dcos，并使用默认选项通过dcos工具安装hdfs和spark。
创建SparkStreamingContext会带来以下好处：
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly.
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains
浏览 8提问于2016-07-23得票数 0
回答已采纳
当我启动它的单节点集群时，我没有得到任何问题，我还检查了所有守护进程的日志。
但是，当我将数据从本地linux文件系统复制到HDFS文件系统时，抛出了一个异常: org.apache.hadoop.hdfs.DFSClient: DataStreamer异常: java.lang.IllegalArgumentException:不包含有效的主机:端口授权: 0:0:0:0:0:0:0:1:50010
请查看附件中的日志；
2014-07-08 15:56:28,342 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception
浏览 0提问于2014-07-08得票数 1
1回答
我想从一个包含HDFS中的纪元的文本文件中创建一个外部Hive表。假设文件位于/user/me/test.txt。文件内容如下：
1354183921
1354183922
我已经安装了Hive 0.8.1，并且应该能够使用类型Timestamp，所以我创建了这个表：
hive> CREATE EXTERNAL TABLE test1 (epoch Timestamp)
LOCATION '/user/me';
然后我查询表：
SELECT * FROM test1;
并得到以下异常：
Failed with exception java.io.IOExcep
浏览 2提问于2012-11-29得票数 1
回答已采纳
我已经写了一个简单的程序来加入订单和order_items文件，这是在硬盘文件系统。
我读取数据的代码：
val orders = sc.textFile ("hdfs://quickstart.cloudera:8022/user/root/retail_db/orders/part-00000")
val orderItems = sc.textFile ("hdfs://quickstart.cloudera:8022/user/root/retail_db/order_items/part-00000")
我得到了以下异常：
**Exception in
浏览 0提问于2017-12-02得票数 0
使用ApacheHadoop2.7.2版本，并尝试使用以下命令将文件从HDFS复制到Amazon。
hadoop distcp hdfs://<<namenode_host>>:9000/user/ubuntu/input/flightdata s3a://<<bucketid>>
使用上面的命令获取异常下面。
java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: s3a://<<bucketi
浏览 0提问于2016-05-05得票数 0
回答已采纳
我为对象存储配置了HDFS Connector，如下所述：
当我使用以下命令运行distcp时：
hadoop distcp -libjars /usr/lib/oci/oci-hdfs-full-2.7.2.0.jar hdfs://<namenode>:8020/some/folder/in/hdfs oci://bucket@namespace
我收到了一个错误：
tools.DistCp:遇到的异常java.lang.IllegalArgumentException:不包含有效主机:端口权限:桶@命名空间
因为它运行在不同的集群上，所以我认为这一定是配置问题，但我找
浏览 1提问于2018-05-28得票数 1
1回答
试图通过安装在我的intelliJ集群上的laptop.The在本地连接hdfs的Iam试图连接到hdfs是通过一个edge节点实现的。我为边缘节点生成了一个keytab，并在下面的代码中对其进行了配置。我现在可以登录到edgenode了。但是，当我现在尝试访问位于namenode上的hdfs数据时，它会抛出一个错误。下面是试图连接到hdfs的Scala代码：
import org.apache.spark.sql.SparkSession
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{File
浏览 1提问于2018-06-20得票数 1
回答已采纳
1回答
02/07/2016 12:43:23.324 PM
mm/dd/yyyy hh:mm:ss.SSS AM/PM -current format 12 hr
请帮助将此转换为24小时格式的猪.
HDFS中的文件
02/07/2016 12:43:23.324 PM
03/08/2016 08:12:15.123 AM
猪指令：
date_data = LOAD 'hdfs path' as (date: chararray);
todate_data = foreach date_data generate ToDate(date,'yyyy/MM/dd
浏览 4提问于2016-07-18得票数 0
回答已采纳
当使用spark-submit时，我需要使用--package发送依赖项。我应该使用哪个包？
我尝试创建一个包含依赖项的超级jar，但得到以下错误：
java.lang.IllegalArgumentException: Please specify an existing file
该错误是以下代码的结果：
String path = "hdfs:///user/data.txt";
SentenceIterator iter = new LineSentenceIterator(new File(path));
浏览 15提问于2016-07-28得票数 0
我有一个Scala列表: fileNames，它包含本地目录中的文件名。例如：
fileNames(2)
res0: String = file:///tmp/audits/xx_user.log
我正在尝试使用Scala从列表中移出一个文件: fileNames，从本地文件移到HDFS。为了做到这一点，我遵循了以下步骤：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache
浏览 1提问于2017-12-20得票数 0
回答已采纳
我使用sbt构建了一个应用程序Spark，我的程序是：projectFilms/src/main/scala/AppFilms我在HDFS中有3个文件，这些目录是：hdfs/tmp/projetFilms/<my_3_Files>，当我通过这个命令行"sbt“运行我的代码时，它会产生一个错误：
java.lang.IllegalArgumentException: java.net.UnknownHostException: tmp
这是：
[trace] Stack trace suppressed: run last compile:run for the full
浏览 8提问于2016-11-28得票数 4
回答已采纳
我有以下设置：- HDFS - Hive - Remote Hive Metastore (和一个metastore db) - Apache Spark (从下载并安装)
我可以像预期的那样使用Hive，创建表格-从HDFS读取数据等等。但是，不能让spark在配置单元支持下运行。每当我运行val sparkSession = SparkSession.builder().appName("MyApp").enableHiveSupport().getOrCreate()时
我得到了java.lang.IllegalArgumentException: Unable to i
浏览 0提问于2019-07-31得票数 0
我们正在尝试将azure blob存储与Hadoop结合使用。问题是我们必须在core-site.xml中设置fs.defaultFS属性，但在我们的示例中，我们收到了一个错误。文件和错误都如下所示：
<property>
<name>fs.AbstractFileSystem.wasb.impl</name>
<value>org.apache.hadoop.fs.azure.Wasb</value>
</property>
<property>
浏览 4提问于2018-08-22得票数 1
我尝试将本地文件发送到HDFS。另一个命令很好，但是当我创建一个文件时有一个错误。
我的命令如下：
curl -i -X将-T文档/Node/test.json "“
返回的结果如下：
HTTP/1.1 100继续
HTTP/1.1 400坏请求内容-类型: application/json；charset=utf-8内容-长度: 161连接:关闭
{"RemoteException":{"exception":"IllegalArgumentException"，"javaClassName":"jav
浏览 1提问于2018-10-10得票数 1
我是Hadoop的新手，在Ubuntu16.04上以独立模式安装了Hadoop3.1.2。当我尝试使用start-all.sh启动守护进程时，命令显示它正在启动不同的守护进程。但是，当我检查jps时，没有别的东西了，只有jps。
(sparkVenv) applied@nadeem-Inspiron-5558:~$ start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as applied in 10 seconds.
WARNING: This is not a recommended production d
浏览 0提问于2019-05-06得票数 0
回答已采纳
我的骆驼配置为从一个特定的FTP目录下载所有文件。现在一切都很简单，一切似乎都很顺利。但是，当文件中包含一个名为File123.csv的空格时，我会遇到错误。我知道我可以用转义字符专门针对这些文件。唯一的困难是这些文件在性质上是动态的，并且每天都在变化，所以我不知道哪些文件可能有或可能没有空格。我想我可以读取所有的文件URI并从那里进行调整。但我想知道是否有任何骆驼特有的方法来处理这件事。
错误：java.lang.IllegalArgumentException: Illegal character in path at index 60: hdfs://test.net/user/Came
浏览 2提问于2015-12-17得票数 0
回答已采纳
根据星星之火结构化流文档：“此检查点位置必须是HDFS兼容的文件系统中的路径，并且可以在启动查询时设置为DataStreamWriter中的选项。”
当然，将检查点设置为s3路径会抛出：
17/01/31 21:23:56 ERROR ApplicationMaster: User class threw exception: java.lang.IllegalArgumentException: Wrong FS: s3://xxxx/fact_checkpoints/metadata, expected: hdfs://xxxx:8020
java.lang.IllegalArgumen
浏览 8提问于2017-02-02得票数 9
回答已采纳
1回答
我试图使用以下代码使用结构化流在hdfs中摄取数据：
val query = output
.writeStream
.format("csv")
.option("path", "hdfs://hdfs_path")
.option("checkpointLocation", "checkpoint")
.start()
但是，由于以下错误，这种方法无法工作：
原因: java.lang.Il
浏览 4提问于2017-08-23得票数 1
回答已采纳
我正在尝试将我的5节点hadoop集群从1.0升级到2.2.0。当我试图使用hadoop-daemon.sh启动namenode -upgrade命令并检查日志文件升级namenode时，我会得到以下错误消息。
015-03-13 10:02:24,549 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.de
浏览 3提问于2015-03-13得票数 0
回答已采纳
1回答
我在伪分布式上运行Hadoop。我想通过为我的工作抽象HDFS来从本地文件系统读取和写入。我正在使用file:///参数。我跟踪了
这是core-site.xml的文件内容。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value> /home/abimanyu/temp</value>
</property>
<property>
<name>fs.default.name</name&
浏览 1提问于2013-11-23得票数 5
回答已采纳
1回答
在解决Hive的数据加载问题方面，我需要帮助。
背景：
我已经在RHEL 5.5中安装了HDFS 1.0.3和Hive 0.7.1。我能够执行所有HDFS操作。当我试图使用hive命令行加载一个hive表时，我将得到以下错误。
我尝试加载本地文件和hdfs文件。两人都犯了同样的错误。希望我错过了一些配置。请找到附加的屏幕截图。
我在cloudera测试了脚本，它运行得很好。
代码：
hive> describe dept;
OK
deptid int
dname string
Time taken: 3.792 seconds
**-- simple hive table**
h
浏览 1提问于2014-05-12得票数 1
我已经将kerberos配置为从远程服务器访问hdfs，并且能够验证和生成票证，但是当我试图访问hdfs时，我得到了一个错误：
09/02 15:50:02警告ipc.Client:连接到服务器时遇到的异常: java.lang.IllegalArgumentException: server有无效的Kerberos主体: nn/hdp.stack.com@GLOBAL.STACK.COM
在我们的krb5.conf文件中，我们在一个不同的领域中定义了admin_server和kdc：
DEV.STACK.COM = {
admin_server = hdp.stack.com
kdc
浏览 1提问于2015-09-03得票数 1
我目前正试图在本地文件系统上运行一个EMR作业。对于EMR，本地文件系统位于创建的EMR作业的EC2实例上。我跟踪了这个链接：
配置看起来很简单，将core-site.xml中的fs.default.name设置为file:///。然后Hadoop将在本地文件系统上运行，而不是HDFS。
(我首先在本地机器(Redhat)上试用了Hadoop的这种配置。当将fs.default.name设置为file:///时不起作用，但file://home/<username>/使hadoop运行平稳。)
在创建作业流时，我通过添加引导操作来更改此值。
./elastic-mapreduce
浏览 1提问于2014-06-24得票数 0
1回答
Hadoop配置-群集
、、、、
对于Hadoop，文件core-site.xml和mapred-site.xml的正确设置是什么？因为我正在尝试运行hadoop，但得到以下错误：
启动辅助名称节点，登录到/ opt/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-lbad012.out
lbad012 :线程“main”中出现异常java.lang.IllegalArgumentException :不包含有效的主机:端口授权: file :/ //
org.apache.hadoop.net.NetUtils.createSocketA
浏览 1提问于2013-11-13得票数 1
我正在尝试创建一个运行在Scala上的Spark应用程序，它读取位于src/main/resources目录中的.csv文件，并将其保存在本地hdfs实例上。当我在本地运行它时，一切都很有趣，但每当我将其捆绑为.jar文件并将其部署到服务器上时，就会出现问题…… 这是我的代码，位于src/main/scala中，我的数据文件的位置是src/main/resources/dataset.csv val df = spark.read
.format("csv")
.option("header", "true")
.option(&#
浏览 80提问于2019-03-07得票数 4
我正在尝试第一次安装和运行Hadoop。格式化namenode时，我得到以下错误。
java.lang.IllegalArgumentException: URI has an authority component at
java.io.File.<init>(File.java:423) at
org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.java:329)
at
org.apache.hadoop.hdfs.server.namenode.FSEditLog.i
浏览 0提问于2016-04-12得票数 0
1回答
我用错误的(非exists)路径创建了一个外部表：
create external table IF NOT EXISTS ds_user_id_csv
(
type string,
imei string,
imsi string,
idfa string,
msisdn string,
mac string
)
PARTITIONED BY(prov string,day string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
stored as textfile
LOCAT
浏览 5提问于2017-02-08得票数 3
当spark使用saveAsTextFile向HDFS写入一个大文件时，我得到了一个错误：java.lang.IllegalArgumentException: Self-suppression not permitted at java.lang.Throwable.addSuppressed(Throwable.java:1043) Caused by: java.io.IOException: All datanodes DatanodeInfoWithStorage
我一直在寻找解决方案，但我没有找到正确的解决方案，我也不知道为什么。
是什么导致了这些错误，我如何修复它们？
浏览 2提问于2017-06-12得票数 4
回答已采纳
我使用GetHTTPS--> UpdateAttribute -> PutHDFS流从API中读取json文件，比如30秒，并将这些文件放入HDFS中。第二步用当前日期/时间戳更改文件名属性，这样我们就不会有相同的文件名冲突。
到目前为止，我已经尝试过：
${filename: prepend(${now():format("yyyy-MM-dd-HH:mm:ss")})}
这导致：
错误PutHDFS未能写入HDFS，原因是java.lang.IllegalArgumentException: java.net。绝对URI：.2017-08-01-11:01:13
浏览 0提问于2017-08-01得票数 4
回答已采纳
我使用新的partitionPath选项定义了几个流，以便文件最终保存在Hadoop中的每日目录中：
stream create --name XXXX --definition "http --port=8300|hdfs-dataset --format=avro --idleTimeout=100000 --partitionPath=dateFormat('yyyy/MM/dd/')" --deploy
stream create --name YYYY --definition "http --port=8301|hdfs --idleTim
浏览 2提问于2014-11-19得票数 1
3回答
我假设Google存储连接器允许直接查询GS，就好像它是Dataproc中的Spark中的HDFS一样，但是看起来下面的内容不起作用(来自Spark Shell)：
scala> import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.FileSystem
scala> import org.apache.hadoop.fs.Path
import org.apache.hadoop.fs.Path
scala> FileSystem.get(sc.hadoopConfiguration).ex
浏览 2提问于2017-09-06得票数 3
回答已采纳
1回答
向emr提交本地火花作业
、、、
我遵循amazon关于将火花作业提交给emr集群的文档。
在遵循这些说明之后，对于frecuent故障排除，它会因为未解析的地址而失败，其消息类似于。
错误spark.SparkContext:初始化SparkContext时出错。org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)：java.lang.IllegalArgumentException: java.net.UnknownHostException: ip-172-32-1-231.us-east-2.计算
当我看
浏览 0提问于2019-02-08得票数 0
回答已采纳
我已经创建了一个AMI镜像，并从Cloudera版本安装了Hadoop。我将core-site.xml配置如下：
<property>
<name>fs.default.name</name>
<value>s3://<BUCKET NAME>/</value>
</property>
<property>
<name>fs.s3.awsAccessKeyId</name>
<value><ACCESS ID></
浏览 0提问于2010-11-04得票数 1
回答已采纳
2回答
我的Ambari服务器出了问题，它无法启动Namenode。我用的是HDP 2.0.6，Ambari 1.4.1。值得一提的是，一旦我启用了Kerberos安全性，就会发生这种情况，我的意思是，当Kerberos被禁用时，没有错误。
错误是：
2015-02-04 16:01:48,680 ERROR namenode.EditLogInputStream (EditLogFileInputStream.java:nextOpImpl(173)) - caught exception initializing org.apache.hadoop.hdfs.server.namenode.Tr
浏览 10提问于2015-02-04得票数 3
回答已采纳
我是一个中国人，我的英语水平很差，所以第一次grammar.Thank你可能会有错误。
当我使用oozie调度配置单元时，oozie no error.But当我从hive CLI中的表中选择时，会出现类似这样的错误
parse.CalcitePlanner (SemanticAnalyzer.java:getMetaData(1849)) - org.apache.hadoop.hive.ql.metadata.HiveException: Unable to determine if hdfs://big02.tedu.com:8020/apps/hive/warehouse/temp.d
浏览 0提问于2015-11-11得票数 0
基本上，我有一个程序，它上传文件到HDFS。这些文件是在任务执行结束时上传的。因此，很多任务同时(在执行结束时)将文件上传到HDFS，从而造成争用。文件大小小于HDFS块(< 64 MB)。我想知道，提前创建HDFS文件是否会更快(任务正在做一些处理以避免争用)，然后在处理完成后，以字符串的形式读取本地文件的内容，然后将该字符串附加到已经预先创建的HDFS文件中。
所以，基本上，我的问题是，哪一个有更多的开销，创建一个HDFS文件或者在已经创建的HDFS文件中附加一个字符串？
浏览 1提问于2016-04-26得票数 1
回答已采纳
我正在尝试执行以下代码片段以将文件保存在HDFS中。 Configuration conf = new Configuration();
String targetFileStr = "/someDirectory/fileWith Space.txt"
FileSystem fs = FileSystem.get(URI.create(targetFileStr), conf);
Path path = new Path(targetFileStr); 但它失败的原因是： java.lang.IllegalArgumentException: Illegal charact
浏览 94提问于2020-10-06得票数 0
我使用Spark+Hive构建图形和关系，并将平面OPV/OPE文件导出到HDFS，每个减速器一个OPV/OPE。我们所有的图形数据库都准备好加载到OPG/PGX上进行分析，这是一种很有魅力的分析方法。
现在，我们要在Oracle属性图上加载这些顶点/边。
我以这样的方式将文件名从hdfs中丢弃：
$ hadoop fs -find '/user/felipeferreira/dadossinapse/ops/*.opv/*.csv' | xargs -I{} echo 'hdfs://'{} > opvs.lst
$ hadoop fs -find &
浏览 0提问于2019-02-01得票数 4
我正在开发一个Java应用程序，这个应用程序正在将结果数据保存到HDFS。java应用程序应该在我的windows机器中运行。
我们使用Kerberos身份验证，并在NAS驱动器中放置了一个keytab文件。我们将Hadoop配置文件保存在相同的NAS驱动器中。
我的问题是当我从NAS驱动器加载Hadoop配置文件时，它会抛出一些自动错误，但是如果我从本地文件系统加载配置文件，我的应用程序运行良好(我还将配置文件保存在C：\Hadoop中)
下面是我的工作代码片段。( NAS中的keytab文件，本地文件系统中的Hadoop配置文件)
static String KeyTabPath = &#
浏览 2提问于2016-07-06得票数 8
我正在使用Spark MLlib的ALS类来训练一个MatrixFactorizationModel。我已经为中间rdd设置了一个用于检查点的HDFS (根据ALS类的建议)。rdds开始保存，但当它再次尝试删除它们时，我得到了一个异常：java.lang.IllegalArgumentException: Wrong FS: hdfs://[url], expected: file:///，这是堆栈跟踪：
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://[url],
浏览 4提问于2015-08-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
