我正在使用pyspark在hdfs中处理一个文本文件。如果我使用简单的hdfs命令，比如"hdfs dfs -cat hdfs:///data/msd/tasteprofile/mismatches/sid_matches_manually_accepted.txt但是如果我像下面这样使用pyspark命令，它会一直返回"Errno 2没有这样的文件或</
浏览 42提问于2021-05-23得票数 1
HDFS % ls在以下两个目录上返回无此类文件或目录错误。[mybox]$ hdfs dfs -ls /data/tdc/dv1/corp/base/dpp/raw/load_date=2018-05-01/ | grep Tenant查看错误：
[mybox]$ <e
浏览 0提问于2018-06-05得票数 1
我希望使用ProcessBuilder类通过我的Java Application顺序执行2个或更多命令。我已经尝试了其他回复/论坛中建议的多个选项，但没有成功。以下是我尝试过的方法：出现以下错误：
错误: ls：;：无此类文件或目录<e
浏览 5提问于2012-09-05得票数 21
1回答
我正在尝试运行我的pyspark代码。我的目标目录是本地目录。我用来提交spark-submit命令的用户是超级用户，并且拥有从hdfs读取文件并将文件写入本地的所有权限。作业正在运行，没有任何错误，但没有创建输出目录或文件。有人能帮帮忙吗？
浏览 12提问于2019-07-16得票数 2
2回答
(无此类文件或目录) /usr /share/tomcat7/backup/Catina.policy(无此类文件或目录)将文件复制到/usr/share/tomcat7/backup/catalina.properties:时出错/usr/share/tomcat7&#
浏览 1提问于2012-01-14得票数 4
如果我使用scp将文件复制到安装了HDFS客户端的目标计算机上，然后"hdfs将该文件放入“HDFS中，那么spark可以正确地读取该文件。如果我使用curl对webhdf服务直接从客户端应用程序将该文件上传到HDFS，则在尝试读取parquet文件时从Spark获得以下错误：
df = "/usr/hdp/current
浏览 0提问于2018-12-04得票数 0
我的pySpark版本是2.4，python版本是2.7。我有多行sql文件，需要在spark中运行。与逐行运行不同的是，是否可以将sql文件保存在python (初始化spark)中，并使用submit执行它？我正在尝试用python编写一个通用脚本，以便以后只需要从hdfs文件夹中替换sql文件。import sysimport pyspark.sql.functions
浏览 8提问于2022-02-10得票数 -3
1回答
使用代码打开一个目录，读取其内容，并打印出有关每个文件的信息。它检查命令行，如果没有提供参数，将打印出指定目录或当前目录的内容。下面的代码与用于打印当前目录的代码几乎完全相同。下面的代码命中while循环中的第一个if语句(在我将result设置为等于当前文件之后)，然后对目录中的每个文件执行
加载statBuffer：：无此类文件或目录
浏览 1提问于2013-05-02得票数 0
1回答
我正在使用SPARK读取hdfs中的文件。有一个场景，我们以csv格式从遗留系统中获取文件块。ID1_FILENAMEA_3.csvID2_FILENAMEA_1.csvID2_FILENAMEA_3.csv 此文件使用现在，我正在逐个处理这些文件。这需要很长时间。 我想让这个过程更快。文件将以GB为单位。 是否有任何方法可以同时读取所有FILENAMEA文件<
浏览 228提问于2021-09-27得票数 1
回答已采纳
问题是，当我在Android Studio中运行我的程序时，FileInputStream无法找到c:\poi-test.xls文件。FileInputStream(file);
e.printStackTrace();在Android Studio中，我单步执行并创建了文件对象，但是当我单步执行FileInputStream时，我得到了以下错误：
C:\poi-test.xls:打开失败: ENOENT (没有这样的文件或</
浏览 12提问于2017-04-15得票数 2
1回答
文件时出现问题(没有这样的文件或目录)嵌套异常: /Users/ipcmac/Documents/workspace_IndigoNew/MYNew/apps/NewApp/iphone/native/MYNewNewAppIphone-Info.plist (没有这样的文件或目录)
2012-11-30 18:32:20安卓构建失败: com.worklight.bui
浏览 5提问于2012-11-30得票数 1
回答已采纳
我试图通过oozie工作流在hadoop集群上提交对纱线的基本火花操作，并得到以下错误(来自纱线应用程序日志)：EDIT3:
参见下面的堆栈跟踪。Diagnostics: File does not exist: hdfs://hdfs/path/user&
浏览 8提问于2017-09-01得票数 0
1回答
当我试图下载源代码并构建它时，我会得到无法解决的构建错误：
Makefile:117: charset.d:无此类文件或目录Makefile:117: child.d.d:无此类文件或目录Makefile:117: config.d:无此类文件或目录Makefile:117: ctrls.d:无</em
浏览 6提问于2011-06-18得票数 0
回答已采纳
1回答
我正在尝试转换多个视频在一个目录与ffmpeg。命令可以正常运行，但出现的错误是不存在这样的文件或目录。而该文件存在于同一目录中。“%a in ('dir /B *.avi') do ffmpeg -i "%a.avi”"%a.mp4“ 我的文件名类似于(我的视频file.avi)，这会导致错误。名称不带空格的文件(file1.avi，file2.avi )工作正常。
浏览 27提问于2020-04-07得票数 1
回答已采纳
1回答
我使用的代码如下：import urllib3在linux上，如果我给出一个本地路径，tika可以解析，但是对于hdfs路径，我得到一个
Spark I/O error: No such file
浏览 0提问于2018-03-13得票数 1
我试图从一个目录中读取所有JSON文件，并使用下面的代码将它们存储在中。(效果很好)
但是，当我尝试用多个文件保存DataFrame时，使用下面的代
浏览 1提问于2021-01-18得票数 0
回答已采纳
2回答
我已经构建了一个小的数据管道，它将一些虚构的测试数据从本地目录(json-格式)移动到hdfs (avro格式)。这似乎是正确的(没有由水槽显示的错误)，但错误可能已经存在于这里。现在让我解释一下我是如何做到的，这样您就可以看到我可能失败的地方了：我的目标是将json数据从本地目录推送到HDFS，这样我就可以使用pySpark=avro_event
agent.sinks.
浏览 1提问于2018-09-03得票数 1
我在同一台机器上有一个Spark集群和一个Hdfs。我已经在每台机器的本地文件系统和hdfs分布式文件系统上复制了一个大约3G字节的文本文件。为什么？我所期望的结果正好相反。在sgvd的请求后添加：Spark Standalone，<e
浏览 0提问于2016-01-13得票数 5
我的项目中有一个使用.txt处理多个PySpark消息文件的要求。文件从本地dir移动到HDFS路径(hdfs://messageDir/..)使用批处理和每批处理，我可以看到几千个.txt文件，它们的总大小约为100 is。几乎所有的文件都小于1MB。我可以知道HDFS如何存储这些文件并执行拆分吗？因为每个文件都小于1MB(小于64/128 MB的HDFS块
浏览 2提问于2018-10-21得票数 0
回答已采纳
logoLabel = Label(root, image=logoImage, bg='dodgerblue3')图像与项目位于同一个目录中实际上，当我用cmd或Python打开它时，它可以工作。但是，当我使用VS代码或将其转换为.exe文件时，它将显示以下错误： File "c:\Users\Simo\OneDrive\
浏览 2提问于2022-01-27得票数 -1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
