我正在尝试使用Apache Spark解析来自Linux机器上的Windows机器的CSV文件，但突出显示的字符似乎无法识别…… Dataset<Row> df = spark .option("header", "true")
.option
浏览 51提问于2019-02-04得票数 1
我正在尝试读取一个CSV文件，该文件使用反斜杠来转义分隔符，而不是使用引号。我尝试过在不使用qoutes和使用转义字符的情况下构建DataFrameReader，但它不起作用。下面是我现在使用的选项： "sep" -> ",", "quote" -> "&qu
浏览 17提问于2016-09-12得票数 3
我正在使用winutils运行windows上的星星之火。在spark中，试图加载一个csv文件，但它写的是Path does not exist，也就是说，我在E:/data.csv位置有一个文件。我正在执行：
scala> val df = spark.read.option("header","true").csv(&q
浏览 1提问于2019-05-20得票数 0
1回答
我在我的笔记本电脑(Win 7 64位)中以独立模式安装了Spark，我可以运行Spark (1.6.1)，在Windows中运行SparkR并按照以下有效指南：。:119) at org.apache.spark.sql.api.r
浏览 0提问于2016-05-03得票数 0
回答已采纳
1回答
我已经在本地windows机器上的linux中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上，我已经安装了Spark。在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。
浏览 1提问于2018-09-16得票数 0
回答已采纳
3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在
浏览 1提问于2015-05-09得票数 4
回答已采纳
1回答
当我试图从csv文件创建的DF中编写avro文件时，我面临着一个NullPointerException： SparkSession= read.csv(path); DataFrameWriter<Row> format = write.format>3.2.0</<e
浏览 7提问于2017-05-09得票数 0
回答已采纳
我使用了以下步骤在Windows中使用独立模式集群配置spark，步骤3:使用以下命令Tar -xf spark 1.3.1-bin-hadoop2.4.tgz解压缩该文件
步骤4:使用以下命令设置环境
浏览 1提问于2015-04-22得票数 4
在一个独立的应用程序中(在java8上运行，Windows10使用spark-xxx_2.11:2.0.0作为jar依赖项)，下面的代码会给出一个错误：Dataset<Row>", "C:\\files\\project\\file.csv",
"C:/files/project/file.cs
浏览 4提问于2016-08-03得票数 1
回答已采纳
1回答
为文本找到多个源
、、、
我有一个Java，它来自于一个Java程序，如果我在IntelliJ的想法中在本地运行这个Java程序，它就运行得很好。在inputPath中有一些csv文件。为什么代码仅在spark-submit模式下运行失败，而在其他运行方式中成功？如何解决在spark-submit模式下运行的错误？
我用spark-submit测试了运行。它在
浏览 14提问于2021-03-16得票数 1
回答已采纳
2回答
我已经在Linux (在windows桌面)上安装了MySql，我正在尝试从运行在父windows操作系统上的Spark应用程序连接到MySql。在连接过程中，我遇到以下错误...(DataSource.scala:315)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:149
浏览 0提问于2018-09-26得票数 0
14回答
我想在spark中读取CSV，并将它转换为DataFrame，然后用df.registerTempTable("table_name")存储在HDFS中。我试过：我发现的错误：
java.lang.RuntimeExc
浏览 33提问于2015-04-17得票数 164
回答已采纳
在过去的几天里，我在Kubernetes上体验了Spark (2.3.0)。我已经在linux和windows机器上测试了示例SparkPi，发现linux spark-submit运行正常，并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)
在windows上，spark因类路径问题而失败(Could not fin
浏览 0提问于2018-04-09得票数 0
1回答
我有一段可以在本地运行的scala代码 .option("header","true") .format("com.databricks.spark.csv")
浏览 12提问于2018-02-26得票数 1
回答已采纳
我有一个csv case类，我想把它转换成RDDsome文件。我使用的是spark 1.6和scala 2.10.5。:148)
at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:139) 我无法在我的build.sbt文件中添加"com.databricks.spark.csv“的依赖项。我<em
浏览 38提问于2019-06-28得票数 0
我正在Azure HDInsight中运行一个简单的map reduce作业，下面是我们正在运行的命令： java -jar WordCount201.jar wasb://hexhadoopcluster-2019-05-15t07-01-07-193z@hexanikahdinsight.blob.core.windows.net/hexa/CustData.csv wasb://hexhadoopcluster-2019-05-15t07-
浏览 29提问于2019-05-16得票数 0
回答已采纳
我正在尝试将本地Spark群集中的Spark DataFrame作为CSV存储在Azure Blob存储上 首先，我使用Azure帐户/帐户密钥设置配置(我不确定什么是正确的配置，所以我已经设置了所有这些${account}.blob.core.windows.net", accountKey) 然后，我尝试用以下代码存储CSV filePath = s"wasbs://${conta
浏览 14提问于2019-12-26得票数 1
我在一个基于Unix的集群中运行ApacheSpark3.1.2，为基于Windows的摄取系统准备CSV文件。当Windows系统摄取由集群的Spark导出创建的CSV文件时，它无法解析CSV，因为新的行是LF \n Unix样式的新行，而Windows系统正在等待CRLF \r\n样式行的
浏览 3提问于2022-03-07得票数 0
回答已采纳
我是Apache Spark的新手。我使用的是Windows操作系统，而spark安装在Linux操作系统上，它是远程的。是否可以使用Java API在Spark配置中添加ip地址和端口？请分享spark java示例。
提前谢谢。
浏览 1提问于2017-02-07得票数 0
我是新来的。我在本地机器上运行pyspark。我正在尝试从pyspark数据帧写入CSV文件。> File "C:\spark-3.1.2-bin-hadoop3.2\python.
: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Na
浏览 64提问于2021-07-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
