1回答
我正在尝试摄取一个非常基本的CSV文件，其中包含Apache Spark中的日期。复杂性在于被拼写出来的月份。出于分析目的，我希望将这几个月作为日期。("dateFormat", "MMMM YYYY") .load("my.csv"); Spark并不喜欢我使用的dateFormat。它给了
浏览 7提问于2021-09-02得票数 1
回答已采纳
2回答
我有一个关于使用pyspark将模式加载到cdsw上的问题。我有一个使用csv文件创建的数据帧大多数变量的数据类型都读错了我知道模式应该是什么样子的。
有没有办法，我也可以从csv文件中加载
浏览 0提问于2021-04-21得票数 0
世界,目前，我依赖shell命令中的curl来获取CSV文件。下面是我想要增强的语法：This script should load FB prices from Yahoo.Demo:
spark-shell -
浏览 2提问于2016-09-25得票数 5
我想将一个带有时间列的csv读入hadoop，在hadoop中，时间列将作为字符串读入。val spark: SparkSess
浏览 0提问于2019-07-25得票数 0
CSV文件包含以下混乱格式的用户调查，并包含许多不同的数据类型，如string、int、range。下面的代码用于将CSV文件转换为一个Hive表，每个列都正确地分配了它们各自的值。" = "\\" STORED AS TEXTFILE;
LOAD DATA LOCAL INPATH "/home/cloudera/survey/2016edited.csv所有Select查询都会
浏览 1提问于2018-02-08得票数 0
我使用SMAC1.6.2JavaAPI在Dataframe DF1中加载一些数据，如下所示：A v1B v3现在，我需要根据列"Key“中的值子集对DF1进行分区，并将每个分区转储到csv文件中(使用spark)。期望产出：Key ValueA v2B.csvB
浏览 1提问于2016-11-19得票数 2
回答已采纳
2回答
我希望验证csv文件的每一行，该文件有6亿多行，最多有30列(解决方案必须处理该范围内的几个大型csv文件)。必须保存每个验证规则的结果，然后再显示。一旦数据被验证，第二阶段的验证规则将被应用，这一次基于和，平均…。还必须保存每条规则的结果。
我要用火花
浏览 0提问于2018-04-23得票数 1
2回答
我正在使用Pandas和SQL Alchemy从SQL导入数据。其中一个SQL列是datetime。然后我将SQL数据转换成一个Pandas dataframe，日期时间列是“datetime64”--这很好。我可以使用Matplotlib根据datetime绘制我的任何其他列。然后，我使用以下命令将我的熊猫数据帧转换为csv：这是为了避免我每次登录时都不得不运行一个相当大的sql查询。如果我随后尝试将
浏览 1提问于2020-07-23得票数 2
这个问题是()的参考。我正在尝试推断从rdd到Dataframe的模式，下面是我的代码 caseheader.split("\\|").map(column => StructField(column.split(":")(0), inferType(column), true)))
val df = spark.
浏览 3提问于2020-04-11得票数 1
回答已采纳
我在HDFS上有一个很大的分布式文件，每次我使用sqlContext和spark包时，它首先加载整个文件，这需要相当长的时间。df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').loaddf_n = sqlContext.read.format('com.databricks
浏览 4提问于2017-05-31得票数 20
回答已采纳
我希望从spark-sql CLI获得输出。但是数据在CSV中，用"\t“分隔。有没有办法使用纯sql来做到这一点？cmd like：spark-sql -e 'select * from csv.`xxx` where xxx=xxx' 唯一的方法是先创建一个临时视图，然后再查询该视图？
浏览 33提问于2020-09-18得票数 1
我有一个带有日期列的CSV文件，如下所示，----------2021-02-152021-04-22root但在火花3.1下面是输出。root我已经检查了的火
浏览 1提问于2021-12-22得票数 1
回答已采纳
我是Spark和Scala的新手，我正在尝试执行一项简单的任务，即根据文本文件中的数据创建一个图形。来自文档的
v1 v3v3</e
浏览 10提问于2015-09-04得票数 4
2回答
我有一个CSV文件，它包含在双引号(")中的数据。"0001“、"A”、"001“、"2017/01/01 / 12”
.option("encoding", encoding)
.option("h
浏览 1提问于2017-07-24得票数 7
回答已采纳
嗨，我有90 GB的数据在csv文件中，我正在加载这些数据到一个临时表，然后从临时表到orc表使用select insert命令，但转换和加载到orc格式的数据，它花了4个小时在火花sql.Is有任何一种优化技术，我可以用来减少这个time.As的现在我没有使用任何一种优化技术，我只是使用spark sql和加载数据从CSV文件到表(文本格式)，然后从这个临时表到
浏览 2提问于2020-04-02得票数 0
在使用spark-shell时，我注意到了一些有趣的事情，我很好奇为什么会发生这种情况。我使用基本语法将一个文本文件加载到Spark中，然后简单地重复这个命令。REPL的产出如下：myreviews: org.apache.spark.rdd.RDD[StringReviews.csv&qu
浏览 0提问于2018-11-29得票数 0
回答已采纳
由于我们的方案是常量的，所以我们使用的是spark.read()，这比在s3中存储数据时从选项创建动态框架要快得多
所以现在想要使用动态框架从胶水目录中读取数据需要很多时间，所以想要使用spark Dataframe.read.format
浏览 1提问于2021-04-12得票数 3
当我通过C++中的ofstream将我的计算导出到一个ODS (Apache OpenOffice)文件时，数字会正确地显示在那里，但是我不能在这个特定的ODS文件中进行任何计算。例如，当我尝试添加(比如A1上的0.9191和A2上的0.5757 )时，=SUM(A1:A2)返回零。 1 0.11
浏览 4提问于2016-09-15得票数 0
我觉得spark 2.3很有趣，还没有升级到更高的版本 df.select(df[headername]).write.format("csv，没有任何附加或转义的内容。SEGMENT":0}
$ file testf
浏览 32提问于2021-06-05得票数 0
回答已采纳
1回答
因此，我现在可以使用我的Excel2CSV函数了，但是遇到了另一个问题，即我的Excel中的日期字段(‘日期打开’，‘日期关闭’)被格式化为Excel中的日期，在转换为CSV (ex )时被写成一个整数值我想把那些日期写成纯文本。5/ 1 /1995 -或-1995年5月1日，或类似的东西。人类可读的
浏览 5提问于2014-09-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
