1回答
我有以下两个字符串类型为A和B的列的数据帧： val df = ( .createDataFrame( ("a1", "b1"a1", "b2"), ("a2", "b3")
浏览 14提问于2021-01-26得票数 0
回答已采纳
我可以将数据帧记录加载到Oracle数据库中，没有任何错误，但我想知道如何将Df中的列映射到Oracle 我想以JDBC write格式将Employee_id字段从DataFrame映射到oracle中的ID列。列映射： df ---------- Oracle
Employee_id --
浏览 21提问于2020-11-27得票数 0
在使用apache spark时，我们可以很容易地生成一个json文件来描述Dataframe结构。此数据帧结构如下所示： "type": "struct", { "type": "string"business_key": false,
"priv
浏览 1提问于2020-05-14得票数 0
7, 8, 9]][[], [0, 1, 2, 3, 4], [5, 6, 7, 8, 9]]
>>> 第一个分区是空的？
浏览 34提问于2019-04-23得票数 2
回答已采纳
=> if(i % 2 == 0) Some(i) else null)).toDF()java.lang.ClassCastException: org.apache.spark.sql.types.IntegerType$ cannot be cast to org.apache.spark.sql.types.StructType
浏览 0提问于2019-05-06得票数 0
我很好奇是否有一种简单的方法可以在PySpark的exceptALL命令中保留标识ID。例如，假设我有两个数据帧(DF1，DF2)，它们都有一个ID列和另一个列“A”。我希望将值为"A“的行保留在DF1中，而不是保留在DF2中，因此基本上我尝试使用exceptAll的常规输出来保留标识符。我附上了一张具有理想输出的图像。 ? 干杯!
浏览 48提问于2020-01-16得票数 1
2回答
我有一个spark数据帧，有几列，如下所示：1红色、蓝色、黑色3蓝色、黄色、绿色红色，0绿色，2黄色，4
我需要做的是将颜色名称映射到不同的I，例如将"Red，Blue，Black“映射到一个由1,1,0,1,0组成的数组。，COLOR_MAP是包含string->i
浏览 0提问于2018-05-17得票数 3
我有一个spark dataframe，其中每一行都有一个I列表：1 [3,4,5]3 [2]id desc3 "bb"5 "dd"
6
浏览 18提问于2017-12-16得票数 2
我正在用Scala在Spark 2.3中做一些功能工程。我在Spark DataFrame的一列中有IP地址，如下所示
现在，我希望将这些频率中的每个频率映射到原始数据帧。在那里我会-- | |567 | 7
浏览 0提问于2018-04-03得票数 0
使用snowflake spark连接器从snowflake复制表时，默认行为是将结构化数据映射到spark字符串：https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql 例如，给定snowflake中的一个表： create table schema.table
浏览 26提问于2019-05-30得票数 1
我有一个很大的地理空间数据集partitionBy qk5的level 5。在每个quadkey级别的目录中，大约有1-50 Gb的数据，所以它不适合放在一个文件中。因此，我希望一个qk5分区中的文件按更高的qk分辨率排序(比方说四键级别10)。问:有没有一种方法可以在partitionBy批处理中对数据进行排序？part30000.parquet
part40000.parquet 我想让part1.parquet，part2.parquet
浏览 19提问于2021-09-23得票数 2
回答已采纳
1回答
我尝试从另一个服务器流数据到HBase，并能够在Python语言中定义不同的列族。我看了看Spark文档，只看到：如何使用相同的实现直接写入HBase，并能够将数据映射到不同的列族？
浏览 0提问于2017-04-24得票数 0
如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？我可以看到spark的unionAll不支持此操作，并抛出以下错误
org.apache.spark.sql.AnalysisException: Union can only be performedon tables with the same number of columns, but the l
浏览 0提问于2016-08-04得票数 0
在数据帧中添加列的最有效的方法是什么？var dataDF = sc.textFile("path/file").toDF()
val rowDF = sc.pa
浏览 4提问于2015-04-07得票数 54
回答已采纳
1回答
使用Spark标记文本内容？
、、、、
在我的场景中，我有一个mongo集合，其中每个文档都有一些文本类型字段以及一个文档所有者的字段。这样做的目的是根据用户的文档在用户界面中输入文本框时提供特定于用户的自动建议。我使用了mongo火花连接器，并且能够使用spark将集合文档加载到数据</em
浏览 0提问于2017-05-07得票数 0
对的引用
我认为我需要.options("inferSchema" , "true")和.option("header", "true")来打印我的标题，但显然我仍然可以打印我的csv的标题。我真的不理解"inferSchema:自动推断列类型。它需要额外传递一次数据，默认情况下为false“的含义。
浏览 0提问于2019-07-08得票数 13
回答已采纳
我在一个包含Region,store和id子集的数据帧中进行了dropDuplicates。该数据帧包含一些其他列，如latitude, longitude, address, Zip, Year, Month...当我对派生数据帧进行计数时，我得到的是一个常量值，但当我对选定年份进行计数时，比如2018年，我在运行df.count()时会得到不同的计数 有人能解释一下为什么会发生
浏览 18提问于2021-01-24得票数 0
1回答
我将spark数据帧的列移动到同一数据帧中的嵌套列的方法如下所示： .appName("SparkByExamples.com") .getOrCreate()
val data = Seq((&quo
浏览 19提问于2021-02-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
