只要多个列中的一个列具有相等值，我就会对Spark DataFrame进行分组。("a3", "b2", "c3"), ("a5", "b5", "c5")
).toDF("a", "b", "c") 我想当a，b或c列的值匹配时进行分组在示例<
浏览 20提问于2020-07-02得票数 1
我知道Dataset (类型安全等)的优点，但我找不到任何与火花数据集限制相关的文档。
是否有任何特定的场景，其中火花Dataset是不推荐的和更好地使用DataFrame。目前，我们所有的数据工程流程都在使用Spark DataFrame。对于我们所有的新流程，我们都想利用Dataset。因此，了解Dataset的所有局限性/缺点将对我们有所帮助。编辑：--这与不一样，它解释了在Data
浏览 4提问于2019-03-20得票数 17
1回答
我正在使用PySpark进行经典的ETL工作(加载数据集、处理它、保存它)，并希望将我的数据集保存为由“虚拟”列划分的文件/目录；我的意思是“虚拟”是指我有一个列时间戳，它是一个包含ISO 8601编码日期的字符串，我希望按年/月/日进行分区；但我实际上在Dataframe中没有一个年份、月份或日列；我有这个时间戳，可以从中派生这些列，但我不希望这些列中有一个列序列化。将DataFrame</em
浏览 3提问于2016-02-16得票数 13
回答已采纳
我的任务是将从for循环生成的多个火花DataFrames组合在一起。因此，我想在运行for循环之前创建一个空的DataFrame，然后通过UnionAll将它们组合起来。result是从for循环生成的数据帧的名称。empty.unionAll(result)first table has 0 columns and the second table has 25 columns
看起来，在创建空的
浏览 5提问于2020-07-28得票数 3
回答已采纳
我正在阅读Spark2.2.0文档，发现这是对Static DataFrames 的奇怪引用
因为Spark2.0，DataFrames和数据集可以表示静态的、有界的数据，以及流的、无界的数据。与静态数据集/DataFrames类似，您可以使用公共入口点SparkSession (Scala/Java/Python/R )从流源创建流DataFrames/Datasets，并对它们应用与静态DataFrames
浏览 1提问于2017-12-24得票数 1
回答已采纳
1回答
读取csv文件创建数据
、、、
filename.csv") }错误：我试着按照这里的建议做：
但是sqlContext似乎没有识别CsvContext类的csvFile方法。
浏览 3提问于2015-06-16得票数 0
在优化的执行计划中有多少转换或操作，这些转换或操作应该等效于调用普通的RDD手写代码？如果我们用手工而不是SQL编写代码，它可能会生成一些中间RDDs，例如对源RDD的一系列map()、filter()操作。但是SQL版本不会生成中间RDDs，对吗？根据SQL内容，生成的VM字节代码还包括分区、洗牌，对吗？但是如果没有中间的RDD，如何才能激发计划并在工人机器上执行这些计划呢？
事实上，我仍然不能理解星星之火SQL和火花核心之间<em
浏览 2提问于2016-06-03得票数 2
回答已采纳
我有一个叫test.parquet的拼花文件。它包含一些整数。false)
|id ||11 ||13 ||15 ||17 ||19 |在日志中，它显示了两个已执行的作业---++---+|12 ||14 ||16 ||18 |+---+
所以，我的问题是
浏览 5提问于2017-06-28得票数 2
回答已采纳
2回答
我想绘制200 Gb的。我设法用datashader绘制/可视化了熊猫的数据。但是，我没有设法使用PySpark数据RAM (使用一个4节点集群，每个集群有8Gb内存)来完成它。不过，我可以做的是使用.toPandas()方法将PySpark数据into转换为Pandas数据into。但是这将在驱动节点上加载整个RAM中的数据(该节点没有足够的RAM来适应整个数据集)，因此不能利用Spark的分布式功能。
我也知道，只获取拾取和下降的经纬度和
浏览 3提问于2017-09-03得票数 2
回答已采纳
假设有一个已分区的蜂窝表现在，如果我们试图通过火花DataFrame插入到表中它抛出但是，如果我将dataFrame的结构更改为
Seq((1, 2, 3)).toDF(&qu
浏览 3提问于2016-08-18得票数 0
回答已采纳
我一直在使用matplotlib-venn生成一个包含3组的venn图。如下所示。
我想问，如何才能找到这些集合相交的值。例如，与A和B相交的384个值是什么？相交集A、集B和集C的144个值是多少？
浏览 5提问于2015-06-29得票数 6
回答已采纳
1回答
这两种连接两种数据格式的方法有什么区别？
在数据文件中使用"createOrReplaceTempView“，并使用sparkSession.sql()。对两个dataframes使用dataframe.alias()，然后使用join()方法
浏览 0提问于2018-12-17得票数 2
回答已采纳
3回答
给定一组2D坐标和每个坐标的半径，如何有效地找到这组圆中至少两个圆相交的所有点？据我所知，两个圆最多相交2个点，因此可以通过两个圆之间的成对比较和整个数据集上的循环来完成，但当实际数据集有10000个圆时，进行所有成对比较的计算成本将很高。下面是生成测试数据的示例代码。sample(x = 1:100,size = 20) Radius = sample(x = 1:50
浏览 1提问于2019-01-14得票数 6
2回答
我用熊猫对数据进行了数据预处理，现在我想把我的预处理功能转换成熊猫的火花放电。但是，当使用pyspark读取数据CSV文件时，许多值将变为空列，而该列实际上有一些值。如果我试图对这个dataframe执行任何操作，那么它将与其他列交换列的值。我也尝试过不同版本的火花放电。请让我知道我做错了什么。谢谢
列"property_type“的值为null，但实际的datafram
浏览 5提问于2022-02-16得票数 0
回答已采纳
3回答
我有多个模式，如下所示，具有不同的列名和数据类型。我希望为每个模式使用DataFrame和Scala生成测试/模拟数据，并将其保存到parquet文件中。下面是示例模式(来自示例json)，用于动态生成包含虚拟值的数据。StringType, true) StructField("pp", StringType, true))
我需要这样的rdd
浏览 0提问于2018-11-30得票数 13
回答已采纳
|[J, K, B] |+----------+--------------------+
我在寻找这两者的交汇点是否有任何有效的方法可以找到一行数据和多行数据文件之间的交集？
浏览 1提问于2022-08-12得票数 0
目的-检查火花产生的数据和手工创建的数据是否相同。if (da.except(ds).count() != 0 && ds.except(da).count != 0)其中da和ds分别是生成的dataframe和已创建的dataframe。布尔返回- false
其中da和ds分别是生成的</
浏览 0提问于2017-11-03得票数 3
回答已采纳
不好意思me.Today我想运行一个关于如何在Pyspark.The结果中使用sqlContext创建DataFrame的程序是AttributeError，它是“AttributeError：'NoneType‘对象没有属性'sc'”，我的计算机是win7，Spark的版本是1.6.0，API是python3 .I有过几次google并阅读了Spark文档，并且无法解决我寻求帮助的problems.So问题。我的代码是：
#python versio
浏览 3提问于2016-11-28得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
