我的数据是这样的，status是0或1，uid是用户id。|1 | 0 2 |2 | 0 2 |2 | 0 2 |4 | 0 并获得所有连续的相同状态对不起，我<
浏览 8提问于2019-01-23得票数 1
我有一个Spark结构的流媒体应用程序。应用程序从kafka接收数据，并且应该使用这些值作为参数来处理来自cassandra数据库的数据。我的问题是，我如何使用输入数据帧(kafka)中的数据，作为cassandra中的"where“参数"select”，而不会出现以下错误：
Exception in thread &qu
浏览 25提问于2021-05-24得票数 0
回答已采纳
我得到了这个错误：
File "/home/juande/Desktop/spark-1.3.0-bin-hadoop2.4/python/pyspark/mllib /classification.py
浏览 0提问于2015-04-22得票数 1
我正在使用spark和java来尝试比较两种数据帧。它们都有相同的列。如您所见，下面的数据帧唯一不正确的地方是第二代数据帧中的emp_id 4.。Dataset<Row> df1 = <
浏览 6提问于2021-10-03得票数 2
我正在使用spark structured来编写一些使用function的转换数据帧： .format("parquet") .start(dataPath)当我在代码中调用这个函数的次数较少时(编写了1或2个
浏览 7提问于2018-07-26得票数 1
我无法使用Jupyter Notebook中的PySpark将CSV文件从Azure Blob Storage直接加载到RDD中。我已经通读了几乎所有其他类似问题的答案，但我还没有找到关于我想要做什么的具体说明。我知道我也可以使用Pandas将数据加载到Notebook中，但之后我需要将Panda DF转换为RDD。我理想的解决方案应该是这样的，但是这个特定的代码给我的错误是它不能推断出CSV<em
浏览 21提问于2019-04-28得票数 0
我正在开发Spark2.0和SparkR库。我想获得一个关于如何在SparkR中做以下事情的示例代码？我知道使用R来做这件事，但是我需要一些帮助来使用Spark Sessions或SparkSQL context。此外，我们如何将这个R代码作为Spark批处理提交，以便以固定
浏览 4提问于2016-08-21得票数 0
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
我编写了一个pytest用例(Spark3.0)来读取文件和获取数据帧的计数，但是我无法看到spark，而且我得到了一个OOM错误。什么是解决方案，以及如何在没有看到spark的情况下进行调试？
浏览 0提问于2022-06-17得票数 0
在使用apache spark时，我们可以很容易地生成一个json文件来描述Dataframe结构。此数据帧结构如下所示： "type": "struct", { "type": "stringsap",
"business_key": false,
浏览 1提问于2020-05-14得票数 0
在使用spark、*Spark sql join*和*spark dataframe join*从HBASE获取和操作数据时，哪个更快？
浏览 2提问于2016-06-01得票数 2
1回答
我有两个h2o帧，我想基于这两个列中存在的一个相同的列来连接它们，我使用Java API并从spark dataframes中获取h2o帧。h2oContext.asH2OFrame(train_validation);我可以使用sparkdataframes来连接<em
浏览 8提问于2017-06-22得票数 2
2回答
柱面全景图
、、、、
我想要创建一个金属(油漆/其他)圆柱对象的横向表面的2D全景，它可能有缺陷，如划痕或凹痕。我捕获了一段300帧的视频，具有相同的适当ROI。现在我试图缝合两个连续的帧，但是没有控制点(无法识别)，因为表面是均匀的，所以你不知道第二帧的第一列在第一帧的哪里。此外，由于金属表面的高反射性质，像素的强度值往往在两个连
浏览 0提问于2013-09-15得票数 0
5回答
如何从配置单元外部表创建数据帧
、、、、
我们喜欢在Hive外部表的顶部创建数据帧，并使用hive模式和数据进行spark级别的计算。 我们是否可以从hive外部表中获取模式并将其用作Dataframe模式。
浏览 69提问于2017-05-11得票数 1
回答已采纳
假设我有一个这样的数据帧abc 20 A我想在数据帧的末尾添加一个汇总行，因此结果将如下所示abc 20AAll 50 Alldata = spark.createDataFramenul
浏览 2提问于2016-09-15得票数 4
回答已采纳
1回答
我的想法是使用upsert将csv文件作为源& synapse表作为接收器。每当我在数据流源预览中更改csv文件的行时，它都会显示旧数据。这是我的源文件，我将最后一个指示器更改为FALSE，并将其上传到blob。
我再次运行了源静态指示器的预览，它引用了旧数据
我的源设置
数据集设置-
浏览 0提问于2021-07-07得票数 0
5回答
我正在使用从JSON事件流转换而来的Dataframe来处理事件，这些数据帧最终会被写成Parquet格式。但是，一些JSON事件在键中包含空格，我希望在将其转换为Parquet之前记录和过滤/删除数据帧中的此类事件，因为;{}()\n\t=在拼图方案(CatalystSchemaConverter)中被视为特殊字符，如中所列1下面因此不应允许在列名中使用。如何在Dataframe中对列名
浏览 188提问于2016-07-05得票数 17
1回答
我想知道如何在Spark (Pyspark)中实现以下内容+--+---++--+---++--+---++--+---++--+---++--+---++--+---+-------++--+---+-------+|3 |7.0| 3.0
浏览 50提问于2015-12-16得票数 38
回答已采纳
1回答
我已经创建了一些方法来将数据帧转换为所需的格式，并根据错误规则过滤多个错误检查和更新数据帧。 我是一个在intelliJ上用scala编写单元测试的新手。我必须编写单元测试来将实际数据帧与预期结果进行比较。 下面是我为数据帧的pivot功能编写的单元测试用例。类似地，我必须将获得的数据集与预期的数据帧<
浏览 4提问于2021-09-13得票数 1
如果我不缓存使用带有limit选项的spark SQL生成的dataframe，当我编辑得到的dataframe并显示它时，我会得到不稳定的结果吗？ 描述。我有一个类似下面的表格，它是通过使用带有limit选项的spark SQL生成的： +---------+---+---+---+---++--1| 0| 0| 10| 17|+-
浏览 6提问于2021-04-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
