我有一个这样的数据帧： xyz 20170101 123 yes klm 20170101 124 yes
我想按GroupID对它进行分组，对于每一组，我想要具有"no“标志的行，并且前面有X个以前的行(数据帧已经按GroupID和时间戳排序
浏览 61提问于2018-08-22得票数 1
回答已采纳
Spark streaming应用程序实时接收来自大量IoT设备的数据。但它们都是少量的数据。整体流程看起来像是-> Iot -> Kafka(1个主题/所有数据) ->火花流(过滤错误日志) -> DB(保存) ->警报屏幕 有没有使用spark或python进行实时日志分析的好方法？
浏览 13提问于2020-11-19得票数 0
回答已采纳
使用此示例pandas df： ColA ColB ColCApple Fruit PieApple Fruit Food
浏览 13提问于2021-09-09得票数 0
回答已采纳
2回答
假设我们有一个数据帧：如何通过前几行进行子集？例如，如果我在第3行，我想获取第1行和第2行的值，如果我在第4行，我想获取第2行和第3行的值。我如何在R中执行此操作？
浏览 4提问于2015-06-19得票数 1
我使用的是spark 2.3.2，在对来自Kafka的2个或更多流媒体资源进行联合时遇到了一个问题。这些都是来自Kafka的流媒体源，我已经将它们转换并存储在Dataframes中。理想情况下，我希望将此UNIONed数据帧的结果以parquet格式存储在HDFS中，甚至可能存储回Kafka中。最终目标是以尽可能低的延迟存储这些合并的事件。checkpointLocation)
.opt
浏览 52提问于2019-07-02得票数 1
回答已采纳
b from (select * from pos where a is not null limit 1) as ta), '', b)我想从last value的b中更新列a中的b，并将其值更新为b。
浏览 1提问于2015-05-05得票数 0
有人能解释一下每一位作家对spark structured的需求吗？
因为我们以dataFrame的形式获取所有的源数据，所以我没有使用foreachwriter。
浏览 0提问于2018-12-29得票数 0
2回答
我有一个庞大的NetFlow数据库(它包含时间戳、源IP、Dest、协议、源代码和Dest .、交换的数据包、字节等等)。我希望根据当前和前面的行创建自定义属性。我希望根据当前行的源ip和时间戳计算新列。这是我逻辑上想要做的：
获取当前行的时间戳。基于源IP和时间戳，我希望获得整个数据的前<
浏览 4提问于2020-10-07得票数 1
回答已采纳
我想用从Kafka到Spark的数据做Spark结构化流媒体。一般来说，它可以在测试模式下工作，但由于我必须对数据进行一些处理(并且不知道另一种方法)，Spark数据帧不再具有流式传输功能。 #!dsraw.isStreaming: Truedf1.isStreaming: False
df2.isStreaming: False 因此，当我创建第一个数据帧时如何从
浏览 22提问于2019-09-10得票数 0
回答已采纳
我知道我必须在live555中实现DeviceSource.cpp来封装编码器来接收来自ffmpeg的帧。然而，似乎还没有关于如何做到这一点的例子。所以谁能给我提供一些关于实现DeviceSource的教程或例子。在进阶时谢谢。
浏览 2提问于2012-12-16得票数 1
我想导出每个电影剪辑为它自己的swf，但捕获是，我想导出它，以便它可以流。
当导出一个在主时间轴中包含电影内容的普通.fla时，生成的swf能够进行流式处理--它可以在100%加载之前开始播放。当我使用JSFL函数: document.exportSWF([fileURI，bCurrentSettings])时，生成的.swf必须加载100%才能开始播放。这是因为它作为带有电影剪辑实例的时间轴导出。主时间线只有一个帧，实际的<
浏览 0提问于2012-12-12得票数 1
我试图使用ddply mutate函数将1添加到数据帧的特定行中。特定问题以下是我的数据帧的前几行。此数据帧的名称为data_all
浏览 3提问于2015-12-10得票数 0
回答已采纳
例如，如果我有几个图形渲染在黑色背景上，是每一帧调用glClear(GL_COLOR_BUFFER_BIT)更有效，还是在过去帧的工件上渲染黑色三角形更有效？我认为在工件上渲染黑色三角形会更快，因为与清除整个屏幕相比，需要更改的像素更少。
浏览 1提问于2017-11-03得票数 0
一个是批处理作业，另一个是结构化流式作业。两者都写入相同的文件接收器。两者具有相同的架构。但是，当从该接收器读取数据时，spark仅读取由流式作业创建的文件，并跳过由批处理作业创建的文件。然而，这并不总是可能的，因为在下一个微批spark中将在那里创建另一个_spark_metadata文件夹。如何在spark中读取此接收器中的所有文件。
浏览 13提问于2020-05-20得票数 0
2回答
我有一个流式数据帧，我正在尝试将其写入数据库。这里有将rdd或df写入Postgres的文档。但是，我找不到关于如何在结构化流媒体中做到这一点的示例或文档。spark.apache.org/docs/latest/structured-streaming-programming-guide.html#foreachbatch，但我不能理解在何处创建jdbc连接以及如何将其写入数据
浏览 17提问于2019-02-19得票数 2
回答已采纳
1回答
我想批量消费一个Kafka主题，我想每小时阅读一次Kafka主题，并阅读最新的每小时数据。.option("kafka.bootstrap.servers", hostAddress) .load()
但它总是读取前20个数据行，而这些行是从头开始的，所以它永远不会选择最新的数据行。如何使用scala和spark每小时
浏览 4提问于2021-03-10得票数 0
4回答
因为我已经安装了pandas的更新版本，所以每次我输入数据帧的名称时，例如为了查看前几行，它给出了列的摘要、列中的值的数量以及数据类型。
我如何才能看到表格视图？
浏览 0提问于2013-06-06得票数 18
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
