我正在编写一个应用程序，将消息从Kafka读取到Spark使用结构化流。SparkSession spark = createSparkSession();
Dataset<Row> df =spark .format("kafka")
.option
浏览 2提问于2017-08-22得票数 1
4回答
我有一个Spark Streaming作业，它一直在持续运行。如何优雅地停止作业？我已经阅读了在作业监视中附加关闭钩子并向作业发送SIGTERM的常用建议。如果我们启动spark streaming作业(我们在集群中的所有节点上分发作业)，我们将必须跟踪作业的PID和它正在运行的节点。我只是希望能有一种更简单的方法来控制流媒体作业。
浏览 0提问于2015-09-15得票数 30
Spark 2.2引入了Kafka的结构化流媒体源代码。据我所知，它依靠HDFS检查点目录来存储偏移量，并保证“只传递一次”消息。但旧的docks (如)表示，Spark Streaming检查点不能跨应用程序或Spark升级恢复，因此不太可靠。如果要将Kafka源的偏移量存储到事务型DB中，如何从结构化流批处理中获取偏移量？
浏览 1提问于2017-09-11得票数 28
回答已采纳
1回答
5条记录如下所示。如果查询第一次运行，则${lastUpdateTime}和${lastG_ID}设置为0，并且它将返回5条以下的记录。max(G_ID)和max(UpdateTime)中读取etl_stat table，并按如下所示对查询进行帧化，以便该查询只返回5条增量记录，如下所示。2的内连接查询，从messages读取增量消息，处理记录并插入到HBase中。在成功发布到Kafka之后，NiF
浏览 1提问于2017-12-01得票数 1
2回答
我有一个表，为每个客户保存一条记录(主表)。然后我有一个表，为一些客户提供了额外的详细信息。附加明细表有时在主表中没有记录。有时，对于主表中的一条记录，明细表有多条记录&如果是这种情况，我需要最新的记录(因此是最大的subselect)。
问题是我的函数只返回明细表中少数几条记录的值。如何使下面的第二个select语句仅在存在该查询的结果时才适用？create or replace FUNC
浏览 0提问于2011-11-29得票数 1
回答已采纳
2回答
我有一个数据集，其中包含分组在其他列上的id列字段的多个记录。对于这个数据集，我只想为每个组的最新记录派生一个新列。我使用case statement派生新列，使用union获取最新记录的值。我在考虑避免使用UNION，因为它在spark-sql中是一个昂贵的操作。我想派生一个列，只针对给定人员的最新订单。2 4 2020-01-01 10:15:15 15 Y 我尝试了下面的查询，以便在查询
浏览 4提问于2020-06-19得票数 1
回答已采纳
我想运行一个简单的查询来获得表中"n“个最旧的记录。(它有一个creation_date列)。(假设表的<<大小为n)
浏览 0提问于2011-01-05得票数 2
回答已采纳
1回答
下面显示了一个查询，我希望能够使用它向用户显示最新更改的列表。保存在记录中的表有时可以包含每个学生的多个更改，但我只想显示每个用户最近的一个。如果我删除最大值(时间戳)，它可以返回所有记录，而不仅仅是一条。如果我将MAX添加回时间戳，它有时只显示单个用户的更改，有时显示没有.如能提供任何帮助，将不胜感激。JOIN methodLookup o LEFT
JOIN metho
浏览 0提问于2018-10-02得票数 0
回答已采纳
如何在横截面引擎中定时刷新股票价格？ 分段式引擎的聚合器表可以是结果表。如果我想定期更新股票的价格，我应该怎么做？
浏览 14提问于2021-06-29得票数 0
我是python新手(使用它不到几个小时)。我试图读取twitter数据并将其存储在一个mongo数据库中，但我得到了以下错误： File "twit_test.py", line 8, in on_receive File "/Library/Python/2.6/site-packages/pymongo-2.0.1-py2.6-macosx-10.6-universal.egg/pymongo/collection.py", l
浏览 1提问于2011-11-04得票数 3
回答已采纳
3回答
我曾尝试暴力破解，但仅找到第一条记录的所有重复项就需要25秒以上，这意味着处理整个表将花费……太长了(这应该是一个可重复的过程)。我是SQL的新手，但这是我想出来的(我想出了一些解决方案，但没有一个是足够的……这是最新的尝试)：将记录n的数字保存到变量中。从largeTable中选择与记录n相同的一个数字的所有记录。
将所有选定的数字插入到#oneMatch中，并
浏览 3提问于2011-08-20得票数 2
2回答
鉴于我有一个用户“时间线”的帖子，而该帖子可能从数百万到数十亿，我如何才能从raik桶上的最后N个帖子？我是说，最后一次创造。
我读到，当使用二级索引时，Raik将返回按键排序的帖子。但是，此查询返回该用户的第一个N个帖子，而不是最后一个。考虑到我已经看到了一些StackOverflow帖子，并且建议的解决方案，MapReduce对于大桶没有效率，您将如何建模数据或编写查询？
浏览 2提问于2013-10-09得票数 2
回答已采纳
按照当前的构造，此查询使用两个联接。
使用外键从大表中选择1,000至40,000条记录。按照当前的构造，此查询使用四个联接。
我计划在一个批处理后端数据库上运行这些昂贵的查询，该数据库将其结果推送到实时前端DB服务器，该服务器处理来自用户的请求。目前，这些查询在MySQL中的每一个<e
浏览 0提问于2012-08-28得票数 11
回答已采纳
3回答
用户:消息(1:n)用户:设备(1:n)
我看到了很多关于每组最优秀的解决方案，但我没有让它发挥作用。我只让它处理一个需要20秒的子查询(user_analytics保存100 k记录和消息3k.
浏览 0提问于2014-12-06得票数 1
回答已采纳
1回答
我目前正在一个旅游网站上开发一个网络应用程序。我愿意做的是允许用户注册自己，以便能够为自己和/或家人预订旅游。“家庭成员”不需要注册。而且用户应该可以取消任何成员/他自己的预订。到目前为止，我设计的表格是：tours id，title，short_desc，start_date，end_date，max_passenger_capacity，fees，published (布尔)，long_desc
passengers (适用于未登记的
浏览 7提问于2014-02-11得票数 1
回答已采纳
2回答
我正在开发一个系统，它可以接收和解析以结构化方式格式化的电子邮件，并将信息保存到MySQL数据库中。每封电子邮件都描述一个特定的事件。我正在尝试编写一个查询，该查询将只选择描述给定事件的最新行。
浏览 6提问于2012-11-16得票数 1
4回答
消除全索引扫描
、、、
由于在P4FileReleases中对650万条记录进行了完整的非聚集索引扫描，然后是哈希连接，下面的查询执行得很糟糕。我正在寻找可能的原因，优化器选择一个扫描而不是一个寻求。WHERE子句将右数据集的大小限制在大约1K的记录，优化器应该知道它(参见下面的直方图)。P4FileReleases表保存650万条记录(
浏览 4提问于2010-07-06得票数 2
回答已采纳
我现实世界的例子：SELECT from_id,
to_id如果我有一个关联数组索引，它将保存account_id (它将派生为条件：if from_id==account_id OR to_id=account_id)，那么Postgres可以使用account_id查找这个索引，以获取记录列表，这些记录已经被排序了。由于索引已经考虑了OR条件，所以我不需要使
浏览 1提问于2018-07-08得票数 0
回答已采纳
5回答
假设我有以下管道：在这里我们可以看到，orderBy指令是第一位的，所以在执行limit指令之前，应该对数据rows的所有行进行排序。我发现自己在想，如果星火在管道内进行一些“重组”，以提高性能(例如，在limit orderBy之前执行orderBy指令)。是火花做的吗？
浏览 3提问于2019-12-05得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
