文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在BigQuery中实现“提醒”

问如何在BigQuery中实现“提醒”
EN

Stack Overflow用户

提问于 2021-04-13 08:24:39

回答 2查看 298关注 0票数 1

我正面临着BigQuery项目的问题。

因此，我希望基于数据和我想要设置的阈值在BigQuery中使用alerting。由于数据每隔15分钟不断累积，因此我希望BigQuery首先使用保存的查询自动分析数据集，如果存在违反阈值的情况，则通知我。

我尝试过监控功能，但指标就像添加的行、字节等，它们并不相关，因为我主要关心的是数据本身。

例如，在"ID“和"result”列中，我将"result“列的阈值设置为基准"5”。如果数据超过"5"，我希望得到通知哪个"ID“上升了。

monitoring

google-bigquery

alert

回答 2

Stack Overflow用户

发布于 2021-04-13 14:07:51

我曾经做过的事情是

设置计划的BigQuery查询，
在条件不满足时使用ERROR函数运行，
在计划查询时，选中该框以在查询失败时发出通知。

这非常简单，但在我的简单案例中效果很好。

票数 3

Stack Overflow用户

发布于 2021-04-13 14:30:43

您可以尝试编写一个简单的python脚本，如下所示，根据您的需求进行通知。

from dateutil.parser import parse
import datetime
from google.cloud import bigquery


stream_query = """SELECT * FROM `PROJ.test123.TABLE4` WHERE 1=1"""

stream_client = bigquery.Client()

stream_Q = stream_client.query(stream_query)
stream_data_df = stream_Q.to_dataframe()
.......
.....
... As per your requirement it can send notification to MS teams channel, email, Pub/sub etc.

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67067220

复制

相似问题

问如何在BigQuery中实现“提醒”
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在BigQuery中实现“提醒”EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在BigQuery中实现“提醒”
EN