根据我的理解，Google Cloud platform没有提供Bigquery特定的日志api，我们可以禁用这些api，这样就不会记录BQ sql查询。 任何参考或变通方法都会得到高度重视。用例:查询需要在客户端数据集中执行，数据必须只保留在客户端项目中。
浏览 9提问于2020-09-18得票数 0
我有一个外部Sheets表，我想通过Airflow中的BigQueryOperator查询它。Conn Id: bigquery_with_gdrive_scopeProject,https://www.googleapis.com/auth/
浏览 4提问于2018-08-09得票数 2
回答已采纳
我正在尝试将bigquery查询保存到自定义Airflow操作符中的dataframe。我尝试过使用airflow.contrib.hooks.bigquery_hook和get_pandas_df方法。任务get停留在身份验证上，因为它需要我手动访问一个url来进行身份验证。工作但不理想(凭据是硬编码的)： os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '
浏览 1提问于2019-06-20得票数 3
我的问题是，没有办法检查Google认为某个特定表的当前使用情况。这使得无法隔离负责大部分配额使用的底层进程。
我们如何查看/检查此配额的当前使用级别？
浏览 1提问于2017-03-23得票数 0
我正在尝试从我的.hql文件访问BigQuery表，我将在Dataproc集群上运行该文件。dataset_name:table_name;
然后，我编写了一个查询，将输出插入到BigQuery中的表中。但是该表存在于BigQuery数据集中。
有没有人可以帮忙解决这个问题？
浏览 0提问于2020-02-12得票数 0
我在BigQuery中有几个表，它们都来自Google表。当Google表被更新时，BigQuery中的表也会自动更新。我正在试图了解此事件的日志在操作日志中的样子。我的最终想法是创建这些日志的接收器，以便创建Pub/Sub，并根据这些事件运行预定的查询。
谢谢
浏览 3提问于2021-12-19得票数 0
寻找一个等效的GoogleCloud工具，可以在解压前查询压缩的CSV。目前我们使用雅典娜来实现这一点，但正在寻求过渡到GoogleCloud。在GCP中，有没有等同于Athena查询压缩CSV的工具？
浏览 14提问于2020-02-11得票数 3
回答已采纳
我们有一个由我们的开发人员创建的内部Java应用程序，它使用log4j来格式化它的日志消息。最近，我们开始在Google引擎上运行这个程序，这样日志就会自动从stdout传输到Stackdriver。但是，所有日志都显示在严重性级别INFO中。必须更改应用程序以尊重我们使用的集中式日志记录是错误的；我们的客户端可能使用其他日志解决方案。是否有任何方法可以让堆栈驱动程序使用textPayload来确定
浏览 0提问于2019-07-18得票数 1
回答已采纳
1回答
我想实现Google，这样我就可以用BigQuery代码在BigQuery中执行查询了。首先，我通过以下命令安装了客户机库：其次，我通过以下命令安装了Google：
curl https://sdk.cloud.google.com'/vendor&#x
浏览 1提问于2016-11-03得票数 3
回答已采纳
当对BigQuery执行查询时，它在日志中输出有用的信息，但返回值只是查询有效负载。除了查询结果之外，还有没有办法以编程方式获取查询元数据？示例：result = bigquery.query(sql)@total_bytes_pr
浏览 5提问于2018-01-11得票数 0
回答已采纳
4回答
Google Cloud Platform中的一些预定查询突然不再运行，并显示消息“访问被拒绝：...用户不具有表的bigquery.tables.get权限...”首先，是否可以查看计划查询是在哪个用户下运行的？谢谢，西尔文
浏览 0提问于2020-01-21得票数 1
我想自动将数据从外部PostgreSQL数据库传输到我的GCP帐户中的Google Cloud Platform BigQuery数据库。到目前为止，我已经看到可以使用EXTERNAL_QUERY()函数查询外部数据库(MySQL或PostgreSQL)，例如：https://cloud.google.com/bigquery/docs/创建报告，这很好用，但是只有来
浏览 26提问于2021-04-01得票数 2
我们有一个系统来跟踪在上执行的所有查询。我们实际上是通过gcloud实用程序使用gcloud，为了跟踪DDL/DML查询，我们在DB上存储用户名和查询执行时间以及时间戳。但是，在这些API中，我无法跟踪直接从Bigquery中创建或删除表的DDL查询。有什么方法可以追踪这些查询的对象和时间吗？
浏览 2提问于2020-03-27得票数 0
如果我在响应中使用REST API (即bigquery.googleapis.com)执行BigQuery作业，我会得到如下所示的selfLink： https://bigquery.googleapis.com/bigquery/v2/projects/my-project/jobs/job_0123456789ABCDEF?location=EU 在UI中(即cons
浏览 13提问于2021-04-15得票数 0
回答已采纳
我使用日志资源管理器创建了一个Sink，它将数据推送到Bigquery。我可以使用以下查询获取有关表的信息。我试过了
然而，我无法找到如何获取有关“视图”的信息。我需要包括什么？这是我的水槽里的什么东西，还是我应该使用的另一个资源名称？
浏览 12提问于2022-07-19得票数 0
回答已采纳
我有一个定期运行的BigQuery作业。到目前为止一切都很好。现在我得到了以下错误。当我直接尝试在终端中执行bq命令时，它不会一致地导致相同的错误响应。有时效果很好。query --project_id=$BQ_PROJECT_ID --nouse_legacy_sql --format=json --quiet $MAX_TIME_QUERY
查询操作中的追溯:跟踪(最近一次调用)：文件"/google-cloud</e
浏览 0提问于2019-05-27得票数 0
回答已采纳
2回答
在google cloud platform中，我有多组人访问同一个项目。我对bigquery的账单很感兴趣。我有多个数据集，无论何时有人做了收费的事情，我都想知道是哪个服务帐户做的。我发现我可以将标签添加到数据集/表中，并在计费导出中获取此信息。然而，我真的需要知道是哪个服务帐户做的，因为我可能有多个组使用相同的数据集。
浏览 19提问于2019-05-10得票数 0
在本地开发应用程序引擎服务器(以及生产应用程序引擎)上，我想运行一个脚本，其中包含大量查询相关代码，但是我得到了一个错误。我已经在堆栈溢出中访问了与此错误相关的所有答案，但没有发现任何可行的答案。/usr/bin/python client = bigquery.Client('myproject')
query = '(S
浏览 2提问于2017-12-22得票数 1
1回答
我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装HBaseShell来查询大表数据。基于下面对这个特定用途的分析，我发现下面的云存储可以通过
浏览 0提问于2019-01-24得票数 0
回答已采纳
尝试运行sql并将结果存储在BigQuery表中。请帮帮我。self.udf_config, self.use_legacy_sql)
File "/usr/local/lib/python2.7/dist-packages/airflow/contrib/hooks/bigquery_hook.pydefault_project_id=self.p
浏览 12提问于2017-08-11得票数 4
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
