大家好，我是第一次使用GCP，当我使用模拟数据浏览一个项目的云函数示例时，我对每个云函数的异同感到困惑，我想要更清楚地了解它们的不同之处，因为对我来说，它们看起来太相似了。
浏览 21提问于2021-02-25得票数 1
回答已采纳
我们有一个竞选管理系统。我们在不同的渠道上创建和运行活动。当用户点击/访问任何Adv (作为活动的一部分)时，系统会生成日志。我们的系统托管在GCP中。使用‘Exports’将要素日志导出到BigQuery使用此日志
浏览 0提问于2019-03-11得票数 4
3回答
可以将来自主题的Kafka数据流、消费和摄入到BigQuery/Cloud存储中的选项有哪些。GCP附带了基于模型的Dataflow。是否建议对传入数据执行实时转换的方法是将KafkaIO用于束管道？
可以将Kafka数据推送到云发布子中，然后放到BigQuery表中。卡夫卡流/火花作业，将被排除在GCP之外，也可以使用。如果数据完全托管在(G
浏览 1提问于2019-01-07得票数 3
回答已采纳
1回答
我有来自多家酒店的数据。这些酒店没有使用相同的命名约定来存储订单信息。我在bigquery中创建了一个预定义的数据集(称为hotel_order)。我希望将来自不同酒店的数据映射到GCP中的单个数据集，因此在bigquery中进行比较就更容易了。如果列名(来自hotel1)与bigquery列名匹配，那么bigquery应该加载列中的数据，如果列
浏览 2提问于2022-02-24得票数 0
2回答
我们公司最近开始使用GCP。主要是使用bigquery来存储数据。我们提供基于用户帐户(Gmail)的GCP访问。现在，我们希望更安全地访问所有GCP服务，因为只要工作人员拥有我们公司创建的帐户，就可以在任何地方连接bigquery。如果GCP服务不在总部或分支机构，我们希望限制它们的使用。我们希望用更安全的方式，而不是用用户帐户信息来保护存储在大查询中的
浏览 0提问于2021-07-04得票数 1
回答已采纳
我正在寻找使用Azure DevOps为GCP BigQuery创建CI/CD管道的最佳方法。我需要Azure Devops中的存储库，并在GCP中自动将CI和CD添加到我们的开发/QA和生产环境中。另外，如何在Azure DevOps中为GCP主分支代码设置自动构建？有没有办法集成BigQuery和Azure Devops存储库？我们必须使用
浏览 17提问于2021-06-23得票数 0
在本地运行时，我的木星笔记本可以引用Google BigQuery，如下所示：FROMexport GOOGLE_APPLICATION_CRE
浏览 0提问于2019-04-05得票数 4
回答已采纳
我想知道你们中的一些人是否有基于如何将日常数据从本地Oracle RDBMS移动到GCP服务(如BigQuery和云存储)的经验的建议。在我的组织中，我们正在寻找变更数据捕获(CDC)、编排、调度和触发，以便在生产中设计和开发健壮的流程。之后，我们应该继续获取临时许可证和工具。由于我们刚刚开始使用GCP进行大量订阅，因此我们强烈
浏览 2提问于2019-01-10得票数 3
列数据库(AWS红移、Azure Synapse、GCP Bigquery、雪花)和宽列数据库(AWS键空间、Azure CosmosDB、GCP Bigtable、Hbase、Cassandra)之间有什么不同到目前为止，我所了解的是：宽列数据库是NoSQL (可伸缩性等)。柱状数据库(AWS Redshift，Azure Synapse，GCP Bigquery，雪花)
浏览 0提问于2023-01-25得票数 0
我有一个基于gcp的环境。我在gcp BigQuery中使用标准SQL脚本，并对cloudsql MySql使用联邦查询。联邦查询从cloudsql mysql数据库中选择数据。我需要根据依赖于BigQuery中数据的条件从cloudsql mysql数据库中选择数据。我在gcp bigquery中使用标准sql脚本中的变量来存储从bigquery中选择的
浏览 75提问于2021-02-01得票数 1
回答已采纳
为了从Google Cloud函数连接到存在于不同GCP项目中的Google Cloud BigQuery，我创建了BigQuery客户端，如下所示： const {BigQuery} = require('@google-cloud/bigquery'); keyFilename: 'path/to/service_account.json',
p
浏览 15提问于2020-01-22得票数 1
回答已采纳
1回答
我以前的工作流程中有这样的分析设置:基本上所有数据都存储在mysql实例中，然后通过管道传输到我们的Google实例中，以供我们更严格的分析使用。我最近换了一家亚马逊商店，在那里我们收集了雅典娜和奥罗拉的大部分数据，但我们并没有一个很好的分析转储来对数据进行更密集和要求更高的查询。我真的很喜欢GBQ的web和跨数据库连接的能力(这样就很容易利用沙箱查询来进行临时工
浏览 2提问于2019-12-02得票数 2
回答已采纳
我有个问题：{'word':'string'，'table':'string'}tobq = (input
| 'write names to BigQuery
浏览 12提问于2021-03-08得票数 1
我有目标完成的谷歌分析报告，这与我在BigQuery上看到的不同。我正在使用下面的查询来获得目标完成。差异非常小，大约在1到20之间。SELECTFROM UNNEST(hitshits.page.pagepath, '/booking/complete*')
and _tabl
浏览 3提问于2021-04-30得票数 0
2回答
这是我在做GCP数据工程师练习考试时遇到的一个非常重要的问题：
随着您的组织扩展其GCP的使用，许多团队已经开始创建自己的项目。项目进一步增加，以适应部署的不同阶段和目标受众。每个项目都需要独特的访问控制配置。中央IT团队需要能够访问所有项目。此外，来自云存储存储桶和BigQuery数据集的数据必须以临时方式共
浏览 26提问于2020-02-09得票数 0
回答已采纳
我们已经整合了客户网站和BigQuery。因此GA每天都将原始数据转储到Bigtable中。现在我的目标是将这些数据转移到亚马逊S3。我可以使用GCP传输作业将这些原始数据从大人物移动到google，然后从那里移动到S3。但是，GCP需要将数据存储到云中。
现在，Google还提供了不同语言的客户机库，实习生称之为GCP。现在，我可以使用Java库查询BigTable，但是我不确定这些查询是否收费，以及这些客户端库是否有</e
浏览 1提问于2018-03-21得票数 2
回答已采纳
我所在的组织需要使用Spark从客户的bigquery数据集中提取数据，考虑到客户和我们都使用GCP，使用Dataproc来实现这一点是有意义的。我读过，它看起来非常有用，但是它似乎假设dataproc集群、bigquery数据集和临时BigQuery导出的存储桶都在同一个GCP项目中-对我来说并非如此。我有一个服务帐户密钥文件，它允许我连接到存储在big
浏览 2提问于2018-11-02得票数 0
1回答
我正在开发一个数据流管道，它正在从谷歌云存储读取协议的文件，并解析它，并试图写入到BigQuery表。当不是时，它工作得很好。行的大小约为20k，但如果不是。行数约为200k，则失败。withMethodwithFormatFunction 同样不同的不同。工作进程和不同的计算引擎类型。org.apache.beam.sdk.io.gcp.bigquery.BigQu
浏览 21提问于2021-10-28得票数 0
我的团队开发的Dataflow管道突然开始卡住，停止处理我们的事件。他们的工作日志里充斥着警告信息，说有一个具体的步骤被卡住了。奇怪的是，失败的步骤是不同的，一个是BigQuery输出，另一个是云存储输出。(StreamingWriteFn.java:131)
at org.apache.beam.sdk.io.gcp.bigquery.St
浏览 0提问于2019-03-04得票数 12
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
