我正在尝试使用cloud dataflow runner从我的beam管道中读取bigquery中的数据。我想提供一个凭证来访问该项目。 我在Java中见过示例，但在Python中没有见过。我发现唯一的可能性是使用：--service_account_email参数，但如果我想在所有选项中的代码中</e
浏览 15提问于2020-04-24得票数 1
回答已采纳
1回答
有人能告诉我在python中与一起使用的BigQuery的当前API版本是否是0.25吗？当我安装apache-beam时，使用：我得到的版本是: 0.25为什么会这样呢？
浏览 2提问于2018-11-21得票数 0
回答已采纳
我正在尝试运行一个简单的数据流管道。在最终静默了一些与服务帐户相关的权限错误之后，我的管道现在已经进入了失败的下一个阶段。然而，这一次，我更加不清楚应该如何读取/调试输出日志：ERROR: Could not find a version that satisfies the requirement正如您所看到的，我已经尝试在本地和GKE上运行:类似的错
浏览 9提问于2021-11-24得票数 0
1回答
我正在使用一个带有GCP提供的python/jupyter笔记本镜像的GCE实例来执行一些数据分析。数据驻留在BigQuery中。默认情况下，实例可以使用服务帐户访问BiqQuery，但出于数据保护的原因，我必须使用请求数据的个人用户帐户。我知道可以使用Python语言中的编程oauth流来请求凭据，
浏览 39提问于2020-10-31得票数 0
我遵循datetime字符串2020-03-30T16:26:37-04:00，当我尝试在bigquery中插入它时(我将string对象作为json对象的一部分发送)，我会得到错误
摘要:
浏览 5提问于2020-03-30得票数 0
回答已采纳
我有一个谷歌应用程序引擎触发云DataFlow管道。这条管道应该将最终的PCollection写入谷歌BigQuery，但我找不到一种方法来安装正确的apache_beam.io依赖项。我在本地运行Apache Beam2.2.0版。但我
浏览 6提问于2018-02-09得票数 3
我正在尝试在GCP上的datalab实例中安装apache beam，但遇到以下问题，我真的很喜欢解决这个问题的方法，目前我对pip或datalab都不是很精通，错误在底部：Requirement already satisfied: pydot<1.3,>=1.2.0Collecting googl
浏览 0提问于2018-08-19得票数 1
我有一个本地运行的pyspark集群，希望从大型查询中加载数据。我已经生成了服务器到服务器的json凭证文件，现在我该如何将它传递给我的代码呢？提亚
浏览 2提问于2016-04-14得票数 0
我正在编写一个简单的python管道，通过apache-beam来聚合用户的投票。在输入中，我有如下逗号分隔行：pollA,answerCpollB,answerBpollA,answerB输出： pollId: pollA,
answerId: answ
浏览 0提问于2019-04-28得票数 0
回答已采纳
1回答
我有一个用python apache-beam编写的管道。它将800,000个带时间戳的数据放入每1秒重叠的2秒窗口中。我的元素可能有不同的键。
当它执行groupBy时，将需要3个小时才能完成。我使用10个工作人员部署在云数据流中。当我增加工作线程的数量时，处理速度并没有显著的提高。为什么这种转换会成为我的管道</em
浏览 11提问于2016-09-23得票数 1
当我使用Dataflow用Apache-beam编写代码时，我有一个问题。还是有更多的图书馆支持？
这是我个人的好奇心，但很难概括文件的内容，所以我写了一个问题。谢谢。
浏览 1提问于2020-12-03得票数 0
回答已采纳
我用pd.read_gbq()在Jupiter Notebook中加载了GBQ中的数据。然后我对它们进行预处理并建立ML模型(我知道BigQueryML，但这对我的任务来说还不够)。
浏览 22提问于2019-10-08得票数 0
回答已采纳
我需要使用Pandas/ Pandas -gbq在Python语言中创建一个简单的ETL管道，每天将给定日期范围内的数据从BigQuery读取到Pandas数据帧中，并根据查询结果创建单独的日表(写回BigQuery尽管可能有更好、更有效的方法(注意:我不是软件工程师)，但我目前正在研究BigQuery中的来参数化日期
浏览 2提问于2019-12-17得票数 2
基本上，我们希望根据特定列(而不是日期)的值，将一个大的(数十亿行) bigquery表拆分成大量(可以是100k左右)较小的表。我不知道如何在bigquery中高效地完成这项工作，所以我在考虑使用数据流。使用dataflow，我们可以首先加载数据，然后为每条记录创建一个键值对，键是我们想要拆分表的特定列的所有可能值，然后我们可以按键对记录进行分组。，在最后一步中，如何根据PCol
浏览 9提问于2017-07-13得票数 0
现在的问题是，我无法弄清楚如何以一种可以在BigQuery中重新识别/解密的方式来加密这个数据。到目前为止，我已经看到了许多使用Dataflow/DLP/Cloud或Python库(例如Fernet)加密数据的管道示例。这些同样的例子也展示了管道如何解密数据。然而，它们并没有提供一种方法来直接解密BQ中的数据。
我还
浏览 10提问于2021-04-29得票数 4
回答已采纳
我试图从运行在本地机器上的朱庇特笔记本中的python代码中访问BigQuery。所以我在笔记本电脑上安装了google包。
我需要通过OAuth2认证。但不幸的是，我只有bigquery的用户帐户。我没有服务帐户，也没有应用程序凭据，也没有创建此类凭据的权限。我只允许使用用户帐户。我无法找到使用用户帐户身份验证进行连接
浏览 8提问于2022-03-10得票数 2
回答已采纳
在本教程之后，我成功地从Google脚本访问了BigQuery，但是当查询包含GoogleSheet链接表时，它提供了“当获得驱动器凭据时拒绝权限”错误。由于BigQuery提供了创建与GoogleSheet链接的表的选项，因此在此设置中有几个表。
没有链接表的查询工作正常，因此代码的基本设置很好，我相信凭据设置是在BigQuery中。我确实可以
浏览 3提问于2021-10-15得票数 1
回答已采纳
我在GCP中有两个不同的项目。在Project-2中编写了一个Python函数。我需要访问Project-1的BigQuery数据存储。据我所知，我需要从服务帐户json密钥文件(来自Project-1)中检索凭据。将服务帐户json密钥文件上传到Project-2<
浏览 4提问于2020-04-11得票数 0
回答已采纳
下面是我的输入文件的样子：{"Id": 2, "Address": {"City":"{"Id": 4}
{"Id": 5, "PhoneNumber": 12345678, "Addre
浏览 1提问于2018-02-21得票数 1
回答已采纳
我想使用最新的google bigquery和dataflow sdk，它可用于python 2.7。我的管道设置如下：*setup(** version==0.28.0',*
* ],*
浏览 1提问于2019-11-19得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
