我有一个看似简单的场景，在这个场景中，我使用python数据流使用big-query查询数据。from apache_beam.io import WriteToText
from apache_beam.
浏览 3提问于2017-06-28得票数 3
我正在尝试导入google.cloud bigquery库，但是我一直收到一个错误。我所犯的错误：pip installgoogle-cloud-bigquery
pip install --upgrade <e
浏览 16提问于2022-10-21得票数 1
回答已采纳
3回答
我想要澄清一下Cloud Dataflow或Cloud Composer是不是适合这项工作的工具，而我在Google文档中并不清楚。目前，我正在使用Cloud Dataflow读取非标准的csv文件--执行一些基本处理--并将其加载到BigQuery中。让我举一个非常基本的例子：type\x01date
house\x0112/27/19
浏览 2提问于2019-01-12得票数 13
当尝试在apache的google数据流中初始化python BigQuery Client()时，它给出了一个类型错误：我在apache数据流中使用Python3.7，我必须初始化客户机并手动写入BigQuery，而不是使用ptransfo
浏览 1提问于2019-06-04得票数 1
回答已采纳
1回答
如何在数据流中创建新的BigQuery数据集以将数据保存在？
我希望dataset名称使用dataflow程序中的version标记进行版本化。我正在使用python，并尝试使用BigQuery客户机在beam.io.BigQuerySink之外执行此操作，但是在gcp上运行流时，我会得到以下错误：ImportError: No modulenamed cloud，它引用了bigquery<
浏览 5提问于2017-03-13得票数 0
回答已采纳
2回答
我正在尝试在数据流作业中运行BigQuery API，以针对BigQuery执行自定义查询。我试着按照的指示去做。The attempt was made from the following location:}<dependencyManagement>
<
浏览 3提问于2019-11-21得票数 1
我试图通过一个(已经存在的) AppEngine应用程序启动数据流作业。DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。:327)at com.google
浏览 8提问于2016-03-21得票数 1
回答已采纳
我想使用最新的google bigquery和dataflow sdk，它可用于python 2.7。我的管道设置如下：*setup(** versionfind_packages(),*
* keywords=[*
浏览 1提问于2019-11-19得票数 0
目前，我有一个系统，希望通过Google函数将该系统中的数据发送到BigQuery (使用Python)。我的想法是分两个简单的步骤：
Google功能将数据解压缩并存储在Google包的Google BigQuery表中。我认为这是个好主意，直到我意
浏览 5提问于2022-06-28得票数 0
回答已采纳
我们有一个从Google Cloud Datastore到Bigquery的数据传输问题。我们需要在python中为这项工作创建数据流脚本。此作业应使用python中的管道将数据从数据存储传输到bigquery。对于python中的这项工作，它需要"Apache Beam“library.But Apache Beam库不工作。
浏览 0提问于2016-10-07得票数 0
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。我可能会在apache beam中找到处理我的数据文件的问题。
如果我想用DataFlow在原生python中构建我的
浏览 4提问于2021-08-23得票数 1
我有.db文件存储在谷歌云存储桶中。这些文件每天上传。我希望在.db文件中将特定的表数据流/写到BigQuery表中。我已经尝试写一个云功能，连接到sqlite，并获取记录在熊猫数据，并加载到烧烤表。我的python程序无法工作，因为它无法在运行时连接到sqlite并从中获取数据。我的代码：import pandas as pd
from googl
浏览 6提问于2020-12-15得票数 1
回答已采纳
我有一个python Cloud函数代码，它从GCS读取.txt文件，解析它，并将行写入bigquery。当我尝试将这个云函数从我的MacOS部署到谷歌云中时，它给出了下面的错误Deploying function (may take a while - up
浏览 1提问于2019-06-26得票数 1
如果有人能在这里提供帮助，我将不胜感激，我们刚刚开始研究GCP，需要一个健壮且简单的模式来将发布在云发布/订阅上的xml格式的事务数据加载到一个日期分区的BigQuery表中，以便在AirFlow编排的复杂下游批处理中使用为了在摄取端允许模式漂移，一种选择是将xml转换为json，并将json存储为字符串，并在顶部使用json函数提取字段以进行下游处理，这种方法的优缺点是什么？在我们<em
浏览 22提问于2020-06-29得票数 0
在google文档中，我可以看到关于分区表的以下几点:流到分区表中您可以将数据流到在过去5年和未来1年之间的日期或时间戳列上分区的表中。超出此范围的数据将被拒绝。https://cloud.google.com/bigquery/streaming-data-into-bigquery 在
浏览 16提问于2020-09-16得票数 0
回答已采纳
我正在python-flask API中实现一个新的端点，它应该从BigQuery获取数据并将其发送到CloudSQL(mysql)。为此，我假设首先需要建立到BigQuery的连接。然而，我是云服务的新手，我需要帮助...提前感谢！
浏览 20提问于2021-10-22得票数 0
我正在尝试安排数据流管道作业，以便从CloudSQL SQLServer实例读取内容并将其写入BigQuery表。我使用google.cloud.sql.connectorpytds设置连接。当我通过Google运行手动数据流作业时，它成功地运行。气流版本(使用)失败了，给出了名称错误。“NameError:未定义”名称“连接器”
我启用了保存主会话选项。另外，我已经在py_requirements选项中提到了连接器模块，并且正在安装
浏览 9提问于2022-11-03得票数 0
编辑：我能够通过做import google.cloud.bigquery而不是from google.cloud import BigQuery来让模块工作--但我不知道为什么.我第一次尝试使用python连接到BigQuery。我在这里寻找答案，但我尝试了所有我看到的答案，但没有结果(我的步骤如下所示)。在测试与凭据连接之前，我只想确保模块能够正常工作。以下是我的</e
浏览 13提问于2022-11-29得票数 1
回答已采纳
我正在运行一个作业的谷歌数据流编写的阿帕奇光束，从BigQuery表和文件读取。转换数据并将其写入其他BigQuery表。作业“通常”会成功，但有时当我从大型查询表中读取数据时，会随机得到空指针异常，并且作业会失败：atorg.apache.beam.sdk.io.gcp.bigquery.BigQuerySourceBase.sp
浏览 0提问于2017-06-23得票数 2
我正在构建数据流管道来读取CSV，通过Google Cloud NLP API执行情绪分析，并将结果发送到BigQuery。当执行情感分析的函数get的时候，pcollection给了我上面提到的错误。
我正在考虑的是将集合拆分成小集合，以便在NLP API中处理报价限制。
浏览 13提问于2019-08-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
