import apache_beam as beam
(p | beam.io.ReadFromBigQuery(table=table_spec)) 我尝试运行上面的脚本从bigquery表中获取信息</e
浏览 25提问于2021-03-23得票数 0
我有一个谷歌应用程序引擎触发云DataFlow管道。这条管道应该将最终的PCollection写入谷歌BigQuery，但我找不到一种方法来安装正确的apache_beam.io依赖项。我在本地运行Apache Beam2.2.0版。
项目结构遵循中的代码。()被正确调用。它是从我的虚拟环境中从apache_beam/io/gcp/<
浏览 6提问于2018-02-09得票数 3
假设我有一个PCollection<Foo>，我想把它写到多个BigQuery表中，为每个Foo选择一个可能不同的表。
如何使用Apache Beam BigQueryIO API执行此操作？
浏览 46提问于2017-04-20得票数 10
回答已采纳
我有一个谷歌云数据流作业(使用apache beam python sdk)计划每6分钟后，内部读取一个大查询表，做一些转换，并写入到另一个大查询表。此作业已开始间歇性失败( 10次中约4次)，错误跟踪如下。/apache_beam/io/gcp/bigquery.py", line 851, in _execute_query F
浏览 15提问于2021-02-17得票数 3
因此，我在Python中有一个非常基本的管道，使用apache和google从云存储中获取数据，删除一些列，并将其移动到BigQuery中，直到最后一位。当使用WriteToBigQuery(table = ...)时，我得到以下错误：这是我提供表引用
浏览 23提问于2022-05-31得票数 0
回答已采纳
问题所在 File "/usr/local/lib/python3.7/site-packages/apache<
浏览 12提问于2020-09-22得票数 1
我正在尝试创建一个数据流模板，该模板可以从由pubsub消息触发的云函数中调用。发布订阅消息将作业id从Scrapinghub (一个用于刮板的平台)发送到云函数，云函数触发数据流模板，该模板的输入是作业id，输出是BigQuery的相应数据。此设计的所有其他步骤都已完成，但我无法创建模板，因为Scrapinghub的客户端库和apache beam之间可能不兼容。代码： from __future__ import absolute
浏览 27提问于2020-09-22得票数 2
回答已采纳
我正在尝试将airbnb_nyc数据集从GCS bucket加载到BigqueryTable。数据集的。(parse_file)
pipeline2 | 'Load2' >> beam.io.WriteToBigQuery(table_spec, sche
浏览 0提问于2021-09-04得票数 1
我试图从GCS桶中读取XML文件的集合，并处理它们，其中集合中的每个元素都是一个字符串，表示整个文件，但我找不到一个关于如何实现这一点的好例子，也无法从主要关于Java版本的Apache文档中理解它。data_ingestion.parse_method(s)) beam.io.B
浏览 6提问于2018-08-22得票数 3
回答已采纳
2回答
这条管道大致做了以下工作：
一般来说，代码执行它应该做的事情。但是，当从API收集大型数据集(大约500.000 JSON文件)时，bigquery作业在启动后(=1秒内)停止，但在使用DataflowRunner时没有特定的错误消息(它正在使用在我的计算机上执行的您不能将完成BigQuery写入的顺序与>管道的其他步骤
浏览 0提问于2019-04-22得票数 1
问题出现在beam.io.gcp.pubsub.WriteToPubSub()中，我试图从ValueProvider提供主题名称，根据谷歌文档，在创建模板时需要使用该名称： https://cloud.google.com/dataflow/docs/guides/templates/creating-templates 源beam.io.ReadFromPubSub()成功地接受了预订值的值提供程序，转换beam.io.gcp.<em
浏览 20提问于2020-05-02得票数 1
我将事件日志加载到elasticsearch引擎中，并使用Kibana将其可视化。我的事件日志实际上存储在Google Big Query表中。目前，我正在将json文件转储到Google存储桶中，并将其下载到本地驱动器。然后使用logstash将json文件从本地驱动器移动到elastic搜索引擎。
浏览 4提问于2016-08-31得票数 7
我正在用Apache和Python构建一个运行在Google DataFlow中的应用程序。这适用于我的大多数扳手表，但大于16m行的大表往往会因为以下错误而失败： File "/usr/local/lib/python3.8为了解决这个问题，我尝试了以下几点：
更改了num_workers和disk_size_gb，并添加了中</em
浏览 17提问于2021-03-09得票数 1
回答已采纳
问题1
我正在尝试从python代码中创建一个模板，该代码包括从BigQuery表中读取、应用一些转换以及编写一个不同的BigQuery表(可以存在还是不存在)。要点是，我需要将目标表作为参数发送，但看起来我无法在管道方法WriteToBigQuery中使用参数，因为它正在引发以下错误消息: apache_beam.error.RuntimeVa
浏览 0提问于2020-08-18得票数 0
他们的工作日志里充斥着警告信息，说有一个具体的步骤被卡住了。奇怪的是，失败的步骤是不同的，一个是BigQuery输出，另一个是云存储输出。$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:765) at org.apache.<e
浏览 0提问于2019-03-04得票数 12
我们正在启动bigquery查询，这些查询从许多表中提取数据并写入单个表。job.write_disposition = 'WRITE_APPEND'
这是由于bigquery作业/查询对单个目标表的写入太多吗？如果是这样的话，我很惊讶Goo
浏览 2提问于2017-07-25得票数 1
我已经在BigQuery中创建了一个视图，并希望将其设置为update。当试图将查询保存到调度查询中时，会发生错误:调度查询错误
浏览 15提问于2022-02-14得票数 1
回答已采纳
我希望有人能帮助我，因为我现在正处于死胡同，我正在学习Apache，并正在开发一个流管道(Python3.7，Apache-Bamv2.15，DirectRunner )，从PubSub源代码中读取。将多个转换过程应用到同一个PCollection以产生多个输出，最终将输出合并到2个不同的BQ表中。row | "parse" >> beam.Map(parse_payload) \
| &quo
浏览 0提问于2019-09-14得票数 1
我试图查询在BigQuery中查询表数据集的结果创建的匿名表。我试图使用Jobs.get()来使用中的示例查找匿名表名，但是我遇到了一个错误。Google BigQuery分析示例(第209页)：查询1:credentials = GoogleCredentials.get_application_default()
service = discovery.build('bigquery
浏览 5提问于2016-10-31得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
