从BigQuery向Firestore写入数据的快速方法
是使用Cloud Dataflow。Cloud Dataflow是一种托管式的数据处理服务，可以实现大规模数据的批处理和流处理。它可以将数据从BigQuery读取，并将其转换为适合写入Firestore的格式，然后将数据写入Firestore。
Cloud Dataflow具有以下优势：
- 扩展性：Cloud Dataflow可以自动处理大规模数据集，根据需求动态分配资源，实现高效的数据处理。
- 灵活性：Cloud Dataflow支持多种数据源和数据格式，可以根据需求进行数据转换和处理。
- 可靠性：Cloud Dataflow具有容错和恢复机制，确保数据处理的可靠性和一致性。
- 实时性：Cloud Dataflow支持流处理，可以实时处理数据并将其写入Firestore。
在使用Cloud Dataflow进行数据写入时，可以按照以下步骤进行操作：
- 创建一个Cloud Dataflow作业，并指定数据源为BigQuery。
- 使用Cloud Dataflow的转换功能，将BigQuery中的数据转换为Firestore的格式。
- 配置Cloud Dataflow作业的输出，将转换后的数据写入Firestore。
- 启动Cloud Dataflow作业，开始数据写入过程。
腾讯云提供了类似的产品，可以使用腾讯云的数据处理服务（Tencent Cloud Data Processing）来实现从腾讯云的云数据库TencentDB向腾讯云的云数据库TencentDB for MongoDB写入数据的快速方法。您可以通过以下链接了解更多关于腾讯云数据处理服务的信息：腾讯云数据处理服务。
相关·内容
我需要每天从BigQuery加载大约1000万个数据到firestore。执行此操作的最快方法是什么？ 具有并行单独写入的云函数是一种选择(根据下面的链接)，但在这种情况下，并行化bigquery表将是一个挑战。 What is the fastest way to write a lot of documents to Firestore? 数据流在这种情况下工作吗?通过数据流读取和写入数据？
浏览 45提问于2021-04-07得票数 0
简而言之:用-extension和BigQuery导出修复备份，这是如何以什么格式完成的？
我有一个使用Firestore的项目，它实现了-extension来实现巨大的数据分析可能性和data。在数据丢失或发生突变的情况下，问题将被转发给BigQuery，因为相同的数据位于两个位置，因此需要扩展。但是在BigQuery中，我可以使用从过去7天的任意时间点获取数据。
现在，在阅读了这个堆栈溢出备份之后，从Firestore到GCS的备份将开始花费很多。因此，它似乎流到BigQuery，并使它作为备份，使用时间旅行功能或自动备份到gcs。
我应该以何种方式导出BigQuery数据并将其导入到Fi
浏览 15提问于2022-03-23得票数 1
回答已采纳
有没有办法在不将firestore数据导出到bigquery的情况下从bigquery中查询firestore数据库
浏览 24提问于2019-04-18得票数 0
回答已采纳
我被要求将大量数据从BigQuery移动到Firestore。然而，在互联网上搜索后，我意识到很少有人讨论将数据从BigQuery移动到任何其他数据库。从搜索结果中，大多数都是关于将数据从任何来源移动到BigQuery。即使在数据流谷歌模板中，也只有xxx到BigQuery模板，但没有找到BigQuery到xxx管道。
从我得到的原因来看，是为了解决这个例子，比如，在我们从Google Analytic到BigQuery获得大量数据后，我们执行连接和一些过滤，以得出一些有用的见解，这些见解可以在以后提供给客户。为了快速处理结果，而不是BigQuery，我们将数据移动到Firestore，以便它
浏览 0提问于2018-10-16得票数 2
是否有任何自动/手动方法将数据从firestore数据库导出到BigQuery表？
试着环顾四周，看起来没有办法不使用代码从firestore导出数据。关于这个有什么消息吗？
谢谢。
浏览 4提问于2018-09-20得票数 0
我目前正在使用Export Collections to BigQuery Firebase扩展。
这是一个Firebase函数，它定期将Firestore集合更新为BigQuery。
这很棒，但它似乎将Firestore文档数据放入BigQuery中的" Data“列中。
我的问题是，如何将这个JSON从数据列中转移到BigQuery中的单独列中。幸运的是，我的JSON/Firestore文档不是嵌套的，是平面的，我打算保持这种方式。
任何建议都是很棒的。我知道，但我正在努力寻找正确的SQL查询来实现这一点。
浏览 14提问于2019-11-25得票数 3
回答已采纳
1回答
我再一次请求你的帮助。
让我先告诉你我目前的情况。
我有一个连接到“云IoT核心”的设备，并使用mqtt发送数据。
然后，数据转到Pub/Sub主题。
然后触发一个“云函数”，将数据存储在"Firestore“中。
另一个“云功能”被触发，它向我发送一封电子邮件，其中包含Firestore中存储的数据。
数据的大小约为1千字节，我希望每月发送大约10K条信息。
我需要这些数据来创建一个仪表板，我正在使用“”
为了在其中获取数据，我安装了Firebase扩展“到BigQuery的流集合”，以将数据发送到"BigQuery“。从那以后，我只需点击几个按钮就可
浏览 2提问于2021-11-02得票数 0
回答已采纳
我正在尝试查看我在firebase中收集了多少数据，以便我可以计划发送到bigquery时的定价。我也没有设置任何firestore。
浏览 24提问于2019-09-20得票数 0
我使用Google Cloud UI运行从Firestore到BigQuery的常规导入。我的其中一个集合包含具有可选字段的数据，并且这些字段通常不能在BigQuery中查询。 我假设自动模式生成从firestore数据中提取一个样本来生成模式。 这里的文档：https://cloud.google.com/bigquery/docs/schema-detect#auto-detect说“表模式是从自描述源数据中自动检索到的。” 有没有办法在自动生成中添加提示并包含可选字段？
浏览 7提问于2019-04-25得票数 0
我只想捕获添加到Firestore集合中的新文档。这些文档中还嵌套了一些子集。我的目标是为这些子集合中的每一个创建BigQuery表。目前，我每天都会完整导出Firestore，并将其加载到GCP存储桶中。然后，我通过云函数(策略: WRITE_TRUNCATE)从这些导出创建BigQuery表。我想对我的BigQuery表使用增量加载方法，而不是截断加载。我如何才能做到这一点？
浏览 13提问于2020-06-23得票数 0
2回答
我想通过带有Apache的数据流运行器从BigQuery读取数据到。在中，还不支持Firestore。我写我自己的课来做它。
class UpdateIntoFireStore(beam.DoFn):
def process(self, element):
try:
cred = credentials.Certificate({
"..."
})
firebase_admin.initialize_app(cred, {
&#
浏览 0提问于2018-10-04得票数 0
回答已采纳
1回答
我必须在我的flutter应用程序中实现全文搜索，它使用Cloud Firestore作为后端。搜索将扫描集合中的文档，并查看其中是否包含搜索字符串。Firestore本身并不支持全文搜索，建议使用第三方搜索服务Algolia。问题是--它非常昂贵。
我可以使用bigquery来实现这个功能吗？我已经通过firestore将数据传输到bigquery。所以所有的集合在bigquery中都是可用的。
如何直接从flutter应用程序执行bigquery的"SELECT“查询？这种方法的缺点是什么，如果有的话，还有其他选择吗？
浏览 0提问于2020-12-19得票数 1
对于Firestore表的每一种“记录”类型，BigQuery都会自动添加“键”列。我不希望为每个“Record”Type字段添加这些内容。如何摆脱这些由BigQuery自动添加的额外列？(我想去掉BigQuery表模式中以黄色突出显示的下列列)
浏览 1提问于2020-06-08得票数 0
回答已采纳
我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？
现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery使用火花BigQuery连接器。现在我需要估计总成本。在Azure存储的顶部，我们是否需要支付某种出口成本才能将数据从Azure存储中移出？谷歌是否会向我们收取将数据转移到BQ的某种费用？
浏览 5提问于2021-01-21得票数 0
回答已采纳
1回答
有人知道我如何使用Cloud终端手动地将数据从Firestore数据库复制/传输到Bigquery吗？
我过去就这样做过，但是我找不到我使用的文档/视频。我发现很多信息表明，一旦Bigquery连接到Firebase，它应该是自动的，但我的不是。
当我在Cloud终端中运行代码从Firebase中提取数据时，集合被作为一个表复制到Bigquery数据集中。创建了两个表，并创建了"raw_latest“和"raw_changelog”。
我现在不知道该如何转移另一批收藏品。我特别需要从Firestore数据库中的子集合中传输数据。
浏览 4提问于2021-12-05得票数 0
我已经编写了python代码来将数据从firestore移动到Bigquery。我如何在每天的指定时间运行这段代码？请帮助初学者
浏览 13提问于2020-04-23得票数 2
我想创建beam数据流作业来从GCS加载数据到Bigquery，我将在GCS的不同文件夹中有100s的文件，可以在GCS的不同文件夹中加载文件，是否可以在beam代码中创建源数据集和表。
我的最终目标是创建管道，将数据从GCS加载到Bigquery，谢谢。
浏览 10提问于2021-02-23得票数 0
回答已采纳
有没有办法将firebase实时数据库集合导出到bigquery？ firestore-bigquery-export@0.1.13扩展选项可用于firestore数据库。
浏览 26提问于2021-04-15得票数 1
我正在使用云函数将大数据从BigQuery数据集表导入到Firestore中，对于大约500条记录的小数据表来说一切都很好。但问题出在大数据上，例如，一个包含大约40,000条记录的表。从Firebase配额限制的500个文档，他们建议使用批写入，我已经使用，但它仍然只插入500个文档，在日志中，我看到超过500个文档已经创建(我已经记录了自动生成的ID)，但我不能在Firestore中看到它们。我已将enter code here超时配置为540秒。帮我检查一下我的代码，看看我哪里出了问题。谢谢
const {BigQuery} = require("@google-cloud/bi
浏览 0提问于2020-06-14得票数 1
我在GCS中有一个名为all_namespaces_kind_Rates.export_metadata的firestore备份文件。我设置了一个cron作业，每24小时更新一次此文件。我现在需要的是找到一种以编程方式将此export_metadata文件发送到BigQuery的方法。BigQuery具有从全局控制系统调度数据传输的能力，但仅适用于以下格式的文件: CSV、JSON、AVRO、PARQUET和ORC。如何以编程方式将firestore备份文件传输到BigQuery？
浏览 0提问于2019-09-13得票数 0
我们每天都有一个Dataproc过程，它代表我们的客户从多个来源导入数据以进行分析。目前，我们没有收到大量的数据每天，但预计它将大幅增加。我们的当前流程有四个Dataproc作业，它们在最后一个作业中导入、解析、加入和输出到Cloud，在每个作业之间编写临时Avro文件。即使在我们当前的数据级别上，Cloud也开始有点紧张(部分原因是一个公认的糟糕的模式)。我们想转移到BigQuery，所以我的第一个步骤是第五个工作，它读取最终的Avro文件并输出到BigQuery，基本上与当前Cloud输出作业平行。
使用的示例，我已经想出了如何做到这一点，但需要更多的复杂性。具体而言，我需要：
将单个
浏览 0提问于2016-11-08得票数 0
1回答
有一个将表数据从BigQuery复制到CloudSql的管道。 云SQL表的创建发生在数据流之外。 现在我们需要在数据流中创建表。 我有表格要创建在GCS存储桶中作为.sql文件。 下面是将表从BQ复制到sql的代码片段。 p.apply(BigQueryIO.readTableRows()
.from(source_table)
.withTemplateCompatibility()
.withoutValidation())
浏览 75提问于2021-09-20得票数 1
回答已采纳
我正在尝试将数据从firestore导入到BigQuery，并且我能够将数据正确转换为模式，但我只有一个问题收集用户，我有一个字段命名为时间戳和数据类型也是时间戳我无法转换此字段到列通过指定它在模式file.But时，我更改了字段名为utime我得到访问它在BigQuery中...任何人可以指导，我已经有许多注册用户在集合中，我正在寻找替代的方式，它将不需要修改的fieldname在firestore。
浏览 5提问于2021-02-16得票数 0
回答已采纳
根据这里的文档：，BigQuery应该可以根据数据创建表。
将数据加载到BigQuery中时，可以将数据加载到新的表或分区中，可以将数据附加到现有的表或分区，也可以覆盖表或分区。在加载数据之前，不需要创建空表。您可以创建新表并同时加载数据。
但是，每当我尝试从BigQuery将数据流到时，我就会收到一个错误，即我的表不存在。
这是一个insert语句的示例，该语句工作，但只在我手动创建表之后：
InsertAllResponse response = bigQuery
.insertAll(
InsertAllRequest
浏览 1提问于2018-09-25得票数 0
我正在尝试将现有数据和所有未来数据从Firestore数据库导出到BigQuery。
我使用的是 firebase扩展，它可以将我的新数据导出到BigQuery。Users_raw_latest表中包含正确的数据。
问题是它没有我想要的表格格式的数据。我期望模式字段是集合属性。该表提供了以下模式：
数据字段包含集合中每个文档的json。
当我尝试使用BigQuery 将旧数据(在安装扩展之前已经生成的数据)存储在BigQuery中时，它创建了另一个表Users，并且具有我想要的完全正确的模式，即文档属性是表的列。
有没有什么方法可以使用这个现有的Users表(我不介意删除并重新创建一
浏览 3提问于2021-06-11得票数 2
Firestore中的数据：
现在假设如果我在不更新任何数据的情况下执行写操作，它会在Firestore中增加写计数吗？
浏览 2提问于2022-02-25得票数 1
回答已采纳
我已经编写了一个简单的云函数，它返回一个保存在cloud Firestore数据库中的id。 云函数如下所示： exports.getWinkert = functions.https.onCall((data, context) => {
return admin.firestore().collection('users').doc('hash').get()
.then(snapshot => {
const winkertId = snapshot.wwinkert
return { id:
浏览 8提问于2019-06-01得票数 4
这就是我想要解决的问题。客户端有1000个网站将数据层数据发送到GTM。最终，需要将数据发送到Bigquery。因此，它的大量数据，目前正在发送到云函数，然后将其插入到Bigquery中，由于其配额和限制，存在超时错误。
但是这种方法大大增加了云函数实例的数量，这是不划算的。另一种方法是将GTM事件发送到Google cloud pubsub，然后发送到cloud function(我们现在可以控制最大值。实例数)。但是这种方法的问题是，GTM不能将数据发送到需要身份验证的端点。pubsub端点就是这种情况(它需要API密钥/Oauth 2.0)。
任何处理这个问题的建议/建议/方法都将不胜感
浏览 7提问于2021-05-14得票数 0
回答已采纳
据我所知，将数据流到BigQuery将导致重复的行，如此处所述，
另一方面，将数据上载到PubSub，然后使用数据流将数据插入Bigquery将防止重复行？这里还有一个实时数据分析教程( )。
那么，其他的优点和缺点是什么，在什么情况下，我应该使用数据流从PubSub流数据。
浏览 9提问于2017-05-02得票数 4
回答已采纳
我们尝试使用数据流将数据插入到bigquery (流)中。有没有办法可以检查插入到Bigquery中的记录的数量？我们需要这些数据来进行对账。
浏览 19提问于2019-03-26得票数 0
根据BigQuery的python文档(Version3.3.2)，有一个用于insert_rows_from_dataframe (dataframe: pandas.DataFrame)的方法，但是PyArrow没有类似的方法。
insert_rows_from_dataframe(
table: Union[
google.cloud.bigquery.table.Table,
google.cloud.bigquery.table.TableReference,
str,
],
dataframe,
sel
浏览 12提问于2022-09-19得票数 0
1回答
我们需要将Fi还原数据导出到Bigquery以进行数据工作室报告。
我们正在遵循以下步骤-
我们将整个消防局数据库导出到google存储桶。
通过预定作业，我们将数据从bucket导出到bigquery
我们的Firestore有许多子集合，我们无法导出子集合。
需要专家建议--如何将防火墙子集合导出到bigquery表(理想情况下，将不同的子集合导出到不同的大型查询表)
浏览 1提问于2019-06-19得票数 3
回答已采纳
1回答
嗨，我正在做一个构建instagram克隆的学校项目，其中我需要为用户帖子创建一个评论部分，我需要从Firestore获取它的实时更新，但为了做到这一点，我需要为它创建一个集合，但我无法做到这一点。我在Xcode中没有得到任何错误。 ? static var FIRESTORE_COLLECTION_ALL_POSTS = FIRESTORE_ROOT.collection("all_posts")
static var FIRESTORE_COLLECTION_COMMENTS = FIRESTORE_ROOT.collection("co
浏览 14提问于2021-04-28得票数 1
在尝试不使用internet的侦听时，Firestore和RTDB的行为非常不同。在恢复internet之前，RTDB不会激发任何侦听器。Firestore使用空快照触发侦听器，因此对exists()的调用返回false。当internet被恢复时，Firestore再次使用活动数据触发。这是一个没有磁盘持久性的应用程序，在设置监听器之前，从未将正在读取的字段/文档写入。
什么消防站会让事情变得很混乱..。可能不可能知道数据是否真的不存在，或者其他什么地方出错了。这是你想要的行为吗?还有别的办法吗？
//first firestore statement in the app
fs.colle
浏览 0提问于2020-08-03得票数 1
我试着将extension安装到BigQuery扩展，以便将防火墙收集数据发送到BigQuery。安装成功，但无法使查询工作。我不断地发现错误：
找不到:在US位置找不到Dataset myproject:firestore_events
我试着卸载和重新安装。我现在有两个扩展实例，并尝试卸载失败，但出现了以下错误：
未能从projects/myproject/instances/firestore-bigquery-export服务帐户中删除IAM角色
有手动卸载的方法吗？有手动安装的方法吗？
浏览 3提问于2020-10-12得票数 0
我将我的修复解决方案与BigQuery集成在一起。每次使用Firestore Insert/Update/Delete操作时，数据都会被传输到BigQuery。我正在尝试安排一个每天运行的查询，并创建一个Firestore数据视图。
每次无论我试图安排什么查询，我都会得到以下错误：“创建调度查询的错误: dq”
我试图安排的查询，从编辑器中完美地运行，并且我能够成功地用insert语句将数据插入目标表。我也是项目的所有者，所以我应该拥有所有的许可权利。
我很感激你的帮助！
下面的示例查询：“从projectid.datasetID.exampletable table1中选择table1.co
浏览 8提问于2021-01-31得票数 1
2回答
我正在尝试创建一个datapipeline，从Firestore导出到GCS路径，一旦完成，就开始数据传输并导入到BigQuery。Google文档中的Firestore导出会按调用的方式提交进程/作业或操作，然后在不等待导出过程完成的情况下退出。有一个选项可以使用gcloud实用程序进行检查。有没有更好的方式来检查完成状态，然后触发后续流程？
浏览 1提问于2020-04-20得票数 0
这是一个简单的问题。因此，当您使用客户端JavaScript代码将数据写入Firebase firestore时，Firebase会将其视为写入，Firebase为此花费X美元，如果您使用客户端JavaScript读取firestore中的文档，那么这也将计入，因为读取和Firebase将为此收取X美元。现在，如果Admin SDK读取文档怎么办？这是否算作读取，或者如果Admin SDK写入，是否算作写入？
浏览 10提问于2020-05-03得票数 0
回答已采纳
1回答
我正在尝试将数据流插入Bigquery表中，并在函数中遇到以下问题。不确定代码中的错误在哪里。我跟踪这一点，以实现与实时数据。
函数返回未定义的、预期的许诺或值
const functions = require("firebase-functions");
const {BigQuery} = require("@google-cloud/bigquery");
exports.onWriteTrigger = functions
.firestore
.document("leaseCompany/{documentId}"
浏览 3提问于2022-02-28得票数 -3
2回答
我的问题是关于从BigQuery标准SQL写入BigQuery。
我有一个要求，我必须在Standard中进行一些计算。在这些计算之后，我必须将这些计算数据保存到BigQuery。
从标准SQL中将数据插入BigQuery的标准方法是什么？
浏览 2提问于2017-03-27得票数 0
回答已采纳
2回答
实体是出乎意料的
、、
1)首先，我通过控制台进行了防火墙导出
第二，当我尝试从CloudFi还原导出加载数据时
By steps given in this link - https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore
3)我得到了一个错误：‘实体是意外的*’
Here '****' represents collection name in firestore
浏览 1提问于2019-04-18得票数 5
回答已采纳
我们是否可以在Bigquery中动态创建一个分区表(具有整数类型)，并从spark向其中加载数据
提前感谢
浏览 13提问于2020-06-04得票数 2
1回答
我正在尝试编写一个批处理文件，它可以从Google BigQuery检索特定数据，然后将这些数据插入到mySQL。
批处理服务器的语言是Java，构建工具是Ant。
浏览 2提问于2018-08-23得票数 1
回答已采纳
我需要同步Firestore和BigQuery进行实时数据分析。我的Firestore数据库有2个不同的集合和子集合，我需要同步所有的集合/子集合。我不能改变这个结构。
我测试了firestore-bigquery-export扩展来同步一个Firestore集合或一个子集合(使用{通配符})，它工作得很好(除了数据位置设置为US，如果选择另一个位置)。
同步多个集合/子集合的方法是什么？
我从扩展文档中读到：：请注意，这个扩展只监听集合中的文档更改，而不监听任何子集合中的更改。不过，您可以安装此扩展的其他实例，以便专门监听数据库中的子集或其他集合。
如何安装其他扩展实例？
否则，我可以设置一
浏览 1提问于2020-06-05得票数 0
我正在浏览谷歌的Firestore to BigQuery pipeline tutorual，我已经到了第10步，在那里我应该设置从我的主题导出到保存在云存储上的avro文件。 但是，当我尝试运行作业时，在执行完教程中提到的操作后，我得到一个错误，告诉我我的项目没有足够的配额来执行工作流。在消息的配额摘要中，我注意到它显示为1230/818 disk GB。这是否意味着该作业需要1230 GB的磁盘空间？目前，Firestore中只有100个文档。在我看来这是错的？ ? 我所有的云存储桶都是空的： ? 但是，当我查看我在page 9上设置的第一个导出作业(从Pubsub主题到Big
浏览 26提问于2019-05-23得票数 0
回答已采纳
我试图将大量数据(1300万行)输入Firestore，但这需要花费很长时间才能完成。
目前，我正在使用python逐行插入数据，我尝试使用多次遍历，但它仍然非常慢，而且效率不高(我必须保持与Internet的连接)。
那么，是否有另一种方法将文件插入Firebase (一种更有效的(批处理)插入数据的方法)？
这是数据格式
[
{
'010045006031': {
'FName':'Ahmed',
'LName':'
浏览 9提问于2020-05-29得票数 1
有没有办法用BigQuery运行实时分析？我使用了CSV upload选项，该选项启动一个作业并以脱机模式加载数据，加载完成后可以对其进行分析。但在关于BigQuery的公告中，提到了使用BigQuery进行实时分析。如何才能做到这一点？我们可以将数据从Google Cloud数据库追加(无更新)到BigQuery中，以进行实时分析吗？
顺便提一下，我注意到BigQuery CSV数据加载速度比我本地PC上使用10 PC数据文件运行的LucidDB和InfiniDB慢一个数量级。完成BigQuery作业需要34分钟，而在InfiniDB和LucidDB上只需要5分钟。与InfiniDB相比，查
浏览 0提问于2012-05-02得票数 3
回答已采纳
user-profile.ts
export interface UserProfile {
id: string;
name: string;
email: string;
phone?: string;
creationTime?: any;
}
service.ts
async signUp(name: string, email: string, password: string): Promise<void> {
try {
const user: firebase.auth.UserCredential = a
浏览 0提问于2019-02-28得票数 0
回答已采纳
1回答
我正在尝试设置一个云函数，用于处理外部用户数据(将存储在Firestore中)，以便用户在新注册时使用。然而，我有不同类型的用户。根据用户从哪里注册，用户将获得一个userLevel。例如，如果一个用户通过网站注册，就可以被认为是一个超级用户，而如果他们通过应用程序注册，他们将是一个常规用户。
我试着在文档中找到，但是用户信息上下文并没有为注册提供一个“源”--最近的是使用的注册类型，比如Google、Facebook、Email等等。
我怎样才能准确地设置用户信息在Firestore中基于哪个平台的用户注册？
浏览 1提问于2018-05-03得票数 0
回答已采纳
我的管道(Python)正在写入从BigQuery读取的文本数据。据我所知，我有两种将文本数据写入S3的选择。
第一个选项是自定义Sink的"Writer子类“，它将每个记录写入S3存储桶目录。在我的经验中，传输效率似乎很低。编写器每1条记录花费大约一秒钟。(我的数据源有数百万条记录！！)
第二种选择是将文本数据发送到预先写入GCS的GCS中。我觉得这个选项的效率很低。原因是在GCS和DataFlow之间发生了不必要的流量(上传/下载)。(我的Pipeline不需要将文本数据存储到GCS中)
有没有比我的两个选项更好的写入S3的方法？
致以问候。
浏览 1提问于2016-11-16得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
