在谷歌BigQuery中插入/更新Firestore文档导出
谷歌BigQuery是一种快速且完全托管的企业级分析数据库解决方案，可用于处理大规模数据集。它提供了强大的查询和分析功能，并具有可扩展性和高可用性。而Firestore是谷歌提供的一种灵活的、实时的文档数据库，适用于移动、Web和服务器开发。下面是关于在谷歌BigQuery中插入/更新Firestore文档导出的答案：
插入/更新Firestore文档导出是指将BigQuery中的数据导出到Firestore文档中。这可以通过使用BigQuery和Firestore之间的集成来实现。
在BigQuery中插入/更新Firestore文档导出的步骤如下：
- 在BigQuery中创建一个用于导出的查询：使用BigQuery的SQL语法编写查询，选择要导出到Firestore的数据。例如，可以使用INSERT语句将数据插入到Firestore集合中，或使用UPDATE语句更新现有文档的字段值。
- 使用BigQuery的导出功能将查询结果导出到Cloud Storage：在BigQuery中使用EXPORT DATA语句将查询结果导出到Cloud Storage的CSV或JSON文件中。导出时，可以指定导出的目标文件格式和文件路径。
- 使用Cloud Storage的导入功能将数据导入到Firestore：使用Firestore的数据导入功能，将Cloud Storage中的CSV或JSON文件导入到Firestore文档中。在导入过程中，需要指定目标集合和文档的路径，并将文件中的数据映射到Firestore的文档结构。
这样，就可以将BigQuery中的数据插入/更新到Firestore文档中。
在这个过程中，腾讯云提供了类似的产品和服务，如云数据库TDSQL、云存储对象存储COS和云函数SCF等。它们可以用作替代品来实现类似的功能。你可以参考以下腾讯云产品和产品介绍链接地址：
- 腾讯云数据库TDSQL：https://cloud.tencent.com/product/cdb
- 腾讯云存储对象存储COS：https://cloud.tencent.com/product/cos
- 腾讯云云函数SCF：https://cloud.tencent.com/product/scf
需要注意的是，以上产品仅是示例，其他厂商也提供类似的云计算产品和服务。请根据具体需求选择合适的产品和服务。
相关·内容
是否可以将Firestore备份导出为.json格式？(不需要BigQuery) [我知道Export json from Firestore之前的问题，但看到我从去年开始没有找到确认，也没有在谷歌文档上找到验证，所以我再次询问) 否则，是否有其他非Google特定的格式可用于导出Firestore备份？
浏览 10提问于2020-01-04得票数 1
回答已采纳
我在Firebase Firestore中创建了我的数据(3个集合)的导出，结果如下所示： ? 这可以在下面看到：https://console.cloud.google.com/storage/browser 现在，我已经尝试使用谷歌BigQuery导入此数据，但我不确定要使用这些输出中的哪一个。 如何查看此处的数据？我基本上是想验证这个导出实际上包含来自我的集合的数据，因为它不是那么明显。或者是我的出口有什么地方做错了？ 我基本上运行了这个命令：gcloud firestore export gs://[MyBucketName]
浏览 30提问于2020-12-13得票数 2
简而言之:用-extension和BigQuery导出修复备份，这是如何以什么格式完成的？
我有一个使用Firestore的项目，它实现了-extension来实现巨大的数据分析可能性和data。在数据丢失或发生突变的情况下，问题将被转发给BigQuery，因为相同的数据位于两个位置，因此需要扩展。但是在BigQuery中，我可以使用从过去7天的任意时间点获取数据。
现在，在阅读了这个堆栈溢出备份之后，从Firestore到GCS的备份将开始花费很多。因此，它似乎流到BigQuery，并使它作为备份，使用时间旅行功能或自动备份到gcs。
我应该以何种方式导出BigQuery数据并将其导入到Fi
浏览 15提问于2022-03-23得票数 1
回答已采纳
对于Firestore表的每一种“记录”类型，BigQuery都会自动添加“键”列。我不希望为每个“Record”Type字段添加这些内容。如何摆脱这些由BigQuery自动添加的额外列？(我想去掉BigQuery表模式中以黄色突出显示的下列列)
浏览 1提问于2020-06-08得票数 0
回答已采纳
我已经把我的google分析4链接了一周，每天都导出到bigquery
但是，当我在bigquery中检查结果时，流量源根本不加起来。例如，在bigquery中，它没有出现任何“facebook”，正如谷歌分析报告中所显示的那样
在设置bigquery链接时，我遗漏了哪些部分？有人有同样的问题吗？
流量源在谷歌分析中的应用
bigquery中的流量源
非常感谢!
浏览 7提问于2021-02-01得票数 2
BigQuery提供insertIds并执行一些重复数据消除，以帮助解决通过API插入数据时的故障情况。根据文档，，所以如果插入失败，可以通过API重试插入，而不用担心可能的(插入的)数据重复。这可以是。
问题是，在谷歌云上，有大量承诺将数据插入BigQuery的服务。例如，对于从许多来源获取数据到BigQuery的推荐堆栈，DataFlow / Apache Beam是其中的一部分。还有Dataprep、Stackdriver日志记录等。
那么，当使用任意第三方BigQuery客户端时，有没有一种统一的方法来恢复BigQuery中失败的插入？
浏览 1提问于2018-06-12得票数 0
我有100个文档在一个云存储的集合中。我正在使用firebase扩展流集合到BigQuery，以便将数据输入谷歌bigQuery。我希望将现有的集合文档导入到bigQuery中，使用firebase扩展流集合到BigQuery。bigQuery中的原始changelog表只获取该集合的创建和更新数据，但仍然无法访问bigQuery中的现有文档。
请帮我解决一些问题。谢谢
浏览 8提问于2022-05-20得票数 0
2回答
我正在尝试创建一个datapipeline，从Firestore导出到GCS路径，一旦完成，就开始数据传输并导入到BigQuery。Google文档中的Firestore导出会按调用的方式提交进程/作业或操作，然后在不等待导出过程完成的情况下退出。有一个选项可以使用gcloud实用程序进行检查。有没有更好的方式来检查完成状态，然后触发后续流程？
浏览 1提问于2020-04-20得票数 0
2回答
我正在考虑将BigQuery作为一个解决方案，但我不确定它在导入方面的功能(并且找不到文档)。
我当前正在使用Firestore，并且正在执行每日备份。我想将这些备份导入到BigQuery中。这似乎得到了很好的支持。
我的问题是，每次导入是否会获得完整的数据集(本质上是复制当天未更改的任何数据)，或者我是否可以将其配置为只导入更新的字段？我是否必须编写完整的ETL来完成此任务，或者它已经被支持。
谢谢。
浏览 3提问于2018-12-01得票数 0
1回答
有人知道我如何使用Cloud终端手动地将数据从Firestore数据库复制/传输到Bigquery吗？
我过去就这样做过，但是我找不到我使用的文档/视频。我发现很多信息表明，一旦Bigquery连接到Firebase，它应该是自动的，但我的不是。
当我在Cloud终端中运行代码从Firebase中提取数据时，集合被作为一个表复制到Bigquery数据集中。创建了两个表，并创建了"raw_latest“和"raw_changelog”。
我现在不知道该如何转移另一批收藏品。我特别需要从Firestore数据库中的子集合中传输数据。
浏览 4提问于2021-12-05得票数 0
有没有办法将firebase实时数据库集合导出到bigquery？ firestore-bigquery-export@0.1.13扩展选项可用于firestore数据库。
浏览 26提问于2021-04-15得票数 1
我有一个如下所示的Firestore文档，并将其导出到存储 ? 然后，我在Google BigQuery中为该文档创建了一个表。 ? 我试图编写一个更新/插入查询。 UPDATE `dataset.feed` set d_1.0 = "Imagelink" 此外，已尝试通过遵循Firestore文档使用UNNEST来分解阵列。尽管如此，我仍然不知道如何为文档编写更新/插入。
浏览 25提问于2020-11-04得票数 1
目前，我们有一个使用Firebase的应用程序，启用了谷歌分析，并链接到BigQuery。firebase帐户位于Spark程序中。 在BigQuery中，我可以看到基于事件的模式，在事件和用户周围有字段，还有一些额外的东西，比如geo。 我不确定需要做些什么才能用session.visitId之类的东西在BigQuery中获取与会话相关的数据(我发现它被引用为我缺少的ga_analytics_*表的一部分)。这是否需要启用Blaze plan并将谷歌分析数据导出到BigQuery？这是我在BigQuery中看不到会话相关字段的原因吗？ 如果是这样的话，我目前看到的在Firebase上下文中
浏览 22提问于2020-03-30得票数 0
我在Bigquery表中有数据，并希望将其同步到singlestore表。我可以在这里看到单商店管道文档，。它有使用GCS加载数据的选项。它似乎期待着来自谷歌云的文件。我是单身商店的新手，有人能给我一个更好的建议吗？我要不要用管道？我已经从Bigquery创建了一个查询流，现在希望将数据插入到Nodejs中的单存储DB中。我们可以使用写入流的单一商店吗？我们是否可以使用管道插入记录，通过以上的流从烧烤？
浏览 10提问于2022-09-12得票数 0
回答已采纳
2回答
实体是出乎意料的
、、
1)首先，我通过控制台进行了防火墙导出
第二，当我尝试从CloudFi还原导出加载数据时
By steps given in this link - https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore
3)我得到了一个错误：‘实体是意外的*’
Here '****' represents collection name in firestore
浏览 1提问于2019-04-18得票数 5
回答已采纳
2回答
我有一个Cloud SQL数据库(作为PostreSQL)，我想向BigQuery传输一份副本。这代表了1TB的数据(使用云SQL存储)，超过100个表。
我想估算一下这种一次性的大数据传输的成本。当我阅读BigQuery和Cloud SQL定价的GCP文档时，我得到的印象是这是免费的: BigQuery导入是免费的，Cloud SQL网络出口到大陆内部的“其他谷歌产品”是免费的。我说的对吗？
另外，我想通过BigQuery的“联邦查询”来确认这是否可行(数据量不是太大)，例如循环遍历所有表，然后将每个表插入到BigQuery中。或任何其他更有效的解决方案。
浏览 2提问于2020-12-12得票数 0
我正在研究几种方法，可以在BigQuery和data中不使用导出(长期而言代价高昂的操作，因为它不支持增量备份)从Firestore导出数据。
1)使用Google /Sub。这可能需要功能，既写到酒吧/潜艇，然后另一个触发到烧烤。
2)使用云函数从onCreate事件触发直接写入BigQuery数据集和表。(这是使用table.insert)
使用Pub/Sub会有什么好处--除了从长远来看它的成本会更高以外？
或者还有其他我不知道的方法来做这件事？
我是新来的。对上述方案的一些建议和正反两方面的建议是非常感谢的。
浏览 2提问于2019-04-29得票数 1
我正在尝试将现有数据和所有未来数据从Firestore数据库导出到BigQuery。
我使用的是 firebase扩展，它可以将我的新数据导出到BigQuery。Users_raw_latest表中包含正确的数据。
问题是它没有我想要的表格格式的数据。我期望模式字段是集合属性。该表提供了以下模式：
数据字段包含集合中每个文档的json。
当我尝试使用BigQuery 将旧数据(在安装扩展之前已经生成的数据)存储在BigQuery中时，它创建了另一个表Users，并且具有我想要的完全正确的模式，即文档属性是表的列。
有没有什么方法可以使用这个现有的Users表(我不介意删除并重新创建一
浏览 3提问于2021-06-11得票数 2
是否有任何自动/手动方法将数据从firestore数据库导出到BigQuery表？
试着环顾四周，看起来没有办法不使用代码从firestore导出数据。关于这个有什么消息吗？
谢谢。
浏览 4提问于2018-09-20得票数 0
换句话说，如果我运行这个命令：
gcloud beta firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/
对于插入的文档(onCreate、onUpdate、onDelete和onWrite)，是否忽略云firestore触发器？
浏览 5提问于2019-09-07得票数 2
我们有来自BigQueryError.getReason() 的可能原因代码的列表吗？
BigQueryError是来自谷歌的BigQuery客户端库的java类。
我们正在将插入行流式传输到BigQuery。想知道在什么样的原因代码下，我们可以重试插入。
谢谢
浏览 0提问于2018-11-14得票数 0
1回答
我在中使用Simba驱动程序将server连接到Bigquery作为链接服务器。无法插入BigQuery，只能从BigQuery中选择数据。我也检查了“AllowInProcess”和“NonTransactedUpdate”。
select * from openquery([GoogleBigQuery], 'select * from first.table2' )
上面的select查询工作正常。
查询：
insert into OPENQUERY([GoogleBigQuery], 'select * from first.table2') value
浏览 3提问于2019-10-04得票数 4
我阅读了其他类似的帖子，并搜索谷歌，以找到更好的方法，但没有找到任何可行的解决方案。
我在BigQuery中有一个大表(假设每天插入2000万行)。我希望有大约2000万行数据，在python/大熊猫/dask中有大约50列的数据来做一些分析。我尝试过使用bqclient、panda和bq存储API方法，但在python中拥有500万行需要30分钟。还有其他办法吗？甚至有任何谷歌服务可以做类似的工作？
浏览 2提问于2019-03-06得票数 6
回答已采纳
3回答
我正在尝试使用谷歌BigQuery为GitHub数据挑战赛下载一个大型数据集。我已经设计了我的查询，并能够在谷歌BigQuery的控制台中运行它，但我不允许将数据导出为CSV，因为它太大了。推荐的帮助告诉我将其保存到表中。这需要我在我的账户上启用帐单，并尽可能地进行付款。
有没有一种方法可以将数据集保存为CSV (或JSON)文件，以便免费出口？
为了澄清，我不需要谷歌云上的这些数据，我只需要下载一次。不需要持久存储。
浏览 1提问于2014-07-28得票数 1
我试着将extension安装到BigQuery扩展，以便将防火墙收集数据发送到BigQuery。安装成功，但无法使查询工作。我不断地发现错误：
找不到:在US位置找不到Dataset myproject:firestore_events
我试着卸载和重新安装。我现在有两个扩展实例，并尝试卸载失败，但出现了以下错误：
未能从projects/myproject/instances/firestore-bigquery-export服务帐户中删除IAM角色
有手动卸载的方法吗？有手动安装的方法吗？
浏览 3提问于2020-10-12得票数 0
我被要求将大量数据从BigQuery移动到Firestore。然而，在互联网上搜索后，我意识到很少有人讨论将数据从BigQuery移动到任何其他数据库。从搜索结果中，大多数都是关于将数据从任何来源移动到BigQuery。即使在数据流谷歌模板中，也只有xxx到BigQuery模板，但没有找到BigQuery到xxx管道。
从我得到的原因来看，是为了解决这个例子，比如，在我们从Google Analytic到BigQuery获得大量数据后，我们执行连接和一些过滤，以得出一些有用的见解，这些见解可以在以后提供给客户。为了快速处理结果，而不是BigQuery，我们将数据移动到Firestore，以便它
浏览 0提问于2018-10-16得票数 2
Google BigQuery在上“在BigQuery API或命令行工具中增加了对Avro源代码格式的加载操作和联邦数据源的支持”。它说“这是Avro格式支持的Beta版本，任何SLA或弃用策略都没有涵盖这一特性，并且可能会受到向后不兼容的更改。”但是，我希望这个特性能起作用。
我没有找到任何关于如何使用Avro格式加载的代码示例。我没有找到关于如何使用bq-tool进行加载的示例。
这是我的实际问题。我还无法以Avro格式将数据加载到BigQuery中。
使用bq-tool执行以下操作。数据集、表名和桶名已被混淆：
$ bq extract --destination_format=AVR
浏览 5提问于2016-04-20得票数 1
回答已采纳
我正在基于雅典娜在AWS中创建一个Datalake，我想查询我现在存储在Google Analytics中的数据。据我所知，我无法访问分析的原始数据，但我可以将其导出到BigQuery，然后从那里我可以再次将其导出到GCS (谷歌云存储)。我知道我可以创建一个自动流程，将数据从Analytics导出到BigQuery。 如何(轻松地)创建从BigQuery到GCS的相同导出？ 另外，导出所有历史数据的最简单方法是什么？我看到我可以从BigQuery控制台进行导出，但它只导出一天的数据，并且该服务现在已经运行了一段时间。 一旦所有数据都在GCS中，我想我可以运行AWS Lambda将数据复制到
浏览 23提问于2020-07-23得票数 1
回答已采纳
我每天都在使用这个预定的导出代码(cron)：，将我的Firestore记录导出到谷歌的桶存储中。
是否有特性、代码或API还可以仅导出增量差异或自上次导出以来所做的更改，还是始终只进行完全备份？
浏览 0提问于2019-04-29得票数 1
回答已采纳
我对firebase和BigQuery (以及所有gcp服务)都很陌生，并且正在尝试使用firebase内部的扩展来连接我的消防站数据库和bigquery。我似乎正确地设置了它，但它只显示了我安装扩展时的数据(没有更旧的数据)。我希望看到我的数据库中的所有旧数据和任何新数据。这是如何做到的呢？
浏览 6提问于2022-04-20得票数 0
谷歌BigQuery是否有计划实现本地JSON支持？
我正在考虑将蜂窝数据(~20T)迁移到Google BigQuery，但是hive中的表定义包含在BigQuery中不支持的映射类型。
例如，下面的HiveQL：
select gid, payload['src'] from data_repository;
尽管如此，它可以通过使用正则表达式来处理。
浏览 6提问于2012-05-11得票数 4
5回答
我已将我的帐户升级为烈火，这是先决条件之一。我已经尝试遵循链接BigQuery到Firebase。仍然无法看到从消防站或消防基地-实时数据库到bigQuery的任何数据。
我在bigQuery中看到了创建数据集的选项。但是，在创建dataset之后，它允许我从文件、云存储、bigQuery、google上传数据。但不是火药库数据库。
请帮帮忙。
浏览 22提问于2017-11-16得票数 8
回答已采纳
1回答
假设我向所有使用FCM的应用程序用户发送了一条通知。如何跟踪打开通知的所有用户？ 在我的firestore数据库中，我将FCM令牌存储在每个用户的用户文档中。 我在想，也许我可以通过将FCM相关的分析数据导出到BigQuery来实现这一点，但我找到了这个页面，我猜FCM令牌没有导出到BigQuery。 https://firebase.google.com/docs/cloud-messaging/understand-delivery 转储到BigQuery的instance_id或其他信息能以某种方式与FCM令牌关联吗？如果没有，我如何准确地跟踪我的哪个用户打开了我发送给应用程序的每个用
浏览 4提问于2020-01-06得票数 0
BigQuery刚刚宣布在使用来自谷歌云存储的外部表时支持缓存结果集，这很棒，尽管从文档中看不出来，但BigQuery如何知道云存储桶中是否有新文件到达或更改，从而使缓存失效？
还是由用户来使其无效？
浏览 23提问于2021-02-13得票数 0
回答已采纳
我有一个Firestore集合，我已经通过通过实现了它。最近，模式自动检测对这些导入开始失败，导致在byte表中将Fi还原映射字段视为不可查询的BigQuery字段。
文档中提到，如果Fi还原集合中有唯一的字段名，则可能会发生这种情况。但是，我的印象是，使用--projection_fields允许列表参数将限制BigQuery尝试摄入的列的数量。不是这样的吗？如果集合超过10,000个唯一名称，导入操作是否会失败模式检测，而不管--projection_fields，还是我遗漏了什么？
作为参考，下面是一个用于加载导入的CLI命令的示例：
bq load --source_format=DA
浏览 11提问于2022-05-31得票数 0
回答已采纳
1回答
增量备份固定恢复数据
、、、
我试着想出一种最好的方法(阅读自动化、最便宜、使用方便)来备份生产应用程序的Fi还原数据。
我知道，我可以通过预定的云函数自动导出，并将它们发送到gcloud桶中。这种方法的问题是，它不允许“增量更新新的和更新的文档”，而只允许备份整个集合。这意味着大多数数据每次都会被备份，尽管自上次备份以来它甚至没有改变过，这使得成本无缘无故地飙升。
人们想到的方法是在“my”项目中有一个云功能，它可以监听Firestore中的每一个变化，并在“my备份”项目的Firestore中执行相同的更改。
这样，我只备份更改的数据。此外，备份数据永远不会过时(因为它是实时备份的)，不像第一种方法，即每天或每周自动备
浏览 6提问于2022-04-04得票数 4
回答已采纳
1回答
将协议数据加载到bigquery
、、、、
我是第一次接触protobuf数据，我已经通过googling从proto文件中生成了python代码，现在我想将GCS中的protobuf数据加载到bigquery中。我在谷歌上搜索了很多，以便找到一种方法将协议数据直接加载到bigquery中。
我正在经历几个github回购，如下所示。
有没有人可以用一个简单的例子来解释或指导我如何将protobuf数据加载到bigquery。
浏览 1提问于2020-12-17得票数 1
当使用流插入将数据加载到BigQuery时，数据大小是由JSON大小计算还是由BigQuery存储中的数据大小计算？
我这样问是因为JSON可能比里面的实际数据大3倍。
我已经阅读了所有的谷歌文档，我没有找到一个明确的答案。
浏览 1提问于2017-12-11得票数 1
回答已采纳
我想建立一个GA出口到BigQuery。我正在按照描述的步骤进行操作。在步骤2.5中，它指出：
将服务帐户添加到项目中。
将analytics-processing-dev@system.gserviceaccount.com添加为项目的成员，并确保将项目级别的权限设置为Editor (与BigQuery数据编辑器相反)。需要编辑器权限才能将数据从Analytics导出到BigQuery。
但是，我不愿意在我的项目上提供这样高级别的权限(“项目编辑器”将允许完全访问项目中的所有资源)。
为什么GA导出需要如此高级别的权限才能只与BigQuery对话，是否有一种方法可以为服务帐户提供最低
浏览 2提问于2017-11-23得票数 3
回答已采纳
我只想捕获添加到Firestore集合中的新文档。这些文档中还嵌套了一些子集。我的目标是为这些子集合中的每一个创建BigQuery表。目前，我每天都会完整导出Firestore，并将其加载到GCP存储桶中。然后，我通过云函数(策略: WRITE_TRUNCATE)从这些导出创建BigQuery表。我想对我的BigQuery表使用增量加载方法，而不是截断加载。我如何才能做到这一点？
浏览 13提问于2020-06-23得票数 0
1回答
我正在尝试将数据流插入Bigquery表中，并在函数中遇到以下问题。不确定代码中的错误在哪里。我跟踪这一点，以实现与实时数据。
函数返回未定义的、预期的许诺或值
const functions = require("firebase-functions");
const {BigQuery} = require("@google-cloud/bigquery");
exports.onWriteTrigger = functions
.firestore
.document("leaseCompany/{documentId}"
浏览 3提问于2022-02-28得票数 -3
我在Stackdriver中创建了一个导出接收器，以便将审计日志加载到BigQuery中。我希望能够看到过去3个月的审计日志。但是，当我在BigQuery中查询这些表时，我只能看到今天的日志，而不是更早的日志。
我将以下过滤器应用于我的导出接收器。我还尝试删除时间戳过滤器，但仍然只看到今天的日志，而没有之前的日志。
resource.type="bigquery_dataset“timestamp > "2019-05-01T23:59:09.739Z”
浏览 2提问于2019-07-09得票数 2
1回答
你能帮助我提供如何在biGQuery中加载我的谷歌分析数据到Redshift的方法吗？云函数能做到这一点吗？或者，我如何从python端触发它，而不是使用bigquery脚本来调用BigQuery端？
浏览 0提问于2019-11-28得票数 1
到底有没有一种可能的方法来检查谷歌云功能在Firestore中的变化呢？
从文档中，我只能使用经典的Firestore触发器(Oncreate、onchange、ondelete、onwrite)。
在我的应用程序中，文档在一天中被更新了很多次。到头来，这些文件已准备就绪，可供进一步处理。因此，我的注意力是通过每24小时只查找一次更改的文档来节省调用。
浏览 4提问于2022-02-16得票数 0
回答已采纳
1回答
我们需要将Fi还原数据导出到Bigquery以进行数据工作室报告。
我们正在遵循以下步骤-
我们将整个消防局数据库导出到google存储桶。
通过预定作业，我们将数据从bucket导出到bigquery
我们的Firestore有许多子集合，我们无法导出子集合。
需要专家建议--如何将防火墙子集合导出到bigquery表(理想情况下，将不同的子集合导出到不同的大型查询表)
浏览 1提问于2019-06-19得票数 3
回答已采纳
1回答
我正在尝试创建一个低成本高效的自动备份过程，使用pub subs。
其计划是在一个pubsub中运行下面的函数，并将数据存储到云存储桶中。
有谁知道下面的函数exportDocuments()是否可以算作我的Firestore的多个读/写？
const firestoreClient = google.firestore({
version: "v1beta2",
auth: authClient
});
firestoreClient.projects.databases.exportDocuments({
name: `projec
浏览 2提问于2021-01-18得票数 0
回答已采纳
我希望使用谷歌应用程序脚本中的BigQuery标准SQL方言。当未勾选"SQLVersion :使用遗留SQL“时，以下内容在BigQuery中有效；
INSERT INTO MyDataSet.MyFooBarTable (Id, Foo, Date) VALUES (1, 'bar', current_Date)
我可以很高兴地使用作业从谷歌脚本中查询BigQuery，并通过追加作业执行插入(有效地给出相同的插入结果)。是否可以在脚本中使用标准SQL逻辑来执行插入？
我已经尝试将#standardSQL添加到语句中，但没有任何效果。
浏览 12提问于2017-02-07得票数 3
回答已采纳
我正在使用java，试图将avro文件中的数据加载到BigQuery中。创建外部表时，BigQuery会自动从.avro文件中检测架构。在为要加载的数据创建常规BigQuery表时，是否有一种方法在GCS中指定模式/数据文件？
先谢谢你
浏览 1提问于2018-08-23得票数 0
回答已采纳
我在bigquery中有一个原始数据表，它有数亿行。我每24小时运行一次预定的查询，以生成一些聚合，从而生成一个标有3300万行(6gb)的表格，但可能会缓慢增长到大约是当前大小的两倍。
我需要一种方法一次获得1行，在一个单独的事件驱动的管道中，通过id快速访问该聚合表。也就是说，一个进程被告知person A刚刚采取了一个操作，我们从聚合表中了解到了这个人的历史吗？
显然，bigquery是生成聚合表的正确工具，但不是快速查找的合适工具。所以我需要把它抵消到另一个数据存储区，比如消防局。但这样做的最佳过程是什么呢？
我可以设想几个策略：
1)将agg表的转储安排到GCS。启动数据流作业，将g
浏览 2提问于2019-09-30得票数 0
回答已采纳
1回答
我使用Google函数在bigQuery上执行查询，并存储结果(如果是防火墙)。
我的问题是，一旦我尝试使用firestore批处理对象，云函数就会停止执行。
使用二分法，我认为当我包含批处理对象代码时，函数突然停止工作。
我试图在没有运气的情况下将这个函数的内存增加到1GB。(目前它使用128 it)
const {BigQuery} = require('@google-cloud/bigquery');
const {Firestore} = require('@google-cloud/firestore');
const bigquery =
浏览 1提问于2019-01-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
