配置单元分区表具有以分区日期作为文件夹的文件夹结构。我已经探索了将外部分区表直接加载到bigquery的可能性。我想知道的是，在将数据加载到dataflow之前，我将使用dataflow运行一些功能转换，因此是否可以使用bigquery实现此功能。我发现，如果我将分区日期添加为列，则使用partitioning is possi
浏览 12提问于2019-12-05得票数 0
我试图找到这个问题的答案，但只找到了一些轶事。谷歌是否对存储在BigQuery上的数据进行加密？如果是的话，使用了哪些加密机制？
浏览 3提问于2014-10-10得票数 2
回答已采纳
我有2年的合并数据，大小约300 my，在我的本地磁盘，这是我已经提取的数据。我必须将相同的数据加载到google云存储和BigQuery表中。google云存储中的最终数据应该以压缩格式逐日隔离(每天的文件应该是一个gz格式的文件)。我还必须在一个分区表中加载BigQuery中</e
浏览 2提问于2016-08-10得票数 1
回答已采纳
我需要从第三方应用程序接口获取数据，并在谷歌BigQuery中摄取它。也许，我需要通过google服务实现这个过程的自动化，以便定期完成这个过程。我正在尝试使用Cloud Functions，但它需要一个触发器。我也读过关于App Engine的文章，但我相信不适合只有一个函数来发出拉取请求。另一个疑问是:我是否需要将数据加载到云存储中，或者是否可以直接将其加载到BigQuery？
浏览 17提问于2019-08-24得票数 1
回答已采纳
7回答
我希望将数据从BigQuery中的表传输到Redshift中的另一个表中。我计划的数据流如下：我知道谷歌云存储传输服务，但我不确定它是否能帮助我。来自Google文档：
此页面描述云存储传输
浏览 13提问于2016-09-05得票数 41
回答已采纳
1回答
我想从谷歌云存储上数百个CSV文件中加载数据，并每天使用云数据流(最好使用python SDK)将它们附加到Bigquery上的单个表中。你能告诉我怎样才能做到这一点吗？
谢谢
浏览 1提问于2018-05-21得票数 0
我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery使用火花BigQuery连接器。现在我需要估计总成本。在Azure存
浏览 5提问于2021-01-21得票数 0
回答已采纳
我每天都需要加载到BigQuery的分区表中，在s3中创建了(2 TB)大小为20k的文件。文件每5分钟滚动一次。
将数据传输到BigQuery的最经济高效的方法是什么？我正在寻找在亚马逊网络服务s3到GCP网络出口和实际数据加载的成本优化。
浏览 1提问于2019-12-19得票数 0
我正在与一位使用谷歌BigQuery的客户合作，我们正试图对他们的模型进行逆向工程。问题是，连接需要FQDN形式的项目Id，这通常是mydomain.com:myProject提供的
我对BigQuery一点也不熟悉，在用户仪表板里有没有地方可以找到这个？我们浏览过的所有内容似乎只给了我们项目ID。
浏览 2提问于2020-04-14得票数 0
1回答
在Datawarehouse的一个典型的HDFS环境中，我看到了一些不同的阶段，在这些阶段中，数据被分阶段处理和转换，如下所示。我正试图在Google云平台上设计一个系统，在那里我可以执行所有这些转换。请帮帮忙。如果它只是一个时间段数据，那么仍然是基于HDFS的HIVE表，那么，报告会发生在第2阶段(如果转换之间也可能有多个区域)
我在Google中实现的思想过程
浏览 0提问于2018-08-14得票数 0
回答已采纳
我正在尝试确定是否可以创建多个服务帐户，并为每个服务帐户创建不同的策略(甚至是通用策略)。在此策略中，我要设置数据集/表的默认保留期。只有我(admin)可以在创建表后更改保留。
浏览 14提问于2019-11-12得票数 0
回答已采纳
1回答
我来自on /hadoop数据平台背景，现在我想了解在GCP云技术上这样做的良好实践。对于“服务层”，我们使用了Presto。“Cleaned "ETL进程”转换并将数据<
浏览 3提问于2020-10-05得票数 0
回答已采纳
目前对数据流使用的凭据/配置有一些混淆...
从我的实验来看，数据流似乎总是使用默认配置，而不是活动配置。对吗？(例如，在我的gcloud config中，如果我有一个项目A的默认配置，而我的活动配置在项目B上，那么我的数据流作业似乎总是提交给项目
浏览 2提问于2016-03-09得票数 4
我正在做一个项目，其中一个名为Eyedro的设备可以感知电压和电流等信息，并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。
浏览 1提问于2021-02-22得票数 0
我正在尝试在 + 表中创建BigQuery：
用insertAll调用API insertAll得到的customer_activated表继承了customer表的架构，但没有timePartitioning。如何确保模板表继承基表的时间分区？
浏览 3提问于2016-06-25得票数 2
回答已采纳
我正在使用Google Data Flow来实现一个ETL数据仓库解决方案。而且看起来DataProc比DataFlow便宜一点。有没有人知道相对于DataProc，DataFlow的优缺点
为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
我已经用python完成了从MySql到bigQuery的ETL，但是由于我没有连接/ cloud的权限，我必须在最后一个日期之前转储数据和分区，这样做很容易，但并不值得，因为花很多时间，我想使用从MySql/mongo到bigQuery的气流，而不使用google存储/ cloud，这是可能的吗？
浏览 0提问于2019-10-31得票数 0
1回答
如何使用云编写器运行数据流作业
、、、、
我知道Apache，我可以使用它创建管道，我也知道Composer中的哪个操作符来运行数据流作业，我只想知道如何将普通的apache代码转换成数据流作业，这样我就可以使用Composer运行它，我需要什么样的设置，我需要什么配置，我没有发现Google非常有用，请帮帮我。我的要求是从云存储中读取csv文件，并使用数据流将其加载到
浏览 2提问于2021-02-16得票数 2
我想要实现的：每次我上传一个文件到云存储，它将自动被写入BigQuery。但是他们不一起工作。如何让云函数触发来激活数据流部分？这是一个脚本，还是只是一些设置，我错过了？
缺少一些东西把它们连接起来。我对此比较陌生，我一直在寻找这方面的教程，但我不知道我是否一直在搜索错误的关键字，我找
浏览 7提问于2021-03-03得票数 0
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
