我需要将70TB数据(2400个表)从本地配置单元迁移到BigQuery。最初的计划是将ORC文件从Hive加载到云存储，然后加载到BigQuery表。
浏览 17提问于2021-04-23得票数 0
我正在尝试从我的.hql文件访问BigQuery表，我将在Dataproc集群上运行该文件。table_name;
然后，我编写了一个查询，将输出插入到BigQuery中的表中。但是该表存在于BigQuery数据集中。
有没有人可以帮忙解决这个问题？
浏览 0提问于2020-02-12得票数 0
我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询将数据卸载到50MB的区块中。由于无法在红移传输作业中配置块大小参数。将2TB的数据从redshfit传输到BigQuery需要这么多时间，或者可以做一些事情来改进这项工作。
有一些像雪花一样的系统
浏览 39提问于2019-07-22得票数 0
1回答
我们正在尝试将pyspark脚本从一个前提迁移到GCP平台，该脚本通过数据转换在Hive中创建和删除表。
蜂巢被BigQuery所取代。在本例中，使用连接器将单元读和写转换为bigquery读写。然而，问题在于通过spark创建和删除bigquery表，因为spark将默认在由蜂窝转移支持的蜂巢上运行创建和删除查询，而不是在大型查询上运行。我想检查一下是否有计划将DDL语句支持以及星火-bigquery</e
浏览 7提问于2022-03-30得票数 2
回答已采纳
我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery使用火花BigQuery连接器。现在我需要估计总成本。在Azure存储的顶部，我们是否
浏览 5提问于2021-01-21得票数 0
回答已采纳
2回答
我们有一个Firebase设置，配置了Analytics并导出到BigQuery。我们的Firebase项目将默认的GCP资源位置设置为eur3 (欧洲-西部)。在设置Firebase和BigQuery之间的集成过程中，我们没有选择设置任何数据位置。
我们可以在BigQuery中看到数据
浏览 0提问于2020-08-24得票数 6
回答已采纳
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
我正在从用户活动中收集数据。每天，我的表中的行数将增加900万至1500万行，并且总是每秒钟更新一次。这些数据包括几个主要参数，如用户位置(经度)、时间戳、用户活动和会话等等。我需要不断地从这个用户活动中获取很多洞察力，比如“从30天前开始，每小时使用我的应用程序的用户在经纬度A和经纬度B之间的用户有多少？”我所有的数据插入、选择、更新等等都是从我用PHP编写的API中
浏览 0提问于2016-10-27得票数 2
回答已采纳
我使用bigquery数据传输服务将所有数据从红移迁移到BigQuery。
在此之后，如果缺少任何数据，我希望在特定的时间内执行回填。但我看不出在调换工作中有什么回填选择。我如何在bigquery中实现这一点？
浏览 4提问于2020-09-23得票数 0
回答已采纳
我想将我的配置单元表迁移到现有的Dataproc集群。有没有办法使用Google Deployment Manager来部署这些表？我已检查GDM中支持的资源类型列表；找不到配置单元资源类型。
浏览 16提问于2018-01-15得票数 2
回答已采纳
我刚刚在一个云数据库项目中工作，涉及一些大数据处理，需要快速地将数据直接从bigquery迁移到snowflake。我在想，是否有任何直接的方法可以将数据从bigquery推送到snowflake，而不需要任何中间存储。
请让我知道有一个实用程序或api或任何其他方式，bigquery提供推送数据到雪花。
浏览 22提问于2020-05-15得票数 2
4回答
我的需求是将数据从teradata数据库迁移到Google bigquery数据库，其中表结构和模式保持不变。稍后，使用bigquery数据库，我想生成报告。
有没有人能建议我如何做到这一点？
浏览 0提问于2017-07-19得票数 0
作为使用联邦查询将Cloud SQL表迁移到BigQuery的一部分，我正在执行一个查询，以生成一个大小约为1TB(几十亿行)的新BigQuery表。我使用SQL客户端提交查询作业，在查询中我从Cloud BigQuery数据库表中选择all并使用EXTERNAL_QUERY。如果我考虑一些更分布式的数据流，会有帮助吗？或者更简单，使用可以通过BigQuery异步运行的BigQuery客户端来扩展我的Python代码
浏览 14提问于2021-01-06得票数 0
我目前正在使用Export Collections to BigQuery Firebase扩展。我的问题是，如何将这个JSON从数据列中转移到BigQuery中的单独列中。
浏览 14提问于2019-11-25得票数 3
回答已采纳
在之后，我开始创建一个从BigQuery读取数据的电子表格，但我在处理与日期值相关的参数时遇到了问题。在第二个工作表中，我配置了BigQuery连接器，在本例中，我使用了一个带有日期的公共数据集。B2"SELECT date_str,
d
浏览 9提问于2019-07-09得票数 2
Databricks高并发群集与外部配置单元元存储+ ADLS直通+表访问控制不再受支持?♂️
关于如何实现以下功能有什么想法吗？由于我们从HDInsight迁移到数据库，因此需要外部配置单元元存储。使用外部配置单元元存储显然有很多优点(其中之一是我们可以迁移到任何Hadoop集群，而不用担心元数据，这就是我们从HDInsight迁移到数据库的
浏览 20提问于2019-11-05得票数 1
1回答
从MapR到亚马逊S3的数据迁移
、、、、
我们如何将本地数据迁移到亚马逊s3。
1) MaprDB二进制表数据迁移到AWS Hbase。2)将配置单元数据迁移到AWS配置单元表。
浏览 14提问于2019-07-29得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
