我尝试使用数据流。我试图定期运行相同的作业，但重复的数据被添加到Bigquery。我看到了一些第三方解决方案来做同样的事情，但我想尽可能多地使用第一方解决方案。
是否有可能使Bigquery与oracle数据库同步？
浏览 20提问于2019-11-29得票数 0
回答已采纳
1回答
我有一个包含来自mongodb数据库的所有数据的BigQuery数据仓库，这些数据每天同步一次。
我想将一个列添加到我的一个表中，该列是另一个列的清理+混合版本(类型是string)。我如何能够在我的表上运行这样的转换，而不需要在本地获取所有数据并在bigquery上发送1000万次更新呢？有什么GCP工具可以针对bigquery运行python函数，比如数据流之
浏览 6提问于2021-12-22得票数 -1
回答已采纳
日安，有没有一种将数据自动加载到谷歌BigQuery的方法，每24小时一次？
任何办法都行。
浏览 2提问于2018-03-08得票数 4
回答已采纳
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：我正在考虑从spark
浏览 2提问于2019-11-17得票数 0
是否可以将Restful API中的数据直接导入到data prep中？ 我想可能会有一些变通的办法...1:将结果保存到GCS存储桶中的JSON文件中，并从那里导入。只调用一个API并获得一个结果集会更流畅，而不是必须采取额外的步骤。我只是找不到任何地方来解释如何做到这一点。 蒂娅！
浏览 12提问于2020-09-09得票数 0
回答已采纳
我想自动将数据从外部PostgreSQL数据库传输到我的GCP帐户中的Google Cloud Platform BigQuery数据库。到目前为止，我已经看到可以使用EXTERNAL_QUERY()函数查询外部数据库(MySQL或PostgreSQL)，例如：https://cloud.google.com/bigquery/docs/我试图查看从外部PostgreSQL流到Cloud SQL PostgreSQL<e
浏览 26提问于2021-04-01得票数 2
1回答
我试图在Bigquery中对三个表( order、order_item和user )进行去角色化和连接。我已经有了一个管道，用于使用pubsub和dataflow更新这些表。order和order_item上的这些更新必须是同步的，只有当插入按顺序进行时(以便在创建新订单时显示用户状态)，用户才应该被连接。
到目前为止我想出了两种解决方案。一种是捕获每个表上的更改，通过数据流读取来自pubsub的消
浏览 0提问于2019-06-24得票数 1
1回答
背景：我们目前将数据分割为两个关系数据库(Oracle )。需要运行涉及两个数据库中的表的临时查询。目前，我们正以两种方式之一这样做：
我们已经使用了Google平台(用于使用Postgres服务器的项目)。我们熟悉Google BigQuery
浏览 5提问于2017-03-06得票数 1
回答已采纳
2回答
我正在执行Mysql到bigquery的数据迁移，使用jdbc到数据流中的bigquery模板。但在mysql上执行"select * from teable1“命令时，由于某种原因，我也想将选中的数据插入到同一数据库中的另一个表中。 如何在数据流模板中同时执行select和insert查询？
浏览 46提问于2020-11-11得票数 0
我有一个SSIS包，它使用数据流任务与Oracle数据库连接，运行对数据的查询并将其输出到一个平面csv文件。现在，我需要将这个查询转换为在Oracle过程中获取数据，并从数据流任务调用这个过程。有人为我创建了一个Oracle过程，它基本上返回一个游标。现在有三个问题：
我是Microsoft SQL专家，但对Oracle不太了解。当我在PL/SQL窗口中像这样运行这个过程时，它会编译OK，但不会像您在中期望的<
浏览 2提问于2013-10-17得票数 1
2回答
Oracle到大查询表
、、、、
我对大型查询和学习很陌生。我有一个需求，我必须从oracle源加载近300个表到大型查询暂存表。加载数据的推荐方法是什么？我知道我可以为此使用数据流，但是我需要为它创建300个数据流任务还是创建一个任务来迭代它呢？请分享你的经验和不同的方法。非常感谢。
你好，文卡特。
浏览 10提问于2020-06-25得票数 0
回答已采纳
是否有一种优雅的方法来在BigQuery和GitHub (可能类似于->数据库项目)之间对数据集的表/视图定义进行源代码管理，以确保多个开发人员之间的一致性和可跟踪性？我可以看到我们如何手工制作视图脚本并将它们添加到回购中，但理想情况下，我希望避免手工维护这些文件的开销，从而不可避免地与BigQuery断开连接。BigQuery本机是否提供任何支持的</em
浏览 3提问于2017-02-27得票数 0
回答已采纳
5回答
我正在设计一种解决方案，其中Google将用于存储应用程序正常功能中的所有数据(某种形式的OLTP数据)。预计随着时间的推移，这些数据将增长到相当大的规模。数据本身本质上是关系的，因此我们选择了Cloud而不是Cloud。
我是否应该使用Cloud来存储数据，然后将其移动到BigQuery，或者更改基本设计
浏览 4提问于2017-09-22得票数 11
1回答
在具有不同实例的不同源SQL服务器和具有不同实例、相同数据库模式和数据库名称的目标服务器之间，使用相同的SSIS同步表的数据流逻辑。例如，将ServerB/DB1同步到ServerA/DB1，将ServerB/DB2同步到ServerA/DB2，将ServerC/DB3同步到ServerA/DB3。目前我们需要在源DB<e
浏览 11提问于2017-07-11得票数 0
背景：我们有一个非常简单的管道，它从BigQuery (通常是300 to )过滤器/转换中读取一些数据，并将其放回BigQuery。在99%的情况下，该管道在7-10分钟内完成，然后重新启动以处理新的批处理。是否有人就如何处理
浏览 0提问于2018-01-26得票数 1
回答已采纳
3回答
我们正在进行一个涉及大量数据的项目。现在我们最近读到了Google BigQuery的内容。但是我们如何将数据导出到这个平台呢？我们已经看到了将日志导入Google BigQuery的示例。但这不包含有关更新和删除数据的信息(仅插入数据)。
所以我们的对象能够更新它们的数据。而且我们对BigQuery表的查询数量有限。如何在不超过BigQuery配额限制的
浏览 3提问于2017-04-06得票数 3
回答已采纳
1回答
我已经使用以下链接为Oracle和Server部署了同步框架当我对Oracle数据库进行任何更改时，Server数据库将在按下“同步”按钮后进行更新。但是，一旦对Oracle数据库做了任何更改，我就需要自动更新Server数据库(在我的情况下是本地缓存数据库)，而不需要按下同步按钮。这个是可能的吗？
浏览 1提问于2015-10-29得票数 0
回答已采纳
我正在寻找从云SQL (postgres)到bigQuery的流式数据库更改的推荐方法？我看到CDC流媒体似乎不适用于postgres，有人知道这个功能的时间线吗？乔纳森。
浏览 10提问于2022-07-26得票数 -5
为BigQuery预先准备一个新的数据模型更好吗？或先将数据按原样移动到bigquery，然后更改数据模型。
其他主要建议请注明。
浏览 5提问于2022-11-03得票数 -1
2回答
我有一个GIS oracle数据库，我需要在SSIS数据流任务中引用。理想情况下，我通常会这样做(这在Oracle SQL Developer中非常有效)：SELECT CAD_EVENTID但是，当我尝试将它用作OLE DB数据源的SQL命令时，它抛出了一个“无效的SQ
浏览 1提问于2013-01-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
