如何在GCP Data Fusion中摄取类型为Table的数据集，以用作Wrangler插件中的' table - lookup‘指令中的查找表
GCP Data Fusion是Google Cloud Platform (GCP)提供的一种托管式数据集成服务，用于将各种类型的数据从不同数据源导入和处理。
要在GCP Data Fusion中摄取类型为Table的数据集，以用作Wrangler插件中的'table-lookup'指令中的查找表，可以按照以下步骤操作：
- 登录GCP控制台：访问https://console.cloud.google.com并使用您的GCP帐号登录。
- 创建一个新的Data Fusion实例：在GCP控制台上导航到Data Fusion页面，然后点击“创建实例”按钮。按照页面上的指导进行设置，包括选择实例的位置、配置网络选项等。
- 打开Data Fusion工作室：在实例创建成功后，点击相应实例的名称，然后点击“打开工作室”按钮。
- 创建数据源：在Data Fusion工作室中，点击左侧导航栏的“数据源”选项卡，然后点击“创建数据源”按钮。根据数据源的具体情况选择合适的数据源类型，并填写相关的连接信息和认证凭据。
- 创建Pipeline：在Data Fusion工作室中，点击左侧导航栏的“Pipeline”选项卡，然后点击“创建Pipeline”按钮。在Pipeline中，您可以定义数据集成和处理的工作流程。
- 添加Wrangler插件：在Pipeline中，将需要进行数据查找的数据集作为输入数据源添加到Pipeline中。然后，拖动并放置一个Wrangler插件到Pipeline画布上。点击Wrangler插件，然后点击“编辑”按钮。
- 配置Wrangler插件：在Wrangler插件的编辑界面中，找到并选择“table-lookup”指令。在该指令中，您可以指定要查找的表以及相关的查找条件和字段映射。将之前创建的Table数据集作为查找表进行配置。
- 运行Pipeline：保存Pipeline配置后，点击画布上方的“运行”按钮来启动Pipeline的运行。数据将被摄取并按照Pipeline中定义的处理步骤进行处理。
至于具体的GCP Data Fusion的产品介绍和相关产品链接地址，请参考GCP官方文档或搜索相关资料以获取最新信息。
相关·内容
我正在尝试使用GCP Data Fusion Wrangler插件通过table-lookup指令执行一些查找操作。此指令具有要由查找引用的关联表，该表必须是table类型的数据集。我的疑问是如何在GCP
浏览 22提问于2019-11-27得票数 1
我正在Data Fusion中构建一个管道，在其中我们使用数据库插件从本地Oracle DB获取数据并插入到BigQuery表中。数据库插件可以正确推断Oracle表中日期字段的timestamp数据类型。然而，问题是日期字段实际上是MST时区。但是，Data Fusion假定它们使用UTC格式。例如: Dat
浏览 2提问于2020-03-12得票数 1
1回答
我试图在数据存储管道中的一个争用器中使用表查找:country_code 'country_lookup_table‘指令，但是在执行’表查找‘时遇到了错误:数据集'country_lookup_table确保存在表类型的数据集“coun
浏览 5提问于2022-02-18得票数 0
我正在构建一个管道，它使用数据库插件连接到本地Oracle DB，查询两个表(table_a，table_b)，并使用Joiner插件连接这些表，然后上载到BigQuery表。现在的问题是，当我在数据库插件中使用Get Schema时，用于连接table_a和table_b的外键具有不同的数据类型</e
浏览 21提问于2020-03-02得票数 0
4回答
我有一个数据集，我需要一个查找字段。问题是，此数据集的结构是由查询的结果定义的。在设置TFieldDef之前，我不能将字段添加为.Active = true;，因为它会被覆盖，而且在运行查询后无法添加字段，因为您不能更改打开的dataset的结构。
一定有办法可以做到的。编辑:我想要找的东西似乎有些混乱。我不想在查询时查找。我正在寻找一个查找字段
浏览 3提问于2009-08-19得票数 2
1回答
在Azure中向表中添加新列
、、、、
存储中有一个CSV文件，格式如下：Acc_ID, intlastname, nvarchar(500) SELECT FROM
INFORMAT
浏览 1提问于2021-11-20得票数 0
回答已采纳
1回答
在R中使用data.table，我有两个数据表。一个是我的实际数据集，另一个是查找表。数据集：
dt <- data.table(Name = c("John", "Bob", "Sue", "Trish"), Ref = c("a", "A0&qu
浏览 1提问于2015-01-28得票数 4
回答已采纳
1回答
因此，上述示例中的第3列为： 1 23160 0，我试图避免循环遍历数百万个观测值来将每个观测值的时间与查找表中的Event_Time进行比较。然而，我不确定如何在不使用循环的情况下做到这一点。问题是lookup_table多次包含一些in，
浏览 2提问于2017-12-15得票数 0
1回答
我试图使用格式表来查找ICD代码.
我正在导入一个包含icd_code和cancer_type两列的csv格式表，我的主数据集有两列patient_id和icd。因此，我可以使用这些格式查找icd代码，并在癌症列中返回癌症类型。但是，当某些icd代码不是在格式表中时，癌症列将返回ICD值本身。因此，我希望PROC格式的值为“other=*”。由于
浏览 0提问于2018-01-27得票数 0
回答已采纳
嗨，我想做一个查找，以获得我的数据集基于3种条件的因素值。下面是查找表：
浏览 5提问于2022-10-13得票数 0
回答已采纳
如何将string转换为Azure data Data Flow活动中的int数据类型以设置参数？如何复制
@string(activity('read
浏览 1提问于2020-07-30得票数 0
回答已采纳
1回答
字段已将类型从整数更改为字符串。
、、、、
在GCP中，使用python，我的query选择要插入表BQ_table中的一些数据。BQ_table跟随schema。age", "INTEGER", mode="NULLABLE") config = bigquery.QueryJobConfig(destination= BQ_ta
浏览 7提问于2020-11-08得票数 2
回答已采纳
然后，我决定尝试找到最快的方法来完成R中的单个项目查找。
数据通常采用带有字符类型键列的data.table形式。其余的列通常是数值。我试图创建一个与我通常处理的类似的随机表，这意味着>100 K行。最终，我的首选是让data.table的行查找更快，而不是必须创建数据
浏览 3提问于2015-12-11得票数 10
回答已采纳
1回答
带角的范畴变量嵌入层的应用
、、、、
我有一个包含多个分类特征和多个特征的数据集，我想应用嵌入层将分类数据转换成数值数据，以供其他models.But使用，在训练过程中出现了一些错误。然后，我可以将原始数据中的['dog']变量替换为-0.22748041，将['cat']变量替换为-0.03832678，等等。因此，我不能更改vocabulary_size，否则输出维度将是错误的。
我想我的问题是，并非所有的范畴
浏览 3提问于2021-06-01得票数 1
1回答
我有一个表叫A，它有id，还有另一个表B有空白的id列。我想把这些id从表A添加到B .Suppose，首先它会在表B中添加ID 1，然后ID 2，3，4，5等等。每当我向表A添加值时，它会自动添加到表B中，时间为3分钟，.means表B将被刷新3分钟并从表A.But中获取记录，您必须检查表B中的先前记录值，然后添加下一个值。
浏览 0提问于2018-04-10得票数 2
回答已采纳
2回答
我试图用来自多个表的分组数据构建一个临时表(在SP中)，但是我成功地构建了数据集，但是我需要每个分组行都有一个唯一的id。我知道有一些方法可以为每一行生成唯一的id，但是我遇到的问题是，无论返回的行数如何，我都需要一个给定行的id在每次运行中都是相同的。10 3 grape 11ID Column A Column B
浏览 2提问于2017-09-21得票数 0
回答已采纳
我有一个大数据集和一个查找表。我需要为数据集中的每一行返回满足条件的查找中行的最小值。
考虑到我的数据集的大小，我不愿意通过交叉连接将一个不确定的解决方案合并在一起，因为这样会创建数百万条记录。我希望有人能够提出一种解决方案，(理想情况下)利用基本的r或data.table，因为这些解决方案已
浏览 3提问于2014-02-05得票数 5
回答已采纳
有某些我想重写的不想要的值。两者都有两个键(session_id和datetime)，而不是唯一的。类似于：使用不需要的"0“来替换NA的样本数据<e
浏览 1提问于2022-08-04得票数 1
回答已采纳
2回答
我试图实现对一个非常大的数据集(~25M行，~3000 cols)的重新查找，基于一个大的查找表(~15M行)，我只需要更改匹配值，并且保持非匹配不变。这里是一个数据示例source targetB 2D 4col1 col2 col3
浏览 4提问于2017-11-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
