我使用Sqoop增量导入,每天将数据输入到我的hive表中。我有以下场景:我有一个RDBMS表:用列清空数据
id name city
1 Sid Amsterdam
2 Bob Delhi
3 Sun Dubai
4 Rob London
我将数据导入到Hive中,使用Sqoop增量导入,通过cron作业将数据导入到shell脚本来完成工作。
#!/bin/bash
DATE=$(date +"%d-%m-%y")
while IFS=":" read -r server dbname tablename
我在postgresql中创建了一个表:
create table retail_fact( id serial not null, name text);
我有客户表在hive和MySQL中,我想从他们加载数据到PostgreSQL retail_fact表使用Pentaho pdi (通过presto连接)。
另外,当我用Hive和MySQL中的数据加载表时,o希望id在Postgres中自动递增(用更简单的术语。我需要一个sql查询来做同样的事情)。
查询类似于以下内容:
insert into postgresql.rpt.order_fact(
select name from h