如何更新HDFS文件中的数据,类似于MySQL表中的数据?我查了一下互联网,但是所有的例子都是--增量的最后一个修改的例子。
在我的例子中,我的MySQL表不包含日期或时间戳列。如何更新HDFS文件中的数据,类似于不包含日期列的MySQL表中的数据?
我有如下所示的MySQL表
mysql> select * from employee;
+----+--------+--------+------+-------+-----------+
| id | name | gender | age | state | language |
+----+--------+-------
我在MySQL中有表,我想使用sqoop导入数据。我导入了数据并以file的形式存储在file中。现在,我想在hdfs中对这个文件运行增量更新。
假设MYSQL表中有100行。HDFS中的文件包含前50行的数据。如何增量更新此文件。
I am talking about files not Hive tables。
我希望增量数据作为单独的文件,而不是合并的文件。例如,第一个部件文件包含50个记录,然后我需要一个包含接下来50个记录的部件文件。我的意思是,我们可以对文件进行增量更新吗?