首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >mysql数据导入clickhouse

mysql数据导入clickhouse

作者头像
大数据最后一公里
发布2021-08-05 10:12:51
发布2021-08-05 10:12:51
4.1K00
代码可运行
举报
运行总次数:0
代码可运行

clickhouse准备

本地表

代码语言:javascript
代码运行次数:0
运行
复制
create table student on cluster luopc_mpp_cluster (
    id UInt8,
    name String,
    age UInt8,
    create_time  Datetime
 ) engine =ReplicatedMergeTree('/clickhouse/tables/{shard}/student','{replica}')
 primary key (id)
 order by (id,age);

分布式表

代码语言:javascript
代码运行次数:0
运行
复制
create table student_all on cluster luopc_mpp_cluster(
  id UInt8,
  name String,
  age UInt8,
  create_time Datetime
)engine=Distributed(luopc_mpp_cluster,default,student,rand());

插入数据

代码语言:javascript
代码运行次数:0
运行
复制
insert into student_all values
(1,'a',17,'2021-05-08 12:00:00'),
(2,'b',25,'2021-05-08 12:00:00'),
(3,'c',20,'2021-05-08 12:00:00'),
(4,'d',22,'2021-05-08 12:00:00'),
(5,'e',30,'2021-05-08 12:00:00');

说明

代码语言:javascript
代码运行次数:0
运行
复制
  本地表建表之后,集群中各个节点均可查询到此表。分布式表是基于本地表的,
作用是相当于是视图,提供全局查询和写入的操作,实际数据是在本地表中存储的。

mysql准备

建表

代码语言:javascript
代码运行次数:0
运行
复制
CREATE TABLE `student` (
  `id` int(11) NOT NULL,
  `name` varchar(100) NOT NULL,
  `age` int(11) NOT NULL,
  `create_time` datetime NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

插入数据

代码语言:javascript
代码运行次数:0
运行
复制
INSERT INTO test.student VALUES
(6, 'f', 25, '2021-06-28 12:00:00');

执行datax

代码语言:javascript
代码运行次数:0
运行
复制
python datax/bin/datax.py mysqltoclickhousedemo.json

导入之前数据情况

导入之后数据情况

datax执行日志如下

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据最后一公里 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档