前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >mysql数据导入clickhouse

mysql数据导入clickhouse

作者头像
大数据最后一公里
发布2021-08-05 10:12:51
3.7K0
发布2021-08-05 10:12:51
举报
文章被收录于专栏:大数据最后一公里

clickhouse准备

本地表

代码语言:javascript
复制
create table student on cluster luopc_mpp_cluster (
    id UInt8,
    name String,
    age UInt8,
    create_time  Datetime
 ) engine =ReplicatedMergeTree('/clickhouse/tables/{shard}/student','{replica}')
 primary key (id)
 order by (id,age);

分布式表

代码语言:javascript
复制
create table student_all on cluster luopc_mpp_cluster(
  id UInt8,
  name String,
  age UInt8,
  create_time Datetime
)engine=Distributed(luopc_mpp_cluster,default,student,rand());

插入数据

代码语言:javascript
复制
insert into student_all values
(1,'a',17,'2021-05-08 12:00:00'),
(2,'b',25,'2021-05-08 12:00:00'),
(3,'c',20,'2021-05-08 12:00:00'),
(4,'d',22,'2021-05-08 12:00:00'),
(5,'e',30,'2021-05-08 12:00:00');

说明

代码语言:javascript
复制
  本地表建表之后,集群中各个节点均可查询到此表。分布式表是基于本地表的,
作用是相当于是视图,提供全局查询和写入的操作,实际数据是在本地表中存储的。

mysql准备

建表

代码语言:javascript
复制
CREATE TABLE `student` (
  `id` int(11) NOT NULL,
  `name` varchar(100) NOT NULL,
  `age` int(11) NOT NULL,
  `create_time` datetime NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

插入数据

代码语言:javascript
复制
INSERT INTO test.student VALUES
(6, 'f', 25, '2021-06-28 12:00:00');

执行datax

代码语言:javascript
复制
python datax/bin/datax.py mysqltoclickhousedemo.json

导入之前数据情况

导入之后数据情况

datax执行日志如下

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据最后一公里 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档