迁移到MySQL有很多原因，在基础准备工作中，源库的建表语句到MySQL建表语句的转换，不仅涉及到数据库间的语法，数据类型等差异，同时在SQL开发规范方向也有一些相应的规范，如何提高开发效率，同时使得开发规范更容易落地，向MySQL迁移的语法转换工具的作用就尤为重要。
引用我们客户的原话： *创建如下表，提示我：* *如果我将下面表中的varchar（200），修改成text（或blob）：报错变为另一个：* *我们查阅了很多的资料，不确定The maximum
专注于 Oracle、MySQL 数据库多年，Oracle 10G 和 12C OCM，MySQL 5.6 ，5.7，8.0 OCP。现在鼎甲科技任顾问，为同事和客户提高数据库培训和技术支持服务。
在数据处理和数据仓库建设中，常常会用到Hive进行数据存储和查询。然而，有时候我们需要将Hive中的表结构迁移到其他关系型数据库，比如MySQL。本文将介绍如何将Hive中的建表语句转换为MySQL中的建表语句，方便数据迁移和数据同步。
在实际工作中，一张表，我们可能需要在Mysql数据库中建表，又要在Oracle数据库中建表。表中每个字段的数据类型、中文注释、是否可为NULL 问题，非常影响我们建表的效率。本篇文章，以Oracle数据库表为源表，通过PowerDesigner工具将其转化成Mysql数据库建表语句。
问题2：在“学生表”中查询“所在系”是“计算机”的学生所有信息，并按“学号”从小到大排序
前几天读了一篇文章《故障分析 | MySQL 迁移后 timestamp 列 cannot be null》，没想到这两天就碰到了相近的问题。
前几天读了一篇文章《故障分析 | MySQL 迁移后 timestamp 列 cannot be null》，没想到这两天就碰到了很相近的问题。
本页目录 库语句 建库 修改库字符集 指定库排序规则 当前库状态的建表语句 删除库 Navicat编辑数据库时执行的SQL 表语句 建表 添加字段 修改表 修改字段 修改表字符集、排序规则 截断表 删除表 添加索引 一直都是用MySQL可视化工具，几乎没碰过建库、表等语句了。实属遗忘了。趁机补一补吧。 库语句 建库 -- 数据库配置文件default-character-set是utf8_mb3，则会导致创建的表是utf8mb3。我们无法人为控制，只能建库完毕后执行修改库字符集或者建库前修改MySQL配置
之前的一篇文章中，我们遇到了主从同步的一个问题，错误代码：1236，详细请看 开启GTID主从同步出现1236错误问题
通过这条指令，我们可以查看到指定表的字段，字段的类型、是否可以为NULL，是否存在默认值等信息。
一般情况下，标识符错误是因为：语句中的列名在表中不存在，修改sql语句或者修改列名即可。
一、数据库信息： 数据库版本：5.7.21-log 某银行测试数据库，APP业务库内有一个含有大量（几百个）分区表的大表test_app。DROP该分区表的大表后导致无法重建该分区表。 二、问题描述： 客户使用“drop table test_app;”时，显示表删除成功。当重新执行该表的建表语句时，报错“Table 'app.test_app /* Partition p0 */' already exists” 三、问题分析： 3.1> 原因是GreatSQL 5.7数据库DDL没有原子性，drop表的删除动作没有执行完成； 3.2> 进入数据库“show tables”查看test_app表已不存在； 3.3> 进入数据库所在的目录下，查看test_app表的相关文件。test_app.frm文件已不存在，但是有大量的"test_app#P***.ibd"分区表文件存在。关闭数据库，移除这些分区表文件到其他目录，启动数据库；数据库无法启动，报“无法找到这些分区表文件”的错误； 3.4> 重新创建test_app表时，报“table already exists”错。 3.5> 感觉进入了死胡同，最先想到的直截了当方法是备份APP业务库内除这张表的其他表，删除该数据库后，进行APP业务数据库的恢复，该方法没有测试，觉得太麻烦。 四、问题处理（方法一，测试步骤）： 4.1> 新建一个临时库test，依据app库目录里的数据文件名称，修改建表语句后，执行test_app表的建表SQL语句，生成test_app.frm文件； 4.2> 关闭数据库，修改数据库配置文件my.cnf文件的参数为“innodb_file_per_table=OFF”； 4.3> 把临时库test目录下的test_app.frm文件拷贝到业务数据库app目录下，启动数据库； 4.4> 进入业务数据库APP，可以看到test_app表； 4.5> 执行“drop table test_app;”语句，成功删除了表。关闭数据库； 4.6> 进入业务数据库app对应的目录下，test_app.frm文件已不存在，但是有个test_app#P***.ibd分区表文件存在。手工删除该ibd文件。 4.7>修改数据库配置文件my.cnf文件的参数为“innodb_file_per_table=ON”;启动数据库。 4.8> 重新执行test_app表的建表SQL语句。即可成功创建表。 五、问题处理（方法二，客户执行步骤）： 5.1> 设置innodb_file_per_table=OFF：set global innodb_file_per_table='OFF'; 5.2> 执行test_app表的建表语句，建表成功。 5.3> 删除test_app表drop table test_app； 5.4> 重启数据库。 5.5> 再执行test_app表的建表语句，建表成功。
用 shell 写的原因是方便任务调度框架 oozie、anzkaban 定时调度
Hive系列文章预计10-20篇，主要讲数据分析中最基础的SQL技能。每周定期更新，欢迎关注公众号。
1.Kylin 是一款大数据OLAP引擎，由ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目
通过这篇文章《"--"注释在Oracle和MySQL下的区别》，我们了解了注释的具体使用方式，GreatSQL技术社区的《MySQL Server可执行注释》则为我们讲解了"可执行"注释的作用，确实值得借鉴。
##指定表：sh GetTabStript.sh “dbrwdadm” “dbrwdadm” “chnrwd” “DBRWDADM” “DCUSTMSG SCHNKPI” “CreateTable.sql”
公司开发新系统，需要创建几百个数据库表，建表的规则已经写好放到Excel中，如果手动创建的话需要占用较长的时间去做，而且字段类型的规则又被放到了另一张表，如果手动去一个一个去匹配就很麻烦，所以我先把两张表都导入数据库中，建表的数据如下：
MySQL的sql_mode参数会影响对日期时间的处理方式。如果NO_ZERO_DATE或者STRICT_TRANS_TABLES模式被启用，那么默认值'0000-00-00 00:00:00'将被认为是无效的。
分享一个在项目运维中遇到的一个主从复制限制的一个坑，项目的架构为主集群+灾备集群，每个集群为一主两从模式。主集群到灾备集群的同步为主从复制的方式，根据业务需求灾备集群需要忽略系统库跟某些配置表，所以才会触发此限制，而这个限制如果我们之前没有遇到过，那么排查起来也是相对不易的。
ClickHouse数据存储时支持副本和分片，副本指的就是一份数据可以在不同的节点上存储，这些节点上存储的每份数据相同，数据副本是增加数据存储冗余来防止数据丢失。分片指的是ClickHouse一张表的数据可以横向切分为多份，每份中的数据不相同且存储在不同的节点上，分片的目的主要是实现数据的水平切分，方便多线程和分布式查询数据。
由于临时表只能被创建它的 session 访问，所以在这个 session 结束的时候，会自动删除临时表。也正是由于这个特性，临时表就特别适合我们文章开头的 join 优化这种场景，原因：
为了支持在不同数据库之间的可移植性，MySQL Server针对C风格的注释在解析上做了一些扩展，当注释满足如下风格时，MySQL Server将会解析并执行注释中的代码：
一个叫 team 的表，里面只有一个字段name, 一共有4 条纪录，分别是a,b,c,d, 对应四个球队，现在四个球对进行比赛，用一条sql 语句显示所有可能的比赛组合
比如 , 我们可以切换到 sys 这个系统数据库 , 并查看系统数据库中的所有表结构。
需要利用的技术点，有2个。一个是pymysql(连接mysql)，一个是xlwt(写入excel)
在一些本地化项目开发当中，存在这样一种需求，即开发完成的项目，在第一次部署启动时，需能自行构建系统需要的数据库及其对应的数据库表。
数据库技术是Java开发中必不可少的一部分知识内容。也是非常重要的技术。本系列教程由浅入深, 全面讲解数据库体系。 非常适合零基础的小伙伴来学习。
有时候在工作中，可以使用exp/imp得到表的创建语句。 如果想得到关于table,index,constraint的语句，可以考虑使用dbms_metadata来实现。 我们可以使用如下的脚本来得到建表语句，对应的索引语句，和ref_constraint语句。 建表语句就不多说了,关于索引的部分，过滤了主键和唯一性索引的部分，这些语句会和建表语句中的constraint有一定的冲突，而foreign key的语句在建表语句中也不建议使用，这样会对其他表产生依赖，可以考虑单独生成这部分的语句，最后执行。 所
MySQL 8.0 相对于 MySQL 5.7，有很多新特性，比如：快速加列、原子 DDL、不可见索引、额外端口、角色管理等。这一节内容，就不讲这些新特性了，只来聊聊最近在工作学习过程中遇到的几处细节上的差异。
UNSIGNED 这个属性就是标记数字类型是无符号的，和C/C++语言中的unsigned含义是一样的，int signed的类型范围是-2147483648~2147483648，而int unsigned的范围是0~4294967295
今天在建hive表的时候,建表语句检查了无数次,可最后创建返回的结果永远都是下面这个异常。
java.io.IOException: java.lang.IllegalArgumentException: Bucket ID out of range: -1
从华为A集群中将我们的数据迁移到华为B集群，其中数据经过华为集群管理机local跳转。
定位： hive的元数据都是存储在mysql上维护的。 可以修改hive元数据的字符集为utf-8.
Hive可以创建外部分区表。创建表的时候，分区要在建表语句中体现。建完之后，你不会在表中看到数据，需要进行分区添加，使用alter语句进行添加。然后数据才会显示。
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。本篇文章主要介绍如何编译及使用TPC-DS生成测试数据。
爱可生 DBA 团队成员，擅长故障分析和性能优化，文章相关技术问题，欢迎大家一起讨论。
关于sql解析的一些概述： 因为最近在研究如何将oracle的sql语句迁移到hive上去，前期是准备写一些udf函数去弥补hive缺失oracle函数的遗憾， 其次会使用python开始开发一套轮子去实现转换。目前是实现了DDL建表语句的迁移，之后会慢慢不上DML的迁移。 目前的整体架构和一般的sql解析引擎无异，有如下几个部分： Catalog：这部分相当于字典表，使用了pyhs2去检查hive是否存在这张表，后续的话，应该也会利用pyhs2直接建表。 DDL_parser:现在只是实现了建表语句的互换 sql_parser:打算是正常的select语句，不支持insert语句。解析关键字，生成一棵树。主要是对oracle语句和hive语句的join做出处理，变成一个逻辑执行计划。 analyzer:将逻辑执行计划，重新组装成hive sql语句。 具体细节如下： 逻辑执行计划主要是树的数据结构，分为三种节点： 一元节点：主要是存放Project,Sort,Limit,Filter这四种操作。一个子节点 二元节点:主要是Except(也就是类似于not in),Intersect(也就是join，这里目测实现难度会最大)，两个子节点 parser的设计： 对于传入的语句将\r\n\t这些都替换为空格，设为空格标识符。 对sql语句进行拆分，会使用stack的结构，处理子查询。 DDL的解析：对create和table进行匹配，create table设为DDL标识符。表名就是identifier,再就是匹配括号，将括号里面的语句进行处理转换成hive的语句。 其中特别提到的是数据类型的转换，通常来讲是会全部转成string类型，number会转成decimal类型。 sql_parser：会对里面的函数进行匹配，使用字典的形式去匹配，赋值相应的标识符。将相应的字段名，处理到keyword的执行计划中，放入树中。会处理oracle的一些特殊表示连接 的方式 analyzer:目前再将sql_parser的数再拼接回来，将oracle简写的sql语句变成hive的。
在使用pt-table-checksum 校验主从的过程的时候，在创建dsns 表之后，往dsns表写入从库dsn信息的时候，从库的SQL线程就挂了，报错信息如下
在实际工作中，一张表，我们可能需要在Mysql数据库中建表，又要在Oracle数据库中建表。表中每个字段的数据类型、中文注释、是否可为NULL 问题，非常影响我们建表的效率。本篇文章，以Mysql数据库表为原表，通过PowerDesigner工具将其转化成Oracle数据库建表语句。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
SQLE是由爱可⽣开发并开源、⽀持SQL审核、标准化上线流程等丰富功能的可扩展 SQL 审核⼯具（https://github.com/actiontech/sqle）；⽬前⼤部分 MySQL 业务使⽤场景以5.7版本为主，今天本⽂来验证下 SQLE 对 MySQL 8.0 的⽀持程度。
导读 十万次的sql注定要使用存储过程，那么，咱们想办法要表达十万次的祝福与灿烂的烟花要怎么办呢？用文字表示呗。接下来我把语句都给了，挨个执行就是，送上十万次祝福啊。 目录 导读 建表语句 存储过程 使用存储过程 建表语句 CREATE TABLE `newyear` ( `happyId` int(8) NOT NULL AUTO_INCREMENT, `happyNewYearInfo` varchar(50) NOT NULL, `flower` varchar(50) NOT NULL
今天给大家推荐几个springboot项目供大家学习，springboot基本上已经成为了Java开发的标配了，不会springboot都不好出去见人，目前市场上开源的项目并不多，今天特此推荐供大家学习。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
