最近有个需求解析一个订单文件，并且说明文件可达到千万条数据，每条数据大概在20个字段左右，每个字段使用逗号分隔，需要尽量在半小时内入库。
参考：http://blog.csdn.net/jayxujia123/article/details/13684313
从这一篇开始，大概会花四五篇的内容篇幅，归纳整理一下之前学过的SQL数据库，一来可以为接下来数据分析工作提前巩固基础，二来把以前学的SQL内容系统化、结构化。 今天这一篇仅涉及MySQL与本地文本文件的导入导出操作，暂不涉及主要查询语言以及MySQL与R语言和Python的交互。 平台使用Navicat Premium（当然你也可以使用MySQL自带的workbench或者MySQL Conmand line）。 以下仅涉及MySQL中使用命令行语句导入/导出本地磁盘的文本文件（csv\txt文件）。 文件
需要利用的技术点，有2个。一个是pymysql(连接mysql)，一个是xlwt(写入excel)
表名 表字段名 定义每个表字段 语法 以下为创建MySQL数据表的SQL通用语法：
CREATE TABLE table_name (column_namecolumn_type);
表名 表字段名 定义每个表字段 语法 以下为创建MySQL数据表的SQL通用语法： CREATE TABLE table_name (column_name column_type); 以下例子中我们将在 RUNOOB 数据库中创建数据表kxdang_tbl： CREATE TABLE IF NOT EXISTS `kxdang_tbl`( `kxdang_id` INT UNSIGNED AUTO_INCREMENT, `kxdang_title` VARCHAR(100) NOT NULL, `kxdang_author` VARCHAR(40) NOT NULL, `submission_date` DATE, PRIMARY KEY ( `kxdang_id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8; 实例解析：
通过 mysql> 命令窗口可以很简单的创建MySQL数据表。你可以使用 SQL 语句 CREATE TABLE 来创建数据表。
我到公司后先测试一下客户给我的错误示例（果然搜不到），然后排查一下昨天的数据是否有问题，发现昨天客户用excel导入的数据中，存在很多\r\n这种换行符和回车符。
CREATE TABLE table_name (column_name column_type);
在之前的docker 挂载中主要说明了创建数据卷并挂载的方式。现在我们做一种创建普通目录并进行挂载的方式。 基于mysql镜像的拉取并进行配置。
因为一些工作需要，我们经常会做一些数据持久化的事情，例如将临时数据存到文件里，又或者是存到数据库里。
(1)完全支持MySql协议 (2)完全支持Mybatis-Generator (3)支持Schema和Table (4)支持客户端创建Schema和Table (5)支持常用select语句where,condition,行运算等 (6)支持视图功能，即用旧表的SQL定义新表 (7)支持各种文件格式(各种分隔符分割,Xlsx)
点击“Preview data”浏览输出数据，亦可在实验输出路径上查看验证输出的Excel文件数据，已经合并成了一个Excel文件。
CREATE TABLE / VIEW / INDEX / SYN（同义词） / CLUSTER（簇）
SQL语言分为4个部分:DDL(定义)、DML(操作)、DQL(查询)、DCL(控制)
> 方式三：通过编程语言(python,php,java,go...)执行mysql命令
最近改用ER\Studio建模，发现ER\Studio居然不支持生成mysql列注释，看网上都说勾选即可，然后生成mysql时并没有那个勾选项，试了下生成Oracle和DB2是支持的...
https://dev.mysql.com/doc/internals/en/system-variables-controlling-trace.html
常用的保存数据的容器有数组，集合，文件以及数据库。数组，集合将数据存储在内存中，但内存中的数据具有易失性，很容易丢失。文件可以实现永久存储，但文件不适用于大量文件的存储，难于检索查询。
老早就计划着这件事了，知道长期使用第三方提供的数据服务可能那天就会挂掉的几率（比如之前的leancloud限制云引擎及域名回收事件），放在第三方或多或少会影响到部分使用其免费服务的群体，但毕竟人家是免费提供到的服务，我们白嫖的就不要在这里说三道四了，只是就事论事来讲数据还是存放在自己的手中最安全可靠。
查看mysql中的所有库：show databases； 创建库：create database 库名称；—-》create database if not exists 库名称；如果不存在该库，则创建 删除库：drop database 库名称； 选择使用数据库：use 库名称； 显示当前使用的数据库：select database（）；
1、DB：数据库，保存一组有组织的数据的容器 2、DBMS：数据库管理系统，又称为数据库软件（产品），用于管理DB中的数据 3、SQL:结构化查询语言，用于和DBMS通信的语言
在MySQL数据库中，MySQL数据类型分有四大类：数值类型、文本/二进制类型、时间日期和String类型。以下是这四大类的具体类型：
在一些本地化项目开发当中，存在这样一种需求，即开发完成的项目，在第一次部署启动时，需能自行构建系统需要的数据库及其对应的数据库表。
这年头，你看到的东西未必就是你认为的东西。一个mysql协议的后面，可能是tidb；一个linux机器后面，可能是一个精简的docker；你觉得xjjdog是个女的，但可能ta自己也不太清楚；而当你大呼php万岁的时候，可能是研发人员和你开个玩笑，重写了后缀，而后端用的却是java。
创建Project：建议创建Empty Project，设置Java版本以及编译版本等。
SQL是一种强大的数据库管理语言，但是在使用SQL语言时，需要遵循一些使用规范，以确保数据的安全性和正确性，同时也可以提高SQL语句的执行效率和可维护性。
1、建表的时候可以添加约束 2、可以使用alter。。。add。。。 3、alter。。。modify。。。 4、删除用 alter。。。drop。。。
win10下MySQL安装教程（MySql-8.0.26超级详细）_丨汀、的博客-CSDN博客
当使用MYSQL单实例，因数据量剧增出现性能问题的时候，普通的分库分表又难以满足其需求，一些客户会考虑迁移至分布式数据库。TDSQL 分布式是一款面向金融领域的一款数据库，适合应用在海量数据、高性能，高并发的使用场景。那么我们从MYSQL迁移至TDSQL都有哪些途径呢 ？这里我们对MYSQL离线迁移至分布式TDSQL 介绍一种方法：
对于想要从事或爱好mysql相关工作的童鞋们，有必要掌握在命令行下对mysql实现一些简单的操作。本文从描述了如何登录到mysql数据库服务器，如何在mysql提示符下发布命令，创建数据库，以及执行一些简单的DML操作。
1、通过SQL的insert方法一条一条导入，适合数据量小的CSV文件，这里不做赘述。
clear \c 在客户端有命令打错的情况后面跟上相当于ctrl+c 在5.6中ctrl+c就退出客户端了
好了，有个字符集为UTF8MB4的表中想存储各类不同字符集的文本，有哪些注意事项亿避免乱码？
unique、 primary key、not null、default相对简单，本篇文章不做记录。
近期在做一些国产数据库的 POC 工作，在数据迁移导出时用到了数据导出工具 sqluldr2，它是一款十分不错的 oracle 数据导出工具，还支持导出时同时生成 sqlldr 的控制文件,它可以将数据以 TXT/CSV 等格式导出，能导出亿级数据为 excel 文件，包含32、64 位程序，不仅在大数据量导出方面速度超快，导入速度也是非常快速。
数据库项目作业要团队开发 web，选择了尝试后端，又向做出自己的网站这个目标踏出了一步。
Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
用 shell 写的原因是方便任务调度框架 oozie、anzkaban 定时调度
异常处理汇总-数据库系列 http://www.cnblogs.com/dunitian/p/4522990.html 先看看啥情况 复制查询到的数据，粘贴一下看看啥情况 那就批量处理一下~ 就这样
我们通常会遇到这样的一个场景，就是需要将一个数据库的数据迁移到一个性能更加强悍的数据库服务器上。这个时候需要我们做的就是快速迁移数据库的数据。
我在“UTF8字符集的表怎么直接转UTF8MB4”一文中介绍了如何把表字符集由UTF8直接转换成UTF8MB4的几种方法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
