摘要：本文介绍了我们基于 Dlink 来建设 FlinkCDC 流式入湖 Hudi Sync Hive 的实践分享。内容包括：
如果你在 Chrome Dev Tools 控制台中输入 JSON.parse('{"taskid": 9007199254740993}') 运行结果返回的将会是 {taskid: 9007199254740992}。为什么 parse 后的数值会不一致？
首先， 溢出，通俗的讲就是意外数据的重新写入，就像装满了水的水桶，继续装水就会溢出，而溢出攻击就是，攻击者可以控制溢出的代码，如果程序的对象是内核级别的，如dll、sys文件等，就可以直接操控系统内核了
本篇博客，博主为大家带来的是大数据实战【千亿级数仓】阶段二的内容。
CREATE 语句用于向当前或指定的 Catalog 中注册库、表、视图或函数。注册后的库、表、视图和函数可以在 SQL 查询中使用。
注意两个地方： 1.时间转换问题：timestamp、date，time 以上时间类型会被sqoop转成int,long型，无法直接转成时间类型 如果要转的有两个办法：
使用orm定义，然后使用cmd方式，自动建表，不过在实际生产中还是直接使用sql操作的，这种模型定义在生产环境中定义的比较少，基本上都是直接使用基本类型，一些特殊的，都是在数据库中定义的。
MySQL 5.7.8版本支持原生JSON数据类型，可以更有效地存储和管理JSON文档。
实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于Flink SQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：
Hive sql 与传统的 oracle 或者mysql 的时间转换函数有一些不同，对于想将传统数据库迁移到hdfs 用 hive sql 进行处理的任务，如何用 hive sql 实现传统数据库sql 时间转换函数，是一个必须要解决的问题。
在使用Java JDBC时，你是否有过这样的疑问：MySQL里的数据类型到底该选择哪种Java类型与之对应？本篇将为你揭开这个答案。
本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi中。
今天出现了一个bug，在数据库中我们将订单表中的order_no从之前的bigint(20)改成varchar(20)后，原有的代码逻辑在进行时查询时，之前是以Long类型传参查询的。
mysql和hive中的数据类型存在差异，在mysql集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和mysql结构一致的表。
本篇作为【SparkSQL编程】系列的第二篇博客,为大家介绍的是DataSet概念入门以及与DataFrame的互操作。
数据采集时如果使用datax的话，必须先手工建好表之后才能进行数据采集；使用sqoop的话虽然可以默认建表，但是每次还要手工配置命令。表数量不多的话还好，如果多库多表需要批量采集的话工作量会很大，因此需要一个批量生成建表语句的功能来节省人力。
本文基于Flink SQL与hudi构建准实时数仓，在Flink从kafka接入数据之后，即将所有数据存于hudi中，包括所有中间处理数据以及最终数据。文章《实时数仓|基于Flink1.11的SQL构建实时数仓探索实践 (qq.com)》描述了基于Flink SQL与kafka构建的实时数仓，本文以上述文章为基础。
•Flink 1.12.2_2.11•Hudi 0.9.0-SNAPSHOT(master分支)•Spark 2.4.5、Hadoop 3.1.3、Hive 3.1.2
使用 flink(table sql)+kafka+mysql 实现一个简单的 demo
datax内置的enumType数据类型与不同数据库间都有些差异，本文整理出相应的映射关系，在配置自定义json时可以参考做一些类型转换
语法: from_unixtime(bigint unixtime[, stringformat])
在前面：微服务调用链追踪中心搭建 一文中我们利用 Zipkin 搭建了一个微服务调用链的追踪中心，并且模拟了微服务调用的实验场景。利用 Zipkin 的库 Brave，我们可以收集一个客户端请求从发出到被响应 经历了哪些组件、哪些微服务、请求总时长、每个组件所花时长 等信息。
Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。flink-savepoint介绍
0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件使用的flink-connector-hive版本有问题，所以需要修改pom文件。
本项目是sleuth和zipkin在spring cloud环境中使用，其中sleuth和zipkin是通过RabbitMQ进行通信，同时zipkin的数据是存储在mysql中。
Java 常用的数据类型： https://blog.csdn.net/zhangyong01245/article/details/101310236
支持非阻塞的DROP TABLE和RENAME TABLE查询和原子的EXCHANGE TABLES t1 AND t2查询。默认情况下使用Atomic数据库引擎。
本文上半部分之前已经发过了，传送门：50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 上
MySQL 数据类型对应 Java 数据类型 类型名称 显示长度 数据库类型 JAVA 类型 JDBC 类型索引 (int) 描述 VARCHAR L+N VARCHAR java.lang.String 12 CHAR N CHAR java.lang.String 1 BLOB L+N BLOB java.lang.byte[] -4 TEXT 65535 VARCHAR java.lang.String -1 INTEGER 4 INTEGER UNSIGNED java.lang.Long 4 TINYINT 3 TINYINT UNSIGNED java.lang.Integer -6 SMALLINT 5 SMALLINT UNSIGNED java.lang.Integer 5 MEDIUMINT 8 MEDIUMINT UNSIGNED java.lang.Integer 4 BIT 1 BIT java.lang.Boolean -7 BIGINT 20 BIGINT UNSIGNED java.math.BigInteger -5 FLOAT 4+8 FLOAT java.lang.Float 7 DOUBLE 22 DOUBLE java.lang.Double 8 DECIMAL 11 DECIMAL java.math.BigDecimal 3 BOOLEAN 1 同 TINYINT ID 11 PK (INTEGER UNSIGNED) java.lang.Long 4 DATE 10 DATE java.sql.Date 91 TIME 8 TIME java.sql.Time 92 DATETIME 19 DATETIME java.sql.Timestamp 93 TIMESTAMP 19 TIMESTAMP java.sql.Timestamp 93 YEAR 4 YEAR java.sql.Date 91 对于 bolb，一般用于对图片的数据库存储，原理是把图片打成二进制，然后进行的一种存储方式，在 java 中对应 byte［］数组。
MySQL数据类型对应Java数据类型 类型名称 显示长度 数据库类型 JAVA类型 JDBC类型索引(int) 描述 VARCHAR L+N VARCHAR java.lang.String 12 CHAR N CHAR java.lang.String 1 BLOB L+N BLOB java.lang.byte[] -4 TEXT 65535 VARCHAR java.lang.String -1 INTEGER 4 INTEGER UNSIGN
Hive内部提供了很多函数给开发者使用，包括数学函数，集合函数，类型转换函数，日期函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。
语法: concat_ws(string SEP, string A, string B…)
public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); StreamTableEnvironment tableEnv = StreamTableEnvironment.c
CDC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等。
在MySQL中时间类型的选择有很多，比如：date、time、year、datetime、timestamp...
Mybatis中jdbcType和javaType的对应关系 JDBC Type Java Type CHAR String VARCHAR String LONGVARCHAR String NUMERIC java.math.BigDecimal DECIMAL java.math.BigDecimal BIT
作为一名数（取）据（数）分（工）析（具）师（人），不得不夸一下SQL，毕竟凭一己之力养活了80%的数据分析师，甚至更多。SQL语言短小精悍，简单易学，而且分析师重点只关注查询，使得学习成本和时间成本瞬间就下来了。
有赞大数据技术应用的早期，我们使用 Sqoop 作为数据同步工具，满足了 MySQL 与 Hive 之间数据同步的日常开发需求。
不同版本的Flink对JDK版本要求不尽相同，需要根据具体的Flink版本要求先安装好JDK环境。 通常，在Flink的Release Notes中有对应JDK版本的说明，如：Release Notes for Flink 1.15 ，要求安装JDK11。 下载JDK 并进行安装配置。
我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录） 的概念。
在有些应用场景中，我们会有需要动态创建和操作表的需求。比如因为单表数据存储量太大而采取分表存储的情况，又或者是按日期生成日志表存储系统日志等等。这个时候就需要我们动态的生成和操作数据库表了。而我们都知道，以往我们使用MyBatis是需要提前生成包括Model，Mapper和XML映射文件的，显然因为动态生成和操作表的需求一开始表都是不存在的，所以也就不能直接通过MyBatis连接数据库来生成我们的数据访问层代码并用来访问数据库了。还好MyBatis提供了动态SQL，我们可以通过动态SQL，传入表名等信息然组装成建表和操作语句，接下来，我们就通过一个具体的案例来了解一下。
对于第一题，我联想到leetcode的第N高的薪水的问题，没错第一题最好采用函数的方法，将 N = 10 来作为参数输入
主要有两种同步策略：离线同步 与 实时同步 ，各有其特点和适用场景 但是，这些我今天都不讲，就吊吊你们胃口
现在信创是搞得如火如荼，在这个浪潮下，数据库也是从之前熟悉的Mysql换到了某国产数据库。
我们通过一个简单的权限控制需求，采用RBAC(Role-Based Access Control基于角色的访问控制)方式，通过这个示例我们来学习 MyBatis XML方式的基本用法。
笔者最近在对原生JS的知识做系统梳理，因为我觉得JS作为前端工程师的根本技术，学再多遍都不为过。打算来做一个系列，一共分三次发，以一系列的问题为驱动，当然也会有追问和扩展，内容系统且完整，对初中级选手会有很好的提升，高级选手也会得到复习和巩固。敬请大家关注！
假如我们将《0基础学习PyFlink——使用PyFlink的Sink将结果输出到外部系统》中的模式从批处理（batch）改成流处理（stream），则其在print连接器上产生的输出是不一样。
数据库列字段都是有类型的，不同的数据库有不同的类型。为了表示这些数据类型，Java源码是采用枚举来定义的：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
