MarsTalk | 一次bug发现的Base64编码的用法

最近在处理一个客户bug的时候，发现一个关于编码的有意思的事情，来跟大家聊聊。
（HelloMin:大家千万别期待Mars会介绍下故事背景什么的，下面就要开始看bug了，直男写手。）



01
发现问题



经过试验，发现TiSpark读取`BIT`类型列的Default Value的时候，报下面这个错

spark-sql> select * from t_origin_default_value_2;                                                                      
ERROR SparkSQLDriver: Failed in [select * from t_origin_default_value_2]                              
java.lang.NumberFormatException: For input string: "�"                                                                  
        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)                                
        at java.lang.Long.parseLong(Long.java:589)                                                                      
        at java.lang.Long.parseLong(Long.java:631)                                                                      
        at com.pingcap.tikv.types.IntegerType.getOriginDefaultValueNonNull(IntegerType.java:157)                        
        at com.pingcap.tikv.types.DataType.getOriginDefaultValue(DataType.java:327)                                     
        at com.pingcap.tikv.meta.TiColumnInfo.getOriginDefaultValueAsByteString(TiColumnInfo.java:192)                  
        at com.pingcap.tikv.meta.TiColumnInfo.toProtoBuilder(TiColumnInfo.java:315)                                     
        at com.pingcap.tikv.meta.TiColumnInfo.toProto(TiColumnInfo.java:304)                                            
        at com.pingcap.tikv.meta.TiDAGRequest.buildScan(TiDAGRequest.java:427)                                          
        at com.pingcap.tikv.meta.TiDAGRequest.buildTableScan(TiDAGRequest.java:276)                                     
        at com.pingcap.tikv.meta.TiDAGRequest.init(TiDAGRequest.java:969)                                               
        at com.pingcap.tikv.meta.TiDAGRequest.init(TiDAGRequest.java:974)                                               
        at com.pingcap.tikv.meta.TiDAGRequest.toString(TiDAGRequest.java:997)                                           
        at java.lang.String.valueOf(String.java:2994)      
        at java.lang.StringBuilder.append(StringBuilder.java:131)


TiDB是用JSON格式来存储Table的Schema信息，包括每一列是什么类型，默认值是多少，是否可以是Null等信息。


这个错误大概的意思是说，TiSpark在解析这个JSON的时候抛错，也就是说这是一个非法的JSON字符串。



02
做实验



发现这个现象后，我做了几个试验

# 创建BIT列默认值为0的表
CREATE TABLE `test_0` (
  `id` bigint(20) NOT NULL,
  `b` bit(1) NOT NULL DEFAULT b'0'
);

# 创建BIT列默认值为1的表
CREATE TABLE `test_1` (
  `id` bigint(20) NOT NULL,
  `b` bit(1) NOT NULL DEFAULT b'1'
);

# 创建BIT列默认值为01010101的表
CREATE TABLE `test_2` (
  `id` bigint(20) NOT NULL,
  `b` bit(8) NOT NULL DEFAULT b'01010101'
);

# 分别在3张表插入一条数据
insert into test_0(id) values(1);
insert into test_1(id) values(1);
insert into test_2(id) values(1);
然后分别把3张表的Schema的JSON字符串打印出来，发现有3个字段和Default Value有关，分别是：
1. default
2. default_bit


BIT列默认值为0的表的Schema JSON