10工作中常见知识汇总
10.1在使用外表时注意的问题
10.1.1注意\线的转义问题
10.1.1.1问题示例
在以上的结果中可以看出GP把\给转义了
10.1.1.2解答方法
drop external table if exists main.t_ent_baseinfo_external_20181214;
create external table main.t_ent_baseinfo_external_20181214(
*******
)
LOCATION ('gphdfs://nameservice1/tmp/chinadaas-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string'ESCAPE as 'OFF'FILL MISSING FIELDS)
LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;
使用ESCAPE as 'OFF'即可关闭转义,默认的是打开的
详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html
10.1.2 \1转特殊字符的问题
10.1.2.1问题示例
以下是HDFS上展示的效果
以下是GP中显示的效果
select tel from main.t_ent_baseinfo_xiaoxu_20181129 where s_ext_sequence='1949100100000041387873';
原因是GP加载外表时没有进行转义特殊字符,导致GP中把\1转换成\U001即为16进制的SOH特殊字符
10.1.2.2解答方法
drop external table if exists main.t_ent_baseinfo_external_20181214;
create external table main.t_ent_baseinfo_external_20181214(
*******
)
LOCATION ('gphdfs://nameservice1/tmp/chinadaas-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string'ESCAPE as 'OFF'FILL MISSING FIELDS)
LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;
使用ESCAPE as 'OFF'即可关闭转义,默认的是打开的
详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html
10.2 COPY命令常见错误汇总
10.2.1数据中有双引字符
10.2.1.1问题示例
$ psql -d chinadaas -h 192.168.209.11 -p 5432 -U gpadmin -c "COPY main.t_ent_casebaseinfo_internal_20181214 FROM '/home/xiaoxu/hdfs-to-greenplum/error-data/t_ent_casebaseinfo_internal_error_20181214.csv' WITH csv DELIMITER E'\001'";
ERROR: unterminated CSV quoted field (seg1 192.168.209.12:40001 pid=336648)
在以上可以看出数据中有双引号导致了不能正确的入库
10.2.1.2解答方法
解决方式使用sed命令替换掉即可:# sed -i‘s/”//g’filename或手动去掉即可
10.3查看字段中有特殊字符SQL
10.3.1先把表字段获取出来
select col.column_name from information_schema.columns col where col.table_schema='schemaName' and col.table_name ='tableName' order by col.ordinal_position
schemaName : schema的名字
tableName:表的名字
10.3.2查询表中的错误数据
select filedname from schemaname.tablename where filedname~'[\u0000-\u001f]';
filedname:字段的名字
schemaName : schema的名字
tableName:表的名字
[\u0000-\u001f] :是匹配的隐藏特殊字符,详情请查看:
10.3.3注意分布键的问题
10.3.3.1现象说明
在下图可以看出在使用分布键是直接写成by就会把字段进行了起别名,现象如下
10.3.3.2现象解答说明
此现象说明:https://github.com/greenplum-db/gpdb/issues/6539
领取专属 10元无门槛券
私享最新 技术干货