如何修复“八位字节序列#(130)不能被解码”。在pgloader中

在使用pgloader从一个数据库（例如MySQL）迁移数据到PostgreSQL时，可能会遇到字符编码问题，例如“八位字节序列#(130)不能被解码”。这个错误通常是由于源数据库中的字符编码与目标数据库中的字符编码不匹配，或者源数据库中的数据包含无效的字符。

以下是一些解决这个问题的方法：

1. 确认源数据库的字符编码

首先，确认源数据库的字符编码。你可以在MySQL中运行以下命令来检查数据库和表的字符编码：

SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';

2. 确认目标数据库的字符编码

确保目标PostgreSQL数据库的字符编码与源数据库的字符编码兼容。你可以在PostgreSQL中运行以下命令来检查数据库的字符编码：

SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname = 'your_database_name';

3. 在pgloader中指定字符编码

在pgloader的加载脚本中，可以通过设置WITH选项来指定源和目标的字符编码。例如：

LOAD DATABASE
     FROM mysql://user:password@host/dbname
     INTO postgresql://user:password@host/dbname

 WITH
     encoding = 'utf8'  -- 指定目标数据库的字符编码
     -- 其他选项

 CAST
     type datetime to timestamptz drop default drop not null using zero-dates-to-null,
     type date drop not null drop default using zero-dates-to-null

 SET work_mem to '16MB', maintenance_work_mem to '512 MB';

4. 清理源数据中的无效字符

如果源数据中包含无效的字符，可以在迁移之前清理这些数据。例如，可以使用MySQL的CONVERT函数来转换字符编码，并使用REPLACE函数来移除无效字符。

UPDATE your_table
SET your_column = REPLACE(CONVERT(your_column USING utf8), '�', '');

5. 使用pgloader的`--debug`选项

使用pgloader的--debug选项来获取更多的调试信息，这样可以更好地了解问题的根源。

pgloader --debug your_load_script.load

6. 使用pgloader的`WITH`选项中的`data only`选项

如果问题出在数据导入阶段，可以尝试使用data only选项来仅导入数据，而不导入表结构。

LOAD DATABASE
     FROM mysql://user:password@host/dbname
     INTO postgresql://user:password@host/dbname

 WITH
     data only
     encoding = 'utf8'  -- 指定目标数据库的字符编码
     -- 其他选项

 CAST
     type datetime to timestamptz drop default drop not null using zero-dates-to-null,
     type date drop not null drop default using zero-dates-to-null

 SET work_mem to '16MB', maintenance_work_mem to '512 MB';

7. 使用pgloader的`WITH`选项中的`batch size`选项

有时，减少批处理大小可以帮助解决字符编码问题。

LOAD DATABASE
     FROM mysql://user:password@host/dbname
     INTO postgresql://user:password@host/dbname

 WITH
     batch size = 1000
     encoding = 'utf8'  -- 指定目标数据库的字符编码
     -- 其他选项

 CAST
     type datetime to timestamptz drop default drop not null using zero-dates-to-null,
     type date drop not null drop default using zero-dates-to-null

 SET work_mem to '16MB', maintenance_work_mem to '512 MB';