mysql高可用分库分表

基础概念

MySQL高可用分库分表是一种数据库架构设计，旨在提高数据库的性能和可用性。分库分表通过将数据分散到多个数据库或表中，减轻单个数据库或表的压力，从而提升系统的整体性能和可扩展性。

优势

性能提升：通过分库分表，可以将读写压力分散到多个节点，提高系统的吞吐量。
可扩展性：随着数据量的增长，可以通过增加数据库或表的数量来扩展系统容量。
高可用性：通过主从复制和集群技术，确保在部分节点故障时，系统仍能正常运行。
数据隔离：不同库或表之间的数据相互隔离，减少数据冲突和锁竞争。

类型

垂直分库：根据业务功能将不同的表划分到不同的数据库中。
水平分表：将同一个表的数据按照某种规则（如范围、哈希等）分散到多个表中。
分布式数据库：通过分布式系统将数据分散到多个物理节点上，提供更高的性能和可用性。

应用场景

大数据量：当单个数据库或表的数据量过大时，需要进行分库分表以提高性能。
高并发：在高并发场景下，分库分表可以有效减轻数据库的压力，提高系统的响应速度。
业务拆分：随着业务的发展，不同业务模块的数据可以独立存储和管理，提高系统的灵活性和可维护性。

常见问题及解决方案

1. 数据一致性问题

问题描述：在分库分表后，如何保证数据的一致性？

解决方案：

分布式事务：使用分布式事务管理框架（如Seata）来确保跨库事务的一致性。
最终一致性：对于一些非关键业务，可以采用最终一致性的策略，通过异步补偿机制来保证数据的一致性。

2. 数据迁移问题

问题描述：在进行分库分表时，如何进行数据迁移？

解决方案：

在线迁移：使用数据库自带的在线迁移工具（如MySQL的mysqldump）进行数据迁移。
双写策略：在迁移过程中，同时向新旧两个表写入数据，确保数据的完整性。

3. 查询性能问题

问题描述：分库分表后，如何优化查询性能？

解决方案：

索引优化：确保每个分片表都有合适的索引，以提高查询效率。
全局查询：对于需要跨库查询的场景，可以使用全局查询工具（如ShardingSphere）来优化查询性能。
缓存机制：使用缓存（如Redis）来缓存热点数据，减少对数据库的访问压力。

示例代码

以下是一个简单的MySQL分库分表的示例代码，使用ShardingSphere进行分库分表配置：

import org.apache.shardingsphere.api.config.sharding.ShardingRuleConfiguration;
import org.apache.shardingsphere.api.config.sharding.TableRuleConfiguration;
import org.apache.shardingsphere.api.config.sharding.strategy.StandardShardingStrategyConfiguration;
import org.apache.shardingsphere.shardingjdbc.api.ShardingDataSourceFactory;

import javax.sql.DataSource;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;

public class ShardingExample {
    public static void main(String[] args) throws Exception {
        // 配置数据源
        Map<String, DataSource> dataSourceMap = new HashMap<>();
        dataSourceMap.put("ds0", createDataSource("jdbc:mysql://localhost:3306/db0"));
        dataSourceMap.put("ds1", createDataSource("jdbc:mysql://localhost:3306/db1"));

        // 配置分库分表规则
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
        TableRuleConfiguration tableRuleConfig = new TableRuleConfiguration("t_order", "ds${0..1}.t_order${0..1}");
        tableRuleConfig.setDatabaseShardingStrategyConfig(new StandardShardingStrategyConfiguration("user_id", new PreciseShardingAlgorithm() {
            @Override
            public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
                return "ds" + (shardingValue.getValue() % 2);
            }
        }));
        tableRuleConfig.setTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("order_id", new PreciseShardingAlgorithm() {
            @Override
            public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
                return "t_order" + (shardingValue.getValue() % 2);
            }
        }));
        shardingRuleConfig.getTableRuleConfigs().add(tableRuleConfig);

        // 创建ShardingDataSource
        Properties properties = new Properties();
        properties.setProperty("sql.show", "true");
        DataSource dataSource = ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig, properties);

        // 测试查询
        try (Connection conn = dataSource.getConnection();
             Statement stmt = conn.createStatement();
             ResultSet rs = stmt.executeQuery("SELECT * FROM t_order WHERE user_id = 1")) {
            while (rs.next()) {
                System.out.println(rs.getString("order_id"));
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }

    private static DataSource createDataSource(String url) {
        // 创建数据源的逻辑（如使用HikariCP）
        return null;
    }
}