谈谈Spring Boot 数据源加载及其多数据源简单实现

原创

冷冷

发布于 2019-04-12 13:14:17

1.1K0

发布于 2019-04-12 13:14:17

文章被收录于专栏：冷冷

业务需求

提供所有微服务数据源的图形化维护功能
代码生成可以根据选择的数据源加载表等源信息
数据源管理要支持动态配置，实时生效附录效果图

实现思路

本文提供方法仅供类似简单业务场景，在生产环境和复杂的业务场景请使用分库分表的中间件（例如mycat）或者框架 sharding-sphere （一直在用）等

先来看Spring 默认的数据源注入策略，如下代码默认的事务管理器在初始化时回去加载数据源实现。这里就是我们动态数据源的入口 .

// 默认的事务管理器
ppublic class DataSourceTransactionManager extends AbstractPlatformTransactionManager
		implements ResourceTransactionManager, InitializingBean {
    
    // 启动时候注入一个数据源
	public void setDataSource(@Nullable DataSource dataSource) {
		if (dataSource instanceof TransactionAwareDataSourceProxy) {
			this.dataSource = ((TransactionAwareDataSourceProxy) dataSource).getTargetDataSource();
		}
		else {
			this.dataSource = dataSource;
		}
	}
」
``` .

通过注入一个新的DataSourceTransactionManager 实现，并且给它设置多个 DataSource 来实现多数据源实现
看下Spring 默认提供的路由数据源字段 .

public abstract class AbstractRoutingDataSource extends AbstractDataSource implements InitializingBean {
    
    // 用户设置的全部的数据源配置
	@Nullable
	private Map<Object, Object> targetDataSources;
    // 为空默认的数据源配置
	@Nullable
	private Object defaultTargetDataSource;
    
    // 路由键查找实现
	private DataSourceLookup dataSourceLookup = new JndiDataSourceLookup();
    
    // 最终有效的数据源配置（一般清空对应上边用户的设置）
	@Nullable
	private Map<Object, DataSource> resolvedDataSources;
}
``` .

开始动手

实现AbstractRoutingDataSource，定一个动态数据源实现，只需要实现他的路由key 查找方法即可。这里的路由key 对应其实是resolvedDataSources Map 的key哟 .

@Slf4j
public class DynamicDataSource extends AbstractRoutingDataSource {

	/**
	 * 指定路由Key,这里很简单 获取 threadLocal 中目标key 即可
	 *
	 * @return
	 */
	@Override
	protected Object determineCurrentLookupKey() {
		return DynamicDataSourceContextHolder.getDataSourceType();
	}
}

把我们动态数据源实现注入到Spring 的事务管理器,去数据库查询出来全部的数据源信息，定义一个个具体的数据源实现我这里使用的HikariDataSource 给他赋值等等 .

@Slf4j
@Configuration
@AllArgsConstructor
public class DynamicDataSourceConfig implements TransactionManagementConfigurer {
	private final Map<Object, Object> dataSourceMap = new HashMap<>(8);
	private final DataSourceProperties dataSourceProperties;

	@Bean("dynamicDataSource")
	public DynamicDataSource dataSource() {
        JdbcTemplate(dds).queryForList(DataSourceConstant.QUERY_DS_SQL);
		log.info("开始 -> 初始化动态数据源");
		Optional.of(dbList).ifPresent(list -> list.forEach(db -> {
			log.info("数据源:{}", db.get(DataSourceConstant.DS_NAME));
			HikariDataSource ds = new HikariDataSource();
			dataSourceMap.put(db.get(DataSourceConstant.DS_ROUTE_KEY), ds);
		}));
		
		DynamicDataSource ds = new DynamicDataSource();
		ds.setTargetDataSources(dataSourceMap);
		return ds;
	}

	@Bean
	public PlatformTransactionManager txManager() {
		return new DataSourceTransactionManager(dataSource());
	}

	@Override
	public PlatformTransactionManager annotationDrivenTransactionManager() {
		return txManager();
	}

}
``` .

怎么使用

只需要根据用户前台选择的数据源key ，在业务类保存到TTL 即可，会自动根据选择路由数据源 .

DynamicDataSourceContextHolder.setDataSourceType（key）
``` .

这里当然也可以根据AOP 自定义注解等实现。

如何动态数据源动态配置

上边其实已经完成了我们想要的需求功能，但是有什么问题呢？

我们在数据源管理面维护了数据源，动态去修改这个 dataSourceMap 其实是无效的，不能做到实时刷新

我们来看下 AbstractRoutingDataSource 的加载map 数据源的源码，只有在初始化的时候调用 afterPropertiesSet 去初始数据源map.

那我们只要获取当前的DynamicDataSource bean 手动调用afterPropertiesSet 即可。

整个代码如下 .

public class DynamicDataSourceConfig implements TransactionManagementConfigurer {
	private final Map<Object, Object> dataSourceMap = new HashMap<>(8);
	private final DataSourceProperties dataSourceProperties;
	private final StringEncryptor stringEncryptor;

	@Bean("dynamicDataSource")
	public DynamicDataSource dataSource() {
		DynamicDataSource ds = new DynamicDataSource();
		HikariDataSource cads = new HikariDataSource();
		cads.setJdbcUrl(dataSourceProperties.getUrl());
		cads.setDriverClassName(dataSourceProperties.getDriverClassName());
		cads.setUsername(dataSourceProperties.getUsername());
		cads.setPassword(dataSourceProperties.getPassword());
		ds.setDefaultTargetDataSource(cads);
		dataSourceMap.put(0, cads);
		ds.setTargetDataSources(dataSourceMap);
		return ds;
	}

	/**
	 * 组装默认配置的数据源，查询数据库配置
	 */
	@PostConstruct
	public void init() {
		DriverManagerDataSource dds = new DriverManagerDataSource();
		dds.setUrl(dataSourceProperties.getUrl());
		dds.setDriverClassName(dataSourceProperties.getDriverClassName());
		dds.setUsername(dataSourceProperties.getUsername());
		dds.setPassword(dataSourceProperties.getPassword());

		List<Map<String, Object>> dbList = new JdbcTemplate(dds).queryForList(DataSourceConstant.QUERY_DS_SQL);
		log.info("开始 -> 初始化动态数据源");
		Optional.of(dbList).ifPresent(list -> list.forEach(db -> {
			log.info("数据源:{}", db.get(DataSourceConstant.DS_NAME));
			HikariDataSource ds = new HikariDataSource();
			ds.setJdbcUrl(String.valueOf(db.get(DataSourceConstant.DS_JDBC_URL)));
			ds.setDriverClassName(Driver.class.getName());
			ds.setUsername((String) db.get(DataSourceConstant.DS_USER_NAME));

			String decPwd = stringEncryptor.decrypt((String) db.get(DataSourceConstant.DS_USER_PWD));
			ds.setPassword(decPwd);
			dataSourceMap.put(db.get(DataSourceConstant.DS_ROUTE_KEY), ds);
		}));

		log.info("完毕 -> 初始化动态数据源,共计 {} 条", dataSourceMap.size());
	}

	/**
	 * 重新加载数据源配置
	 */
	public Boolean reload() {
		init();
		DynamicDataSource dataSource = dataSource();
		dataSource.setTargetDataSources(dataSourceMap);
		dataSource.afterPropertiesSet();
		return Boolean.FALSE;
	}


	@Bean
	public PlatformTransactionManager txManager() {
		return new DataSourceTransactionManager(dataSource());
	}

	@Override
	public PlatformTransactionManager annotationDrivenTransactionManager() {
		return txManager();
	}
``` .