SpringBoot多数据源配置（mysql和TDengine）超详细

'# SpringBoot多数据源配置（MySQL和TDengine）超详细

一、背景与问题

在分布式系统架构中，多数据源配置是常见需求。当我们需要同时操作MySQL和TDengine（时序数据库）时，传统的单数据源配置无法满足业务需求。例如：

用户系统使用MySQL存储核心业务数据
时序数据（如传感器数据、日志指标）存储在TDengine
需要同时读写两种数据库
需要动态切换数据源（如根据请求头判断使用哪个数据库）

传统做法是创建多个数据源Bean，但需要解决以下核心问题：

动态数据源切换机制
事务一致性保障
索引优化策略
跨数据库查询兼容性
性能瓶颈点

二、基本原理

SpringBoot多数据源配置的核心是AbstractRoutingDataSource的使用，该类通过determineCurrentLookupKey()方法实现动态数据源选择。对于TDengine和MySQL的差异，需要特别注意：

项目	MySQL	TDengine
数据类型	支持JSON、全文索引	专为时序数据优化
查询语法	SQL标准	时序SQL（TSQL）
索引策略	B+树索引	时间序列索引
连接池	支持多种	原生支持
事务类型	支持ACID	支持读写事务

三、环境准备

开发环境要求：

Java 17+
Spring Boot 3.x
MySQL 8.x
TDengine 3.x
Maven 3.8+

依赖配置（pom.xml）：

<dependencies>
    <!-- Spring Boot Starter -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
    </dependency>
    
    <!-- MySQL驱动 -->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.33</version>
    </dependency>
    
    <!-- TDengine驱动 -->
    <dependency>
        <groupId>com.tdengine</groupId>
        <artifactId>tdengine-jdbc</artifactId>
        <version>3.2.0</version>
    </dependency>
    
    <!-- 数据源配置 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>
</dependencies>

四、核心实现

1. 数据源配置类（DataSourceConfig）

@Configuration
public class DataSourceConfig {

    @Bean
    @ConfigurationProperties(prefix = "spring.datasource.mysql")
    public DataSource mysqlDataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean
    @ConfigurationProperties(prefix = "spring.datasource.tdengine")
    public DataSource tdengineDataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean
    public DataSource routingDataSource(
        @Qualifier("mysqlDataSource") DataSource mysqlDS,
        @Qualifier("tdengineDataSource") DataSource tdengineDS) {
        
        AbstractRoutingDataSource routingDS = new AbstractRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>();
        targetDataSources.put("mysql", mysqlDS);
        targetDataSources.put("tdengine", tdengineDS);
        routingDS.setTargetDataSources(targetDataSources);
        routingDS.setDefaultTargetDataSource(mysqlDS);
        return routingDS;
    }
}

关键代码解释：

使用@ConfigurationProperties自动绑定配置文件
AbstractRoutingDataSource实现动态路由
setTargetDataSources配置多数据源
setDefaultTargetDataSource设置默认数据源

2. 动态数据源切换实现

public class DataSourceContextHolder {
    private static final ThreadLocal<String> CONTEXT = new ThreadLocal<>();

    public static void setDataSource(String dataSource) {
        CONTEXT.set(dataSource);
    }

    public static String getDataSource() {
        return CONTEXT.get();
    }

    public static void clearDataSource() {
        CONTEXT.remove();
    }
}

3. 自定义数据源路由策略

public class DynamicDataSourceRouter extends AbstractRoutingDataSource {

    @Override
    protected Object determineCurrentLookupKey() {
        return DataSourceContextHolder.getDataSource();
    }
}

五、完整案例

1. 配置文件（application.yml）

spring:
  datasource:
    mysql:
      url: jdbc:mysql://localhost:3306/mysql_db?useSSL=false&serverTimezone=UTC
      username: root
      password: root
      driver-class-name: com.mysql.cj.jdbc.Driver
    tdengine:
      url: jdbc:tdengine://localhost:6030/tdengine_db
      username: root
      password: root
      driver-class-name: com.tdengine.jdbc.Driver

2. 服务层代码示例

@Service
public class DataService {

    @Autowired
    private JdbcTemplate mysqlJdbcTemplate;
    
    @Autowired
    private JdbcTemplate tdengineJdbcTemplate;

    public void saveToMySQL(String data) {
        DataSourceContextHolder.setDataSource("mysql");
        try {
            mysqlJdbcTemplate.update("INSERT INTO test_table (data) VALUES (?)", data);
        } finally {
            DataSourceContextHolder.clearDataSource();
        }
    }

    public void saveToTDengine(String data) {
        DataSourceContextHolder.setDataSource("tdengine");
        try {
            tdengineJdbcTemplate.update("INSERT INTO sensor_data (ts, value) VALUES (?, ?)", 
                new Timestamp(System.currentTimeMillis()), data);
        } finally {
            DataSourceContextHolder.clearDataSource();
        }
    }
}

3. 测试类示例

@RunWith(SpringRunner.class)
@SpringBootTest
public class MultiDataSourceTest {

    @Autowired
    private DataService dataService;

    @Test
    public void testMultiDataSource() {
        dataService.saveToMySQL("Test MySQL data");
        dataService.saveToTDengine("Test TDengine data");
    }
}

六、源码解析

AbstractRoutingDataSource 实现关键点：
- 通过determineCurrentLookupKey()方法确定当前数据源
- 使用ThreadLocal保证线程安全
- 支持动态切换数据源
TDengine特殊配置：
- 需要配置serverTimezone=UTC（TDengine默认时区）
- 使用com.tdengine.jdbc.Driver驱动类
- 支持时间序列查询语法
事务管理：
- 默认使用Spring的事务传播机制
- 需要配置@Transactional注解
- 跨数据源事务需特别注意

七、进阶使用

1. AOP实现自动数据源切换

@Aspect
@Component
public class DataSourceAspect {

    @Before("execution(* com.example..service.*.*(..))")
    public void before() {
        String dataSource = determineDataSource();
        DataSourceContextHolder.setDataSource(dataSource);
    }

    private String determineDataSource() {
        // 根据请求头、用户、业务逻辑动态判断
        return "mysql"; // 示例固定值
    }
}

2. 动态数据源配置（根据请求头）

public class HeaderBasedDataSourceRouter extends AbstractRoutingDataSource {

    @Override
    protected Object determineCurrentLookupKey() {
        String dataSource = HttpServletRequestContextHolder.getRequest().getHeader("db");
        return dataSource != null ? dataSource : "mysql";
    }
}

3. 性能优化策略

连接池配置：

spring:
  datasource:
    mysql:
      hikari:
        maximum-pool-size: 10
        idle-timeout: 30000
    tdengine:
      hikari:
        maximum-pool-size: 5
        idle-timeout: 10000

索引优化：
- MySQL使用复合索引
- TDengine使用时间序列索引（如CREATE INDEX idx ON sensor_data (ts))

缓存策略：

@Cacheable(value = "data-cache", key = "#data")
public String getData(String data) {
    // 数据库查询逻辑
}

八、性能与工程实践

1. 性能瓶颈分析

问题	原因	解决方案
高并发下连接池耗尽	连接池配置不当	调整maxPoolSize、设置空闲超时
跨数据库查询性能差	查询复杂度高	优化SQL、增加缓存
数据源切换开销大	线程上下文切换频繁	使用AOP统一管理
事务管理复杂	跨数据源事务支持有限	采用本地事务+补偿机制

2. 事务一致性保障

使用@Transactional(propagation = Propagation.NESTED)实现嵌套事务
对于跨数据源操作，建议采用本地事务+消息队列的补偿机制
使用Spring的PlatformTransactionManager进行事务管理

3. 安全风险分析

敏感信息泄露：配置文件中明文存储密码
SQL注入：未使用预编译语句
数据泄露：未配置访问控制
解决方案：
- 使用Spring Cloud Config管理配置
- 使用PreparedStatement防止SQL注入
- 配置白名单访问控制

九、常见问题与踩坑

1. 常见错误及解决办法

错误	原因	解决方案
数据源切换失败	线程上下文未正确设置	确保在finally块中清除上下文
查询超时	索引缺失	增加合适的索引
事务回滚失败	未正确配置事务传播	使用`@Transactional`注解
TDengine连接失败	驱动版本不匹配	确认TDengine驱动版本与数据库版本兼容
MySQL连接失败	时区配置错误	添加`serverTimezone=UTC`参数

2. 常见坑点

数据源顺序问题：setDefaultTargetDataSource设置错误会导致默认数据源失效
事务传播问题：跨数据源事务未正确配置导致部分操作回滚
驱动兼容性：TDengine驱动版本与数据库版本不匹配导致连接失败
连接池配置不当：未根据实际负载调整连接池参数

十、最佳实践

配置管理：
- 使用Spring Cloud Config管理多环境配置
- 使用Vault或Secrets Manager加密敏感信息
数据源策略：
- 根据业务场景选择合适的路由策略
- 对关键业务使用AOP统一管理
- 对时序数据启用专门的缓存策略
性能优化：
- 使用连接池监控工具（如Prometheus）
- 对热点数据使用本地缓存
- 对查询进行SQL性能分析
安全实践：
- 使用@EnableWebSecurity配置访问控制
- 使用PasswordEncoder加密敏感字段
- 对数据库进行定期审计

十一、总结

SpringBoot多数据源配置（MySQL和TDengine）是一项复杂的系统工程，需要深入理解数据源切换机制、事务管理策略和性能优化方法。本文通过完整案例展示了如何实现多数据源配置，分析了不同实现方式的优劣，并提供了性能优化和安全实践的建议。

在实际开发中，应该根据具体业务需求选择合适的方案：

推荐使用场景：
- 需要同时访问MySQL和TDengine的业务系统
- 需要动态切换数据源的微服务架构
- 时序数据需要特殊处理的物联网系统
不推荐使用场景：
- 数据源数量极少且固定
- 业务逻辑简单，无需复杂查询
- 对性能要求不敏感的轻量级应用

通过合理配置和优化，多数据源架构可以显著提升系统灵活性和性能，但需要充分考虑系统复杂度和维护成本。