ShardingSphere水平分表策略配置和测试实战

  • 概念

    • 水平分表

      • 把一个表的数据分到一个数据库的多张表中,每个表只有这个表的部分数据

      • 核心是把一个大表,分割N个小表,每个表的结构是一样的,数据不一样,全部表的数据合起来就是全部数据

      • 针对数据量巨大的单张表(比如订单表),按照某种规则(RANGE,HASH取模等),切分到多张表里面去

      • 但是这些表还是在同一个库中,所以单数据库操作还是有IO瓶颈,主要是解决单表数据量过大的问题

      • 减少锁表时间,没分表前,如果是DDL(create/alter/add等)语句,当需要添加一列的时候mysql会锁表,期间所有的读写操作只能等待

    • 水平分表的适用场景

      • 当一张表的数据达到几千万时,查询一次所花的时间长,需要进行优化,缩短查询时间
        • 微博发送记录、微信消息记录、日志记录。以id增长或时间划分
        • 网站签到等活动流水数据。以时间划分
实战样板
  • 依赖引入

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.1</version>
        </dependency>
    
  • application

    # 数据源 ds0 第一个数据库  --- 版本:mysql8
      shardingsphere:
        datasource:
          ds0:
            connectionTimeoutMilliseconds: 30000
            driver-class-name: com.mysql.cj.jdbc.Driver
            idleTimeoutMilliseconds: 60000
            jdbc-url: jdbc:mysql://[ip]:3306/[数据库]?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
            maintenanceIntervalMilliseconds: 30000
            maxLifetimeMilliseconds: 1800000
            maxPoolSize: 50
            minPoolSize: 50
            password: [密码]
            type: com.zaxxer.hikari.HikariDataSource
            username: [用户名]
          names: ds0
    
        props:
          # 打印执行的数据库以及语句
          sql:
            show: true
    
        sharding:
          tables:
            [表名]:
              # 指定表的数据分布情况,配置数据节点,行表达式标识符使用 ${...} 或 $->{...},但前者与 Spring 本身的文件占位符冲突,所以在 Spring 环境中建议使用 $->{...}
              actual-data-nodes: ds0.[表名_]$->{0..1}
              # 水平分表策略+行表达式分片
              table-strategy:
                inline:
                  algorithm-expression: [表名_]$->{[取模字段] % 2}
                  sharding-column: [取模字段]
    
    
  • 测试

        @Test
        public void  testSaveTraffic(){
            Random random = new Random();
            for(int i=0;i<10;i++){
                TrafficDO trafficDO = new TrafficDO();
                // 设置取模字段的值  Int
                trafficDO.setAccountNo(Long.valueOf(random.nextInt(1000)));
                trafficMapper.insert(trafficDO);
            }
        }
    
  • 结果分析

    • 取模字段accountNo为偶数的对象,存储到traffic_0表
    • 取模字段accountNo为奇数的对象,存储到traffic_1表
    • 实现水平分表
    • 缺陷: 主键id重复

热门相关:亿万盛宠只为你   裙上之臣   锦庭娇   裙上之臣   修真界败类