Java DB loadBalance设计
作者:csophys 发布时间:[ 2017/1/23 11:43:20 ] 推荐标签:测试开发技术 JAVA
Table of Contents
1、JDBC
简单介绍下JDBC的定义,如下(摘自百度百科):
JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序,同时,JDBC也是个商标名。平时我们在实际开发中一般都是直接使用连接池来做DB相关操作的,很少会直接使用JDBC进行编程。但是连接池底层连接DB的时候也是使用的JDBC,比如c3p0。
下面通过代码介绍下通过JDBC操作DB的过程。如下所示:
//1. 注册DriverManager,DriverManager中的静态List registeredDrivers 保存了所有的Driver引用
Class.forName("com.mysql.jdbc.Driver");
//2.拼接连接信息,协议/子协议/数据源标识,连接信息
String url = "jdbc:mysql://localhost:3306/csc?user=root&password=xxxx";
//3. DriverManager 负责从注册的驱动中挑选合适的连接
Connection connection = DriverManager.getConnection(url);
//4. 建立陈述式语句 (Statement,PrepareStatement(安全性[防止sql注入]和性能),CallableStatement(存储过程))
//4.1 Statement
Statement statement = connection.createStatement();
//execute query
ResultSet resultSet = statement.executeQuery("SELECT * FROM test ORDER by ID limit 10");
//4.2 PrepareStatement,在一个提交中设置了多个陈述式语句。
connection.setAutoCommit(false);
PreparedStatement preparedStatementInsert = connection.prepareStatement("INSERT into test(name,sex) VALUES (?,?)");
preparedStatementInsert.setString(1, "csophys");
preparedStatementInsert.setInt(2, 0);
preparedStatementInsert.execute();
Statement getLastIdStatement = connection.createStatement();
ResultSet set = getLastIdStatement.executeQuery("SELECT LAST_INSERT_ID()");
connection.commit();
//4.3 statement 的batch的功能以及CallableStatement平时用的不多
//5. 处理返回结果ResultSet
while (resultSet.next()) {
System.out.println(resultSet.getString(2));
System.out.println(resultSet.getString("id"));
}
while(set.next()){
System.out.println(set.getString(1));
System.out.println(set.getString("LAST_INSERT_ID()"));
}
通过上面的代码,比较清楚的能够看到通过JDBC进行DB操作的几个步骤。如下图所示:
其中 建立陈述式语句 Statement时可以有三类,,Statement,PrepareStatement,CallableStatement。CallableStatement一般用于存储过程, 而Statement和PrepareStatement一般用PrepareStatement比较多,PrepareStatement 可以预编译SQL预计,然后通过sql参数传递执行sql语句, 而Statement执行的时候是完整的执行一个sql,不会预编译,所以需要多次执行一个sql的时候。PrepareStatement比Statement的效果要好,而且PrepareStatement还可以预防SQL注入。
2、DATASOURCE
Datasource 的功能和DriverManager 比较类似,都是向外输出Connection,只是DataSource一般不直接和DB交互,而是会从连接池中获取DB连接
不要混淆DataSource,DriverManager还有连接池的概念。我的理解是,DriverManager封装了各个DB厂商数据库驱动的差异,能直接和DB操作并且向
外提供数据库连接。而连接池保存了多个DB连接,减少新建DB连接所需要的时间开销。Datasource是更高层次的封装,向外提供Connection,底层一般会
使用连接池技术。
比如采用Spring和Mybatis进行集成开发的时候,会需要配置一个DataSource。一般从采用比较有名的c3p0等。如下:
<!--c3p0数据源-->
<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close">
<property name="driverClass" value="com.mysql.jdbc.Driver" />
<property name="jdbcUrl" value="jdbc:mysql://localhost:3306/csc" />
<property name="user" value="root" />
<property name="password" value="xxxx" />
</bean>
为了强化记忆,我们可以自己来实现一个简单的DataSource,来给Mybatis使用。如下:
<!--MyDatasource-->
<bean id="myDataSource" class="base.jdbc.MyDataSource">
<property name="driverClass" value="com.mysql.jdbc.Driver" />
<property name="jdbcUrl" value="jdbc:mysql://localhost:3306/csc" />
<property name="user" value="root" />
<property name="password" value="xxxx" />
</bean>
MyDataSource中来接收DB的连接信息,并且直接通过DriverManager来获取DB连接。MyDataSource只要集成javax.sql.DataSource,
并且实现里面的getConnection方法可以了。如下所示:
public class MyDataSource implements DataSource {
private String driverClass;
private String jdbcUrl;
private String user;
private String password;
public Connection getConnection() throws SQLException {
try {
Class.forName(driverClass);
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
return DriverManager.getConnection(jdbcUrl+"?user="+user+"&password="+password);
}
....
然后用自己的DataSource替换c3p0后用单元测试可以正常工作。
3、读写分离及分库分表设计
首先读写分离肯定会有多个数据源,所以需要先获取到主从库的配置信息比如,w,r1,r2.w为主库,r1,r2为从库,并且建立了3个数据源wds,rds1,rds2。 为了方便DBA修改,主从库的配置信息可以配置在远程,然后程序动态获取。
接下来可以对于多个数据源做一个封装,根据SQL类型、事务是否自动提交来决定具体走哪一个数据源。封装的类图如下所示(取名参考大众点评的架构组件zebra):
GroupPrepareStatement执行的时候,会根据SQL的类型以及配置类型会选择GroupConnection中的Datasource引用,然后获取真实的connection后进行数据库操作。
然后分库分表设计的原理也和上面类似,只是主库一般会有多个,会根据某个维度进行水平切分。执行的时候需要根据sql中的维度的值来确定具体需要选择的DataSource。
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11