Java性能优化战术-批处理
批处理
批处理能极大的提高分布式系统的性能·,一个典型的批处理优化是JDBC 的批处理操作,比如批量新增用户
public void testSqlInjectSafeBatch(List<Employee> users){
String sql = "insert into employee (name, city, phone) values (?, ?, ?)";
Connection conn = null;
PreparedStatement pstmt = null;
conn = dataSource.getConnection();
pstmt = conn.prepareStatement(sql);
for (Employee user:users) {
pstmt.setString(1,user.getName());
pstmt.setString(2,user.getCity());
pstmt.setString(3,user.getPhone());
pstmt.addBatch();
}
//批量执行
pstmt.executeBatch();
....//忽略异常处理,关闭数据库连接代码..
}批处理需要注意的问题是有的数据库对批量数据有限制,因此最好的办法是分批处理,比如每次处理1000条记录。
批处理能提高性能的原因主要有
- 省去了网络开销,减少网络多次请求和响应的开销。
- 服务端对每次请求都需要校验,分配和回收各种资源(如数据库,缓冲块)等
其他批处理的典型应用
- Redis提供pipeline(管道)功能,一次性的将命令传递给Redis服务器,减少网络多次请求和响应的开销
- MongDB 的bulkWrite()方法,允许混合批量添加,更新和删除操作
- ES中 提供的_bulk操作,批量查询或者修改数据
业务系统也常使用批量处理
- 商品搜索结果页面里的每个产品是否免邮,如果每个商品都需要调用运费系统,系统开销大。可以批量一次性传递30个给运费系统。减少网络开销,也减少微服务处理请求的开销
- 物联网APP,设备列表(比如家庭中的所有设备)需要显示每个设备是否在线,物联网提供批量接口查询以提高性能。
