SSH+Oracle批量安插数据小结
SSH+Oracle批量插入数据小结
插入数据是一项很简单的操作,但一旦提高了数据量,就变得不那么容易。
最近项目中使用SSH+oracle数据库,使用C3P0连接池,要求当执行某动作时在2表中各插入一万条数据。于是就采用了jdbc的方式插入。
先获取一个sequence,再将数据插入到数据库中。一测试时间,崩溃了,用时近3分钟(其中获取两个表的sequence很费时),后来想想以前曾经做过一个类似的项目,使用了主键自增的策略,就将主键改为自增了。再次测试,还可以,不到3秒。将此代码记录下来,以便日后参考。
顺便说说,可以使用存储过程(尤其是操作多个表插数据),这样效率更快些。
表就省略了,下面是sequence:
这个就是oracle实现自增的触发器了,TB_ID是表中得主键:
下面是数据交换层的代码:
插入数据是一项很简单的操作,但一旦提高了数据量,就变得不那么容易。
最近项目中使用SSH+oracle数据库,使用C3P0连接池,要求当执行某动作时在2表中各插入一万条数据。于是就采用了jdbc的方式插入。
先获取一个sequence,再将数据插入到数据库中。一测试时间,崩溃了,用时近3分钟(其中获取两个表的sequence很费时),后来想想以前曾经做过一个类似的项目,使用了主键自增的策略,就将主键改为自增了。再次测试,还可以,不到3秒。将此代码记录下来,以便日后参考。
顺便说说,可以使用存储过程(尤其是操作多个表插数据),这样效率更快些。
表就省略了,下面是sequence:
create sequence SEQ_TEST minvalue 1 maxvalue 999999999999999999999999999 start with 126661 increment by 1 cache 20;
这个就是oracle实现自增的触发器了,TB_ID是表中得主键:
create or replace trigger TRI_TEST before insert on tb_ticket_log for each row declare begin select SEQ_TEST.Nextval into:new.TB_ID from dual; end TRI_TEST;
下面是数据交换层的代码:
public void save(final List list) throws HibernateException, SQLException { this.getHibernateTemplate().execute(new HibernateCallback() { public Object doInHibernate(Session session) throws HibernateException, SQLException { Connection conn = session.connection(); PreparedStatement ps = null; PreparedStatement _ps = null; String sql = "INSERT INTO TB1(column,...) VALUES (?,...)"; String _sql = "INSERT INTO TB2(column,...) VALUES(?,...)"; ps = conn.prepareStatement(sql); _ps = conn.prepareStatement(_sql); for (int i = 0; i < list.size(); i++) { ps.setString(1, ""); //ps.set... ps.addBatch(); _ps.setString(1, ""); //_ps.set... _ps.addBatch(); // 每一万次执行并清除session,否则你懂的。 if (i % 10000 == 0) { ps.executeBatch(); _ps.executeBatch(); session.flush(); session.close(); } } ps.executeBatch(); _ps.executeBatch(); ps.close(); _ps.close(); session.flush(); session.close(); return null; } }); }