当小弟我将大量的数据插入到数据库的时候,经常会出现服务器超时的异常
当我将大量的数据插入到数据库的时候,经常会出现服务器超时的错误
请问要怎么提高这种大数据量的更新插入操作的性能啊,完全没有思路啊,
感觉存储数据的SQL语句都是一样的吧,Insert into
------解决方案--------------------
开启事务批量insert数据, oracle的话可以100条提交,在出错的地方try{}, 并继续从刚出错的地方继续执行。
------解决方案--------------------
这个问题要多方面去讨论。按照上面的思路,如果插入数据过于巨大,那么讲造成数据库回滚栈爆掉。
要解决问题,你首先得说明系统瓶颈是什么。如果是存储的瓶颈,可以考虑过分区,分库。
如果是接入点不能承担负荷,可以考虑加节点。
如果业务允许批量添加,可以在后台用专门的工具,如sqlloader之类的。
请问要怎么提高这种大数据量的更新插入操作的性能啊,完全没有思路啊,
感觉存储数据的SQL语句都是一样的吧,Insert into
------解决方案--------------------
开启事务批量insert数据, oracle的话可以100条提交,在出错的地方try{}, 并继续从刚出错的地方继续执行。
------解决方案--------------------
这个问题要多方面去讨论。按照上面的思路,如果插入数据过于巨大,那么讲造成数据库回滚栈爆掉。
要解决问题,你首先得说明系统瓶颈是什么。如果是存储的瓶颈,可以考虑过分区,分库。
如果是接入点不能承担负荷,可以考虑加节点。
如果业务允许批量添加,可以在后台用专门的工具,如sqlloader之类的。