ORA-01000: maximum open cursors exceeded有关问题处理

ORA-01000: maximum open cursors exceeded问题处理
(1)异常信息:
ORA-01000: maximum open cursors exceeded
ORA-00604: error occurred at recursive SQL level 1
ORA-01000: maximum open cursors exceeded
ORA-01000: maximum open cursors exceeded

ORA-02063: preceding 5 lines from APP_165

org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:978)
org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:868)
javax.servlet.http.HttpServlet.service(HttpServlet.java:646)
org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:842)
javax.servlet.http.HttpServlet.service(HttpServlet.java:727)
org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
com.alibaba.druid.support.http.WebStatFilter.doFilter(WebStatFilter.java:123)
org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:85)
org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
</pre></p><p><b>root cause</b> <pre>com.zcrm.exception.ZCrmException: ICommonSV服务执行getAll方法异常,SQL:[ SELECT COUNT(1) TOTAL_COUNT FROM (  SELECT A.MEM_ID FROM DWF_CRM_MEM_EXTINFO@APP_165 A WHERE  A.DIM_CODE = 5 AND A.CITY_ID = 10 AND (  A.V01 = 1 OR  A.V02 = 1 OR  A.V04 = 1 )  INTERSECT  SELECT A.MEM_ID FROM DWF_CRM_MEM_EXTINFO@APP_165 A WHERE  A.DIM_CODE = 1 AND A.CITY_ID = 10 AND (  A.V09 = 1 )  INTERSECT  SELECT A.MEM_ID FROM DWF_CRM_MEM_EXTINFO@APP_165 A WHERE  A.DIM_CODE = 2 AND A.CITY_ID = 10 AND (  A.V02 = 1 )  INTERSECT  SELECT A.MEM_ID FROM DWF_CRM_MEM_EXTINFO@APP_165 A WHERE  A.DIM_CODE = 10 AND A.CITY_ID = 10 AND (  A.V03 = 1 )  INTERSECT  SELECT A.MEM_ID FROM DWF_CRM_MEM_EXTINFO@APP_165 A WHERE  A.DIM_CODE = 17 AND A.CITY_ID = 10 AND (  A.V02 = 1 )  INTERSECT  (  SELECT MEM_ID FROM DWF_CRM_MEM_EXTINFO_PURCHASE@APP_165 A WHERE A.CITY_ID = 10 AND  A.BUY_DEMAND = 1 )  INTERSECT  (  SELECT DISTINCT MEM_ID FROM DWF_CRM_MEM_EXTINFO_LOUPAN@APP_165 A WHERE A.CITY_ID = 10 AND A.BUY_NEW_LOUPAN IN ( 1 )  )  INTERSECT  (  SELECT A.MEMID MEM_ID FROM DWF_CRM_MEM_INFO@APP_165 A WHERE NOT EXISTS (SELECT 1 FROM ZCRM_ACTIVITY_MEM_REL B WHERE B.MEM_ID = A.MEMID AND B.ACTIVITY_ID = 907 ) AND A.CITY_ID = 10 AND A.STATUS = 1 AND A.PHONETYPE = 1 )  ) ],异常信息:
### Error querying database.  Cause: java.sql.SQLException: ORA-00604: error occurred at recursive SQL level 1
 
 
(2)游标是什么
(2.1)Oracle 游标是什么?

①从表中检索出结果集,从中每次指向一条记录进行交互的机制。

 

②关系数据库中的操作是在完整的行集合上执行的。

 

SELECT 语句返回的行集合包括满足该语句的WHERE 子句所列条件的所有行。由该语句返回完整的行集合叫做结果集。

 

应用程序,尤其是互动和在线应用程序,把完整的结果集作为一个单元处理并不总是有效的。

这些应用程序需要一种机制来一次处理一行或连续的几行。而游标是对提供这一机制的结果集的扩展。
 
游标跟踪结果集中的位置,并允许对结果集逐行执行多个操作,在这个过程中可能返回至原始表,也可能不返回至原始表。
换句话说,游标从概念上讲基于数据库的表返回结果集。
 
(2.2)Oracle中查看游标配置
 
SQL> show parameter cursors;
NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
open_cursors                         integer     2000
session_cached_cursors               integer     50
 

session_cached_cursors 和 open_cursor的区别是什么呢? 

session_cached_cursor 是指在PGA区存放的一个游标的缓存,
open_cursor是指实际打开的软引用。
 
 
(2.3)Oracle中查看打开游标信息
--查看打开的游标
SELECT * FROM v$open_cursor a WHERE a.USER_NAME = 'ZCRM';
 
 
(3)问题分析
 
(3.1)错误日志分析
从这个错误上看,是我们执行SQL时,超过了最大的游标设置数
 
 
(3.2)为何游标的数量越来越大?
通过
SELECT * FROM v$open_cursor a WHERE a.USER_NAME = 'ZCRM';
这句SQL,我们发现每执行一个SQL,游标的数量就会增加
 
 
(3.3)配置文件分析
(3.3.1)Druid连接池+Mybatis
 
<bean id="oracleZcrmDataSource" class="com.alibaba.druid.pool.DruidDataSource"
        init-method="init" destroy-method="close">
        <!-- 数据库基本信息配置 -->
        <property name="driverClassName" value="${jdbc_driver}" />
        <property name="url" value="${jdbc_url}" />
        <property name="username" value="${jdbc_username}" />
        <property name="password" value="${jdbc_password}" />        
        <!-- 初始化连接数量 -->
        <property name="initialSize" value="${initialSize}" />
        <!-- 最大并发连接数-->
        <property name="maxActive" value="${maxActive}" />
        <!-- 最大空闲连接数   已经不再使用,配置了也没效果-->
        <property name="maxIdle" value="${maxIdle}" />
        <!-- 最小空闲连接数 -->
        <property name="minIdle" value="${minIdle}" />
        <!-- 配置获取连接等待超时的时间 -->    
        <property name="maxWait" value="${maxWait}" />
        <!-- 超过时间限制是否回收 -->
        <property name="removeAbandoned" value="${removeAbandoned}" />
        <!-- 超过时间限制多长; -->
        <property name="removeAbandonedTimeout" value="${removeAbandonedTimeout}" />
        <!-- 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒 -->
        <property name="timeBetweenEvictionRunsMillis" value="${timeBetweenEvictionRunsMillis}" />
        <!-- 配置一个连接在池中最小生存的时间,单位是毫秒 -->
        <property name="minEvictableIdleTimeMillis" value="${minEvictableIdleTimeMillis}" />
        <!-- 用来检测连接是否有效的sql,要求是一个查询语句-->
        <property name="validationQuery" value="${validationQuery}" />
        <!-- 申请连接的时候检测 -->
        <property name="testWhileIdle" value="${testWhileIdle}" />
        <!-- 申请连接时执行validationQuery检测连接是否有效,配置为true会降低性能 -->
        <property name="testOnBorrow" value="${testOnBorrow}" />
        <!-- 归还连接时执行validationQuery检测连接是否有效,配置为true会降低性能  -->
        <property name="testOnReturn" value="${testOnReturn}" />
        <!-- 打开PSCache,并且指定每个连接上PSCache的大小 -->
        <property name="poolPreparedStatements" value="${poolPreparedStatements}" />    
        <property name="maxPoolPreparedStatementPerConnectionSize" value="${maxPoolPreparedStatementPerConnectionSize}" />
        <!--属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有:                
                  监控统计用的filter:stat
                  日志用的filter:log4j
                 防御SQL注入的filter:wall -->
        <property name="filters" value="${filters}" />      
    </bean>
 
(3.3.2)深入分析
 
poolPreparedStatements
是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql下建议关闭。
这边需要特别注意的是:如果我们的查询不是通过prepareStatement方式去查询的时候,PSCache没有效果,并且会增加Oracle数据库的游标,这个时候如果游标值设置的过小,就会出现【ORA-01000: maximum open cursors exceeded】这个错误。
因为我们这边的SQL是动态生成的,所以无法使用prepareStatement查询
 
 

PSCache

PSCache内存占用优化对于支持游标的数据库(Oracle、SQL Server、DB2等,不包括MySql),PSCache可以大幅度提升SQL执行性能。一个PreparedStatement对应服务器一个游标,如果PreparedStatement被缓存起来重复执行,PreparedStatement没有被关闭,服务器端的游标就不会被关闭,性能提高非常显著。在类似“SELECT * FROM T WHERE ID = ?”这样的场景,性能可能是一个数量级的提升。但在Oracle JDBC Driver中,其他的数据库连接池(DBCP、JBossDataSource)会占用内存过多,极端情况可能大于1G。Druid调用OracleDriver提供管理PSCache内部API。 
http://www.iteye.com/magazines/90
 
 
注意:服务器端的游标就不会被关闭,性能提高非常显著
这个就意味着服务器打开的游标,就会缓存游标信息
 
 
(4)问题解决
 
(4.1)数据库层面修改游标配置

修改游标大小

alter system set open_cursors=2000 scope=both;
 
(4.2)代码层面修改
poolPreparedStatements = false