发现一个很诡异的有关问题，求大神解惑
发现一个很诡异的问题，求大神解惑
用ASP+SQLSERVER做了一个简单的页面抓取程序，实现过程就是在页面设置一个按钮，打开新窗口，新窗口的ASP页面执行如下操作：从数据库的表中取出10万条URL记录，然后通过serverXMLHTTP抓取页面，然后将抓取到的HTML内容存入对应URL的数据表中。
一直都很奇怪，页面每次运行2个小时不到就会提示：找不到服务器，无法显示网页，如下图：
错误如下：
但其实，要抓取的网页完全是可以正常访问的。
今天又和往常一样出现这个情况，但不同的是，今天手残，随意打开了一下资源管理器，发现即使页面发生了错误，内存和CPU的占用都没有降下来，如下图：
心想，难道页面错误了，ASP页面还在继续运行？？？？？？？？？？？？
于是SELECT了一下数据库，发现，即使页面提示错误了，
ASP页面的程序仍然在不停的抓取数据库中取出的网址，同时将抓取到的内容存入SQLSERVER数据库中。。。。
见下图：
刷新一下，变成：
于是我就纳闷了，怎么页面错误了，还能执行操作。。。。不知道也没错误以后，抓取到的是什么东东，于是查看了下最新抓取的10条记录，，，，尽然没有一点错误，，，，也就是说，即使页面提示错误了，抓取程序依然在正常的运行，，，
难道是见鬼了，，，求大神解惑啊，，，，，
------解决思路----------------------
好奇怪的样子哦，说不定重新写一下就好了。。
------解决思路----------------------
你试着用chrome打开,按F12跟踪分析一下具体原因
------解决思路----------------------
运行那么长时间的话，可以改写成vbs程序，命令行方式运行
------解决思路----------------------
应该是你的IIS的worker processor使用过多的资源，没有释放自己而让网页不能访问。
------解决思路----------------------
没有遇到过这种情况
倒是遇到过 抓取的数据过多，没有及时提交，导致缓冲区被占满而down机的情况
如果你的 抓取程序 有用了循环的话
很有可能 是程序加载到内存中了，且一直在运行，但我不知道你的这个后台抓取程序和前台的关系是怎么建立的！一般来说这种大规模 大数据量的抓取是不用实时显示到前端的，如果你是在实时向前端显示数据 有没有可能你的前端浏览器崩溃了，要知道前端浏览器和后台程序是独立存在，分开运行的
用ASP+SQLSERVER做了一个简单的页面抓取程序，实现过程就是在页面设置一个按钮，打开新窗口，新窗口的ASP页面执行如下操作：从数据库的表中取出10万条URL记录，然后通过serverXMLHTTP抓取页面，然后将抓取到的HTML内容存入对应URL的数据表中。
一直都很奇怪，页面每次运行2个小时不到就会提示：找不到服务器，无法显示网页，如下图：
错误如下：
但其实，要抓取的网页完全是可以正常访问的。
今天又和往常一样出现这个情况，但不同的是，今天手残，随意打开了一下资源管理器，发现即使页面发生了错误，内存和CPU的占用都没有降下来，如下图：
心想，难道页面错误了，ASP页面还在继续运行？？？？？？？？？？？？
于是SELECT了一下数据库，发现，即使页面提示错误了，
见下图：
刷新一下，变成：
于是我就纳闷了，怎么页面错误了，还能执行操作。。。。不知道也没错误以后，抓取到的是什么东东，于是查看了下最新抓取的10条记录，，，，尽然没有一点错误，，，，也就是说，即使页面提示错误了，抓取程序依然在正常的运行，，，
难道是见鬼了，，，求大神解惑啊，，，，，
------解决思路----------------------
好奇怪的样子哦，说不定重新写一下就好了。。
------解决思路----------------------
你试着用chrome打开,按F12跟踪分析一下具体原因
------解决思路----------------------
运行那么长时间的话，可以改写成vbs程序，命令行方式运行
------解决思路----------------------
应该是你的IIS的worker processor使用过多的资源，没有释放自己而让网页不能访问。
------解决思路----------------------
没有遇到过这种情况
倒是遇到过 抓取的数据过多，没有及时提交，导致缓冲区被占满而down机的情况
如果你的 抓取程序 有用了循环的话
很有可能 是程序加载到内存中了，且一直在运行，但我不知道你的这个后台抓取程序和前台的关系是怎么建立的！一般来说这种大规模 大数据量的抓取是不用实时显示到前端的，如果你是在实时向前端显示数据 有没有可能你的前端浏览器崩溃了，要知道前端浏览器和后台程序是独立存在，分开运行的