web服务器能过滤http robot吗

web服务器会过滤http robot吗?
上周用perl语言的lwp模块编写了一个http robot：自动访问一个英语网站的某个页面，然后分析所有的链接，将其中名字符合特定规则的mp3文件下载下来。前两次程序很顺利，可是，今天我再运行这个程序的时候，却无法获取网页的内容。用浏览器试验了一下也不行，但是，可以用浏览器访问网站其他页面。是不是网站把我的ip地址给过滤了，不能访问我频繁下载东西的页面？
------解决方案--------------------
服务器端来说完全可以做到功能，统计一下你的流量即可。我不觉得是服务器端能够识别你是浏览器还是机器程序。因为从数据包的角度来说可能都是一样的。只不过服务器可能对你这个IP产生的流量进行限制。
------解决方案--------------------
服务器，这类问题比较复杂。