请问网络蜘蛛的制作

分类: IT文章 • 2022-07-27 00:35:50

请教网络蜘蛛的制作
想做一个类似网络蜘蛛的程序，能找到网页上所有链接，然后下载某种特定格式的文件，一直到所有链接都访问过
不知道要怎么做

------解决方案--------------------
给出入口,

访问该入口,并获取该入口页面的html源码

正则分析之,提取出符合条件的字符存储在如数组中

遍历该字符数组,符合条件怎怎地,不符合条件怎怎地