请问数据抓取系统(spider)搜集网页信息是从一些种子URL开始,那么这些种子URL怎样获取的?
问题描述:
在很多的SEO教程中谈到,数据抓取系统(spider)会从一些种子URL开始进行搜索网页,
那么这些种子URL从哪里可以获取?
答
这个种子应该是自己设定的。之后爬虫根据这个种子url爬其他资源