请问数据抓取系统(spider)搜集网页信息是从一些种子URL开始,那么这些种子URL怎样获取的?

问题描述:

在很多的SEO教程中谈到,数据抓取系统(spider)会从一些种子URL开始进行搜索网页,

    那么这些种子URL从哪里可以获取?

这个种子应该是自己设定的。之后爬虫根据这个种子url爬其他资源