范例分析Robots.txt写法
实例分析Robots.txt写法
当网站有很多不可抗拒性因素而导致我们的网页质量整体下降，我们就可以通过Robots.txt文件来屏蔽一些页面，比如：无内容的页面、一些重复的页面、一些死链接等等。之前的文章上也写了关于Robots.txt文件写法和使用，今天重庆seo就要用实际案列来手把手教你学会写Robots.txt文件。首先看下图这一段，Robots.txt文件。注释如下：
一、User-agent: * 定义所有搜索引擎
如：允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下：
User-agent: *
Disallow:
二、Disallow: /include
Disallow: /templets
是禁止的include和templets两个目录被抓取，我们在书写Robots.txt文件时候，禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：
User-agent: *
Disallow: /目录名字1/
Disallow: /目录名字2/
Disallow: /目录名字3/
把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取。
三、禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下：
User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下：
User-agent: Msnbot
Disallow: /admin/
四、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下:
User-agent: *
Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)
五、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取，设置代码如下:
User-agent: *
Allow: .htm$ 说明(其中“.htm”，表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)
当网站有很多不可抗拒性因素而导致我们的网页质量整体下降，我们就可以通过Robots.txt文件来屏蔽一些页面，比如：无内容的页面、一些重复的页面、一些死链接等等。之前的文章上也写了关于Robots.txt文件写法和使用，今天重庆seo就要用实际案列来手把手教你学会写Robots.txt文件。首先看下图这一段，Robots.txt文件。注释如下：
一、User-agent: * 定义所有搜索引擎
如：允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下：
User-agent: *
Disallow:
二、Disallow: /include
Disallow: /templets
是禁止的include和templets两个目录被抓取，我们在书写Robots.txt文件时候，禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：
User-agent: *
Disallow: /目录名字1/
Disallow: /目录名字2/
Disallow: /目录名字3/
把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取。
三、禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下：
User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下：
User-agent: Msnbot
Disallow: /admin/
四、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下:
User-agent: *
Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)
五、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取，设置代码如下:
User-agent: *
Allow: .htm$ 说明(其中“.htm”，表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)