robots.txt及其 Meta标签在SEO中的作用、怎么提交网站map（转）
转自：http://hi.baidu.com/wzk717/blog/item/ab854ddfb8350a19495403d8.html
1、robots.txt是什么？
robots.txt是一个纯文本文件，用来告诉网络蜘蛛（不仅限搜索引擎蜘蛛）本站中哪些位置允许抓取，哪些位置不允许抓取。
2、如何正确放置robots.txt？
首先，robots.txt文件必须放置在网站根目录；有域名指向到次目录，在次目录放置的robots.txt文件只对此域名有效。
其次，文件名必须小写，如Robots.txt、roBots.txt、robots.TXT都是错误的。
3、robots.txt内容应该如何写？
文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。
(1)User-agent:
指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：
User-agent: Googlebot
只允许Google的蜘蛛抓取；
User-agent: *
允许所有蜘蛛抓取。
注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。
(2)Disallow:
指定禁止蜘蛛抓取的目录或文件，如：
Disallow: /help.php
禁止抓取根目录下help.php文件；
Disallow: /admin/
禁止抓取根目录下的admin子目录中任何内容；
Disallow:
值为空时，表示不限制，蜘蛛可以抓取站内任何内容。
如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。
这就是前面说到的那两位朋友网站robots.txt的问题，他们用“Disallow: /”禁止了蜘蛛抓取根目录下的所有内容。
4、robots.txt需要注意的几个问题：
robots.txt文件中任意一行Disallow的值为空，其他指定的项都将失效，整站允许User-agent指定的蜘蛛抓取；robots.txt文件中允许使用注释，以“#”开头的内容被认作注释；但注释最好独立成一行，尽量不要加在参数后面，如“Disallow: /admin/ #manage dir”，某些蜘蛛可能将注释当作值的一部分。
尽量不要在一行的前面出现空格，如“ Disallow: /”，可能某些蜘蛛无法正确读取。
推荐一个robots.txt检查工具：http://tool.motoricerca.info/robots-checker.phtml
5、将你的XML格式Sitemap地址放到robots.txt中Robin新发现，并率先在国内提出的，大家可以到点石博客中下载Robin的“网站如何被高效索引”演讲稿阅读。
加入Sitemap地址的作用是，如果搜索引擎蜘蛛能够识别此行，就能快速获知网站的XML地图文件地址，并将地图文件作为一个URL参考进行高效索引（具体哪些搜索引擎蜘蛛能够识别目前我还不清楚）。
如樂思蜀SEO博客的robots.txt，紧接着User-agent的第二行：
Sitemap: http://www.baidu.com/sitemap.xml
此处之前的内容，将Sitemap放在第一行的说法错误，特此更正。
robots Meta标签
robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。
Meta robots标签必须放在和之间，格式：
content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
index,follow：允许抓取本页，允许跟踪链接。
index,nofollow：允许抓取本页，但禁止跟踪链接。
noindex,follow：禁止抓取本页，但允许跟踪链接。
noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。
以上1和4还有另一种写法：
index,follow可以写成all，如：
noindex,nofollow可以写成none，如：
需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。
最后，给大家一个建议，不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。
特别是在不清楚文件或目录的作用时，不要轻易禁止抓取。前阵一位做旅游的朋友，网站中有大量的旅游景点图片，几大搜索引擎中却都没有索引，后来对网站检查时发现图片目录upload在管理目录admin下，被robots.txt禁止抓取了。
我知道可以通过Google 网站管理员工具向 Google 提交网站地图 Sitemap，那么我如何向百度、雅虎等其他搜索引擎提交呢？我是否需要制作一个类似 Google Sitemap 一样的 baidu Sitemap 呢？
答案：搜索引擎都遵循一样的 Sitemap 协议，baidu Sitemap 内容和形式可以和 Google Sitemap 完全一样。但因为百度还没开通类似 Google 网站管理员工具的提交后台，所以，我们需要采用以下方式提交"baidu Sitemap" 。
我们可以通过在 robots.txt 文件中添加以下代码行来告诉搜索引擎 Sitemap 的存放位置。包括 XML Sitemap 和 文本形式的 Sitemap。
Sitemap: 填写 Sitemap 的完整网址
如：http://www.example.com/sitemap.xml. http://www.example.com/sitemap.txt
如果有很多个.xml 或 .txt 文件，则你可以先建立一个索引文件，把这些.xml 或 .txt 文件的完整网址列在其中。 中填写完整的该索引文件的网址。
以上代码行放在 robots.txt 文件的任何位置都可以。
Google 网站管理员工具可以清楚看到 Sitemap 文件是否正确以及其他索引统计信息，所以除了以上的设置，我们建议你通过 Google 管理员工具再提交一次，以方便 Google 对你网站的更好收录。
虽然网上关于robots的文章已经很多了，发现都不尽全面，整理了一下供参考。
向Google、Yahoo!、MSN、Ask和百度提交sitemap
向Google提交网站地图Sitemap: 通过网址http://www.google.com/webmasters管理提交；
向Yahoo!提交网站地图Sitemap: 通过网址http://siteexplorer.search.yahoo.com管理提交；
向MSN提交网站地图Sitemap: 用URL直接提交：http://api.moreover.com/pingu=http://your.domainname/sitemap.xml这是向MSN直接提交网站地图的后门URL
向ASK提交网站地图Sitemap: 直接提交。http://submissions.ask.com/pingsitemap=http://your.domainname/sitemap.xml
向网店联盟提交地址：http://www.dianmeng.com/
向百度Baidu提交网站地图Sitemap: 没办法，现在百度不支持Sitemap。但可通过http://www.baidu.com/search/url_submit.html来提交你的网址。百度会自行搜索，更新速度很快。
1、robots.txt是什么？
robots.txt是一个纯文本文件，用来告诉网络蜘蛛（不仅限搜索引擎蜘蛛）本站中哪些位置允许抓取，哪些位置不允许抓取。
2、如何正确放置robots.txt？
首先，robots.txt文件必须放置在网站根目录；有域名指向到次目录，在次目录放置的robots.txt文件只对此域名有效。
其次，文件名必须小写，如Robots.txt、roBots.txt、robots.TXT都是错误的。
3、robots.txt内容应该如何写？
文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。
(1)User-agent:
指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：
User-agent: Googlebot
只允许Google的蜘蛛抓取；
User-agent: *
允许所有蜘蛛抓取。
注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。
(2)Disallow:
指定禁止蜘蛛抓取的目录或文件，如：
Disallow: /help.php
禁止抓取根目录下help.php文件；
Disallow: /admin/
禁止抓取根目录下的admin子目录中任何内容；
Disallow:
值为空时，表示不限制，蜘蛛可以抓取站内任何内容。
如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。
这就是前面说到的那两位朋友网站robots.txt的问题，他们用“Disallow: /”禁止了蜘蛛抓取根目录下的所有内容。
4、robots.txt需要注意的几个问题：
robots.txt文件中任意一行Disallow的值为空，其他指定的项都将失效，整站允许User-agent指定的蜘蛛抓取；robots.txt文件中允许使用注释，以“#”开头的内容被认作注释；但注释最好独立成一行，尽量不要加在参数后面，如“Disallow: /admin/ #manage dir”，某些蜘蛛可能将注释当作值的一部分。
尽量不要在一行的前面出现空格，如“ Disallow: /”，可能某些蜘蛛无法正确读取。
推荐一个robots.txt检查工具：http://tool.motoricerca.info/robots-checker.phtml
5、将你的XML格式Sitemap地址放到robots.txt中Robin新发现，并率先在国内提出的，大家可以到点石博客中下载Robin的“网站如何被高效索引”演讲稿阅读。
加入Sitemap地址的作用是，如果搜索引擎蜘蛛能够识别此行，就能快速获知网站的XML地图文件地址，并将地图文件作为一个URL参考进行高效索引（具体哪些搜索引擎蜘蛛能够识别目前我还不清楚）。
如樂思蜀SEO博客的robots.txt，紧接着User-agent的第二行：
Sitemap: http://www.baidu.com/sitemap.xml
此处之前的内容，将Sitemap放在第一行的说法错误，特此更正。
robots Meta标签
robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。
Meta robots标签必须放在和之间，格式：
content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
index,follow：允许抓取本页，允许跟踪链接。
index,nofollow：允许抓取本页，但禁止跟踪链接。
noindex,follow：禁止抓取本页，但允许跟踪链接。
noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。
以上1和4还有另一种写法：
index,follow可以写成all，如：
noindex,nofollow可以写成none，如：
需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。
最后，给大家一个建议，不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。
特别是在不清楚文件或目录的作用时，不要轻易禁止抓取。前阵一位做旅游的朋友，网站中有大量的旅游景点图片，几大搜索引擎中却都没有索引，后来对网站检查时发现图片目录upload在管理目录admin下，被robots.txt禁止抓取了。
我知道可以通过Google 网站管理员工具向 Google 提交网站地图 Sitemap，那么我如何向百度、雅虎等其他搜索引擎提交呢？我是否需要制作一个类似 Google Sitemap 一样的 baidu Sitemap 呢？
答案：搜索引擎都遵循一样的 Sitemap 协议，baidu Sitemap 内容和形式可以和 Google Sitemap 完全一样。但因为百度还没开通类似 Google 网站管理员工具的提交后台，所以，我们需要采用以下方式提交"baidu Sitemap" 。
我们可以通过在 robots.txt 文件中添加以下代码行来告诉搜索引擎 Sitemap 的存放位置。包括 XML Sitemap 和 文本形式的 Sitemap。
Sitemap: 填写 Sitemap 的完整网址
如：http://www.example.com/sitemap.xml. http://www.example.com/sitemap.txt
如果有很多个.xml 或 .txt 文件，则你可以先建立一个索引文件，把这些.xml 或 .txt 文件的完整网址列在其中。 中填写完整的该索引文件的网址。
以上代码行放在 robots.txt 文件的任何位置都可以。
Google 网站管理员工具可以清楚看到 Sitemap 文件是否正确以及其他索引统计信息，所以除了以上的设置，我们建议你通过 Google 管理员工具再提交一次，以方便 Google 对你网站的更好收录。
虽然网上关于robots的文章已经很多了，发现都不尽全面，整理了一下供参考。
向Google、Yahoo!、MSN、Ask和百度提交sitemap
向Google提交网站地图Sitemap: 通过网址http://www.google.com/webmasters管理提交；
向Yahoo!提交网站地图Sitemap: 通过网址http://siteexplorer.search.yahoo.com管理提交；
向MSN提交网站地图Sitemap: 用URL直接提交：http://api.moreover.com/pingu=http://your.domainname/sitemap.xml这是向MSN直接提交网站地图的后门URL
向ASK提交网站地图Sitemap: 直接提交。http://submissions.ask.com/pingsitemap=http://your.domainname/sitemap.xml
向网店联盟提交地址：http://www.dianmeng.com/
向百度Baidu提交网站地图Sitemap: 没办法，现在百度不支持Sitemap。但可通过http://www.baidu.com/search/url_submit.html来提交你的网址。百度会自行搜索，更新速度很快。
1、robots.txt是什么？
robots.txt是一个纯文本文件，用来告诉网络蜘蛛（不仅限搜索引擎蜘蛛）本站中哪些位置允许抓取，哪些位置不允许抓取。
2、如何正确放置robots.txt？
首先，robots.txt文件必须放置在网站根目录；有域名指向到次目录，在次目录放置的robots.txt文件只对此域名有效。
其次，文件名必须小写，如Robots.txt、roBots.txt、robots.TXT都是错误的。
3、robots.txt内容应该如何写？
文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。
(1)User-agent:
指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：
User-agent: Googlebot
只允许Google的蜘蛛抓取；
User-agent: *
允许所有蜘蛛抓取。
注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。
(2)Disallow:
指定禁止蜘蛛抓取的目录或文件，如：
Disallow: /help.php
禁止抓取根目录下help.php文件；
Disallow: /admin/
禁止抓取根目录下的admin子目录中任何内容；
Disallow:
值为空时，表示不限制，蜘蛛可以抓取站内任何内容。
如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。
这就是前面说到的那两位朋友网站robots.txt的问题，他们用“Disallow: /”禁止了蜘蛛抓取根目录下的所有内容。
4、robots.txt需要注意的几个问题：
robots.txt文件中任意一行Disallow的值为空，其他指定的项都将失效，整站允许User-agent指定的蜘蛛抓取；robots.txt文件中允许使用注释，以“#”开头的内容被认作注释；但注释最好独立成一行，尽量不要加在参数后面，如“Disallow: /admin/ #manage dir”，某些蜘蛛可能将注释当作值的一部分。
尽量不要在一行的前面出现空格，如“ Disallow: /”，可能某些蜘蛛无法正确读取。
推荐一个robots.txt检查工具：http://tool.motoricerca.info/robots-checker.phtml
5、将你的XML格式Sitemap地址放到robots.txt中Robin新发现，并率先在国内提出的，大家可以到点石博客中下载Robin的“网站如何被高效索引”演讲稿阅读。
加入Sitemap地址的作用是，如果搜索引擎蜘蛛能够识别此行，就能快速获知网站的XML地图文件地址，并将地图文件作为一个URL参考进行高效索引（具体哪些搜索引擎蜘蛛能够识别目前我还不清楚）。
如樂思蜀SEO博客的robots.txt，紧接着User-agent的第二行：
Sitemap: http://www.baidu.com/sitemap.xml
此处之前的内容，将Sitemap放在第一行的说法错误，特此更正。
robots Meta标签
robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。
Meta robots标签必须放在和之间，格式：
content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
index,follow：允许抓取本页，允许跟踪链接。
index,nofollow：允许抓取本页，但禁止跟踪链接。
noindex,follow：禁止抓取本页，但允许跟踪链接。
noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。
以上1和4还有另一种写法：
index,follow可以写成all，如：
noindex,nofollow可以写成none，如：
需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。
最后，给大家一个建议，不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。
特别是在不清楚文件或目录的作用时，不要轻易禁止抓取。前阵一位做旅游的朋友，网站中有大量的旅游景点图片，几大搜索引擎中却都没有索引，后来对网站检查时发现图片目录upload在管理目录admin下，被robots.txt禁止抓取了。
我知道可以通过Google 网站管理员工具向 Google 提交网站地图 Sitemap，那么我如何向百度、雅虎等其他搜索引擎提交呢？我是否需要制作一个类似 Google Sitemap 一样的 baidu Sitemap 呢？
答案：搜索引擎都遵循一样的 Sitemap 协议，baidu Sitemap 内容和形式可以和 Google Sitemap 完全一样。但因为百度还没开通类似 Google 网站管理员工具的提交后台，所以，我们需要采用以下方式提交"baidu Sitemap" 。
我们可以通过在 robots.txt 文件中添加以下代码行来告诉搜索引擎 Sitemap 的存放位置。包括 XML Sitemap 和 文本形式的 Sitemap。
Sitemap: 填写 Sitemap 的完整网址
如：http://www.example.com/sitemap.xml. http://www.example.com/sitemap.txt
如果有很多个.xml 或 .txt 文件，则你可以先建立一个索引文件，把这些.xml 或 .txt 文件的完整网址列在其中。 中填写完整的该索引文件的网址。
以上代码行放在 robots.txt 文件的任何位置都可以。
Google 网站管理员工具可以清楚看到 Sitemap 文件是否正确以及其他索引统计信息，所以除了以上的设置，我们建议你通过 Google 管理员工具再提交一次，以方便 Google 对你网站的更好收录。
虽然网上关于robots的文章已经很多了，发现都不尽全面，整理了一下供参考。
向Google、Yahoo!、MSN、Ask和百度提交sitemap
向Google提交网站地图Sitemap: 通过网址http://www.google.com/webmasters管理提交；
向Yahoo!提交网站地图Sitemap: 通过网址http://siteexplorer.search.yahoo.com管理提交；
向MSN提交网站地图Sitemap: 用URL直接提交：http://api.moreover.com/pingu=http://your.domainname/sitemap.xml这是向MSN直接提交网站地图的后门URL
向ASK提交网站地图Sitemap: 直接提交。http://submissions.ask.com/pingsitemap=http://your.domainname/sitemap.xml
向网店联盟提交地址：http://www.dianmeng.com/
向百度Baidu提交网站地图Sitemap: 没办法，现在百度不支持Sitemap。但可通过http://www.baidu.com/search/url_submit.html来提交你的网址。百度会自行搜索，更新速度很快。
1、robots.txt是什么？
robots.txt是一个纯文本文件，用来告诉网络蜘蛛（不仅限搜索引擎蜘蛛）本站中哪些位置允许抓取，哪些位置不允许抓取。
2、如何正确放置robots.txt？
首先，robots.txt文件必须放置在网站根目录；有域名指向到次目录，在次目录放置的robots.txt文件只对此域名有效。
其次，文件名必须小写，如Robots.txt、roBots.txt、robots.TXT都是错误的。
3、robots.txt内容应该如何写？
文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。
(1)User-agent:
指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：
User-agent: Googlebot
只允许Google的蜘蛛抓取；
User-agent: *
允许所有蜘蛛抓取。
注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。
(2)Disallow:
指定禁止蜘蛛抓取的目录或文件，如：
Disallow: /help.php
禁止抓取根目录下help.php文件；
Disallow: /admin/
禁止抓取根目录下的admin子目录中任何内容；
Disallow:
值为空时，表示不限制，蜘蛛可以抓取站内任何内容。
如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。
这就是前面说到的那两位朋友网站robots.txt的问题，他们用“Disallow: /”禁止了蜘蛛抓取根目录下的所有内容。
4、robots.txt需要注意的几个问题：
robots.txt文件中任意一行Disallow的值为空，其他指定的项都将失效，整站允许User-agent指定的蜘蛛抓取；robots.txt文件中允许使用注释，以“#”开头的内容被认作注释；但注释最好独立成一行，尽量不要加在参数后面，如“Disallow: /admin/ #manage dir”，某些蜘蛛可能将注释当作值的一部分。
尽量不要在一行的前面出现空格，如“ Disallow: /”，可能某些蜘蛛无法正确读取。
推荐一个robots.txt检查工具：http://tool.motoricerca.info/robots-checker.phtml
5、将你的XML格式Sitemap地址放到robots.txt中Robin新发现，并率先在国内提出的，大家可以到点石博客中下载Robin的“网站如何被高效索引”演讲稿阅读。
加入Sitemap地址的作用是，如果搜索引擎蜘蛛能够识别此行，就能快速获知网站的XML地图文件地址，并将地图文件作为一个URL参考进行高效索引（具体哪些搜索引擎蜘蛛能够识别目前我还不清楚）。
如樂思蜀SEO博客的robots.txt，紧接着User-agent的第二行：
Sitemap: http://www.baidu.com/sitemap.xml
此处之前的内容，将Sitemap放在第一行的说法错误，特此更正。
robots Meta标签
robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。
Meta robots标签必须放在和之间，格式：
content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
index,follow：允许抓取本页，允许跟踪链接。
index,nofollow：允许抓取本页，但禁止跟踪链接。
noindex,follow：禁止抓取本页，但允许跟踪链接。
noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。
以上1和4还有另一种写法：
index,follow可以写成all，如：
noindex,nofollow可以写成none，如：
需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。
最后，给大家一个建议，不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。
特别是在不清楚文件或目录的作用时，不要轻易禁止抓取。前阵一位做旅游的朋友，网站中有大量的旅游景点图片，几大搜索引擎中却都没有索引，后来对网站检查时发现图片目录upload在管理目录admin下，被robots.txt禁止抓取了。
我知道可以通过Google 网站管理员工具向 Google 提交网站地图 Sitemap，那么我如何向百度、雅虎等其他搜索引擎提交呢？我是否需要制作一个类似 Google Sitemap 一样的 baidu Sitemap 呢？
答案：搜索引擎都遵循一样的 Sitemap 协议，baidu Sitemap 内容和形式可以和 Google Sitemap 完全一样。但因为百度还没开通类似 Google 网站管理员工具的提交后台，所以，我们需要采用以下方式提交"baidu Sitemap" 。
我们可以通过在 robots.txt 文件中添加以下代码行来告诉搜索引擎 Sitemap 的存放位置。包括 XML Sitemap 和 文本形式的 Sitemap。
Sitemap: 填写 Sitemap 的完整网址
如：http://www.example.com/sitemap.xml. http://www.example.com/sitemap.txt
如果有很多个.xml 或 .txt 文件，则你可以先建立一个索引文件，把这些.xml 或 .txt 文件的完整网址列在其中。 中填写完整的该索引文件的网址。
以上代码行放在 robots.txt 文件的任何位置都可以。
Google 网站管理员工具可以清楚看到 Sitemap 文件是否正确以及其他索引统计信息，所以除了以上的设置，我们建议你通过 Google 管理员工具再提交一次，以方便 Google 对你网站的更好收录。
虽然网上关于robots的文章已经很多了，发现都不尽全面，整理了一下供参考。
向Google、Yahoo!、MSN、Ask和百度提交sitemap
向Google提交网站地图Sitemap: 通过网址http://www.google.com/webmasters管理提交；
向Yahoo!提交网站地图Sitemap: 通过网址http://siteexplorer.search.yahoo.com管理提交；
向MSN提交网站地图Sitemap: 用URL直接提交：http://api.moreover.com/pingu=http://your.domainname/sitemap.xml这是向MSN直接提交网站地图的后门URL
向ASK提交网站地图Sitemap: 直接提交。http://submissions.ask.com/pingsitemap=http://your.domainname/sitemap.xml
向网店联盟提交地址：http://www.dianmeng.com/
向百度Baidu提交网站地图Sitemap: 没办法，现在百度不支持Sitemap。但可通过http://www.baidu.com/search/url_submit.html来提交你的网址。百度会自行搜索，更新速度很快。