爱华网robots协议是什么？
简单的说它是指网站定一个协议，告诉spider哪些内容可以访问，哪些内容不允许访问。它是一个纯文本，格式是robots.txt。
那么这个文件一般放在网站的根目录，当spider 访问你网上的时候它最先是访问robots.txt 这个文件，去看看哪些是禁止访问的。
下面我们就来举例说明：
1. 允许所有的访问
User-agent:*
Allow: /
注：“*”这个星号表示一个通配符。
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$
注意：robots.txt是有分大小写的，默认文件名全小写，规则里面要注意区分大小写，比如禁止http://lbicc.com/Abc.html，在规则里写成abc.html的话那就没效果了，只会禁止abc.html，Abc.html还是有效。
除非注明，文章均为重庆SEO原创，转载请注明本文地址：http://www.lefengseo.com/231.html
