robots.txt到底该怎么写?百度各个产品所使用的user-agent是什么 robots.txt怎么写

1、禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
2、允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Allow: /
另一种写法是
User-agent: *
Disallow:
3、仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4、仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Allow:/
5、禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成"Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6、允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
7、使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8、使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow:/ .htm$
9、禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10、禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /* .jpeg$
Disallow:/* .gif$
Disallow:/* .png$
Disallow: /*.bmp$
11、仅允许Baiduspider抓取网页和gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
robots.txt到底该怎么写?百度各个产品所使用的user-agent是什么 robots.txt怎么写
Disallow: /.jpg$
Disallow:/ .jpeg$
Disallow:/ .png$
Disallow: /.bmp$
12、仅禁止Baiduspider抓取jpg格式图片
User-agent: Baiduspider
Disallow:/ .jpg$
注:百度各个产品所使用的不同的user-agent:
无线搜索:Baiduspider-mobile
图片搜索:Baiduspider-image
视频搜索:Baiduspider-video
新闻搜索:Baiduspider-news
百度搜藏:Baiduspider-favo
百度联盟:Baiduspider-cpro
商务搜索:Baiduspider-ads
网页以及其他搜索:Baiduspider

  

爱华网本文地址 » http://www.aihuau.com/a/25101010/22188.html

更多阅读

百度贴吧如何进行妹纸认证? 百度贴吧认证

百度贴吧如何进行妹纸认证?——简介百度贴吧妹纸认证火热开启,想让自己的贴吧ID后面来一个红色的蝴蝶结吗,想让自己的百度贴吧ID更加的与众不同吗?快来百度贴吧进行妹纸认证吧,在接下来的教程中,我将向大家详细介绍一下,如何进行百度贴吧妹

引起糖尿病的原因主要是什么? 什么原因引起糖尿病

引起糖尿病的原因主要是什么?——简介糖尿病是由于胰岛素绝对或相对分泌不足引起的。究其原因,糖尿病的发病原因还与自身有着密切的关系。到底是什么引发了糖尿病呢? 引起糖尿病的原因主要是什么?——方法/步骤

百度小金库怎么登陆? 百度小金库

百度小金库怎么登陆?——简介现在很多人都喜欢搞点金融项目,做点小投资,想要赚点小钱。这个就促使了很多平台都推出了一些金融项目,金融平台了。比如说百度小金库。对于百度小金库,现在是越来越多人熟悉并且开始使用了。那么,百度小金库是

衣服上的洗涤标志是什么意思? 衣服洗涤标志大全

衣服上的洗涤标志是什么意思?——简介 每件衣服内部都会有一张洗涤标志标签,上面有很多图案,那么各种图案都是什么意义呢?本文科普来了!中英文统统组织起来!收藏吧!以防衣服洗破了还不知咋回事!衣服上的洗涤标志是什么意思?——工具/原料各

面试热问——你的职业规划是什么? 面试的时候问职业规划

“未来3至5年内,你有什么职业规划?”是招聘面试的常见问题之一。很多求职者不但被问过,甚至被问倒。HR们为什么要问这个问题?如何回答比较稳妥?最近有位硕士应届毕业生对我说,她在面试的时候被问到“你的职业规划是什么?”。这个问题让

声明:《robots.txt到底该怎么写?百度各个产品所使用的user-agent是什么 robots.txt怎么写》为网友志在梦中分享!如侵犯到您的合法权益请联系我们删除