爱华网重复内容可以通过很多方式产生。内部材料重复需要特殊方法才能达到最好的SEO结果。在很多情况下，重复页面对用户和搜索引擎没有任何价值。如果是这样，尝试修改实现方式使每一个页面只有一个URL，从而彻底解决问题。另外，从旧URL 301转向到留下的URL，帮助搜索引擎尽快发现你做的改进，保留被删除页面可能有的链接权重。
下面是桐乡SEO处理重复内容的简单方法总结：
1、使用canonical标签。这是消除重复页面的第二好的方法。
2、使用robots.txt文件阻挡搜索引擎蜘蛛爬行网站页面的重复版本。
3、使用Robots NoIndex标签告诉搜索引擎不要索引重复页面。
4、所有指向重复页面的链接使用NoFollow，防止任何链接权重流向这些页面。采取这种方法时，建议也在页面上使用NoIndex。
有时候可以联合使用这些方法。例如，可以将指向页面的链接加NoFollow，页面本身也使用NoIndexo这是合情合理的，因为你要阻止链接权重流到这些页面，而且如果有人从其他网站链接到你的页面(这个你控制不了)，还是能确保页面不会进入索引。然而，如果你用robots，txt文件防止页面被爬行，在页面本身使用NoIndex和NoFollow没有意义了，因为蜘蛛读不到页面，也永远看不到NoIndex和NoFollow标签。下面，是一些具体重复内容情况。
为了有所区别，Q猪对Nofollow、robots.txt和Noindex作一个简单的介绍：
1、Nofollow标签的意思是在页面A上，如果存在一个链接指向页面B，如果页面A上的链接存在nofollow标签，意思是告诉搜索引擎不要追踪该条链接，该链接对页面B没有权重传递作用。Nofollow针对的是页面链接，最初的作用是给博客上的垃圾评论，告诉搜索引擎评论中的链接为非网站推荐。
2、robots.txt是一个协议，目的是告诉搜索引擎哪些链接可以抓取,哪些页面不要出现在搜索结果中。
3、Noindex和robots.txt的功能类似，也是告诉搜索引擎页面禁止索引，如果一定要区别robots的话，一个是在蜘蛛进入网站以后，会首先爬行robots.txt，确定网站允许爬行的范围，而Noindex是当蜘蛛爬行该页面时，才会发现页面是禁止索引的。
从节省蜘蛛资源的角度，如果有页面禁止索引，Q猪还是推荐使用robots.txt。本文由桐乡 SEO(http://www.seozoro.com/)原创发布，尊重作者版权，转载请注明出处，原文《网站存在复制内容的处理方法》地址：http://www.seozoro.com/seo/429.html。
