像Google这样的搜索引擎有一个问题-它被称为“重复内容”。重复的内容意味着相似的内容会出现在Web上的多个位置（URL），结果搜索引擎不知道在搜索结果中显示哪个URL。这可能会损害网页的排名，并且只有当人们开始链接到同一内容的不同版本时，问题才会变得更加严重。本文将帮助您了解重复内容的各种原因，并就如何消除网站重复内容找到每种情况的解决方案。
什么是重复内容？
重复内容是可以在网络上的多个URL上获得的内容。由于一个以上的URL显示相同的内容，因此搜索引擎不知道哪个URL在搜索结果中列出的位置更高。因此，他们可能会将两个URL的排名都降低，并优先使用其他网页。
在本文中，我们将主要关注重复内容的技术原因及其解决方案。如果您想对重复内容有更深入地了解，并了解它与复制或抓取的内容甚至是关键字竞争之间的关系，建议您阅读这篇文章：什么是重复内容。
让我们用一个例子来说明
重复的内容可以比喻为十字路口，在十字路口，路标指向同一目的地的两个不同方向：您应该走哪条路？更糟的是，最终目的地也有所不同，但只是略有不同。作为读者，您不介意因为您获得了所要的内容，但是搜索引擎必须选择要在搜索结果中显示的页面，因为它当然不想两次显示相同的内容。
假设您的有关“关键字x”的文章 出现在http://www.example.com/keyword-x/，相同的内容也出现在http://www.example.com/article-category/keyword-x/。这种情况不是虚构的：它发生在许多现代的内容管理系统中。然后，假设您的文章已被几位博客作者选中，其中一些链接到第一个URL，而另一些链接到第二个URL。重复的内容是您的问题，因为这些链接都宣传不同的URL。如果他们都链接到相同的URL，则对“关键字x”进行排名的机会 会更高。
如果您不知道自己的排名是否受到重复内容问题的困扰，那么这些重复内容发现工具将助您一臂之力！
内容重复的原因
重复内容的原因有很多。它们中的大多数都是技术性的：人们很少决定将相同的内容放在两个不同的地方而没有弄清楚是哪一个是原始的，这对我们大多数人来说都是不自然的。但是，有许多技术原因，并且大多数情况是由于开发人员不像浏览器甚至用户那样思考，更不用说搜索引擎蜘蛛了，他们像程序员一样思考。拿我们前面提到的那篇文章，该文章出现在http://www.example.com/keyword-x/和上http://www.example.com/article-category/keyword-x/。如果您问开发商，他们会说它只存在一次。
误解了URL的概念
不，开发人员并没有发疯，他们只是在说另一种语言。CMS可能会为网站提供动力，并且在该数据库中只有一篇文章，但是该网站的软件允许通过多个URL检索数据库中的同一文章。这是因为，在开发人员看来，该文章的唯一标识符是该文章在数据库中拥有的ID，而不是URL。但是对于搜索引擎而言，URL是一条内容的唯一标识符。如果您向开发人员解释这一点，他们将开始解决问题。阅读本文之后，您甚至可以立即为他们提供解决方案。
会话ID
您通常希望跟踪访客并允许他们例如将他们要购买的物品存储在购物车中。为此，您必须给他们一个“会话”。会话是访问者在您的网站上所做的简短历史，可以包含购物车中的物品之类的内容。为了在访客从一个页面单击到另一页面时保持该会话，该会话的唯一标识符（称为会话ID）需要存储在某个地方。最常见的解决方案是使用Cookie。但是，搜索引擎通常不存储cookie。
那时，某些系统退回到使用URL中的会话ID。这意味着网站上的每个内部链接都会将会话ID添加到其URL中，并且由于该会话ID对于该会话而言是唯一的，因此它将创建一个新的URL，从而重复了内容。
用于跟踪和排序的URL参数
重复内容的另一个原因是使用URL参数，这些参数不会更改页面的内容，例如在跟踪链接中，对于搜索引擎来说，http://www.example.com/keyword-x/和http://www.example.com/keyword-x/?source=rss就是不同的URL。后者可能使您能够跟踪人员的来源，但也可能使您难以排名，这是非常有害的副作用！
当然，这不仅限于跟踪参数，它还包括您可以添加到URL的每个参数，而这些参数并不会更改文章内容，无论该参数是“更改一组产品的排序”还是“显示另一个侧边栏”：所有这些都会导致重复内容。
爬虫和内容聚合
重复内容的大部分原因是您或您网站造成的“错误”。但是，有时，无论您是否同意，其他网站也会引用您的内容。它们并不总是链接到您的原始文章，因此搜索引擎不会“获取”它，而必须处理同一文章的另一个版本。您的网站越受欢迎，就会遇到更多的抓取工具，从而使此问题越来越大。
参数顺序
另一个常见原因是CMS不使用简洁的URL，而是使用如/?id=1&cat=2之类的URL ，其中ID表示文章，cat表示类别。/?cat=2&id=1在大多数网站系统中，URL 将呈现相同的结果，但是对于搜索引擎而言，它们是完全不同的。
评论分页
在我心爱的WordPress中，以及其他一些系统中，也可以选择分页注释。这导致内容在文章URL以及文章URL + / comment-page-1 /，/ comment-page-2 /等中重复。
易于打印的页面
如果您的内容管理系统创建了打印机友好的页面，并且您链接到文章页面中的页面，则除非您明确阻止，否则Google通常会找到它们。现在，问问自己：您希望Google显示哪个版本？一个带有您的广告和外围内容的内容，还是一个仅显示您的文章的内容？
WWW与非WWW
这是老生常谈的问题，但是有时搜索引擎仍然会弄错：当您同时访问两个版本的网站时，WWW与非WWW重复内容。另一个不太常见的情况，但我也已经看到的一种情况是HTTP与HTTPS重复内容，其中相同的内容同时提供给这两个对象。
解决方案：“规范” URL
正如我们已经看到的，多个URL导致相同内容的事实是一个问题，但可以解决。在出版物上工作的人通常可以很容易地告诉您某篇文章的“正确” URL应该是什么，但是有时当您问同一公司内的三个人时，您会得到三个不同的答案……
这是一个需要解决的问题，因为最后只能有一个（URL）。内容的“正确” URL被搜索引擎称为“ 规范URL ”。
识别重复内容问题
您可能不知道自己的网站上或内容上是否存在重复的内容问题。使用Google是发现重复内容的最简单方法之一。
在 这种情况下，有几种 搜索运算符非常有用。如果您想在网站上找到所有包含关键字X 文章的URL，请 在Google中输入以下搜索词：
site:example.com intitle:"Keyword X"
然后，Google会在example.com上向您显示包含该关键字的所有页面。您intitle在查询中做的越具体，越容易清除重复的内容。您可以使用相同的方法来识别网络上的重复内容。假设您文章的完整标题为 “关键字X –为何如此出色”，您可以搜索：
intitle: “关键字X-为何如此出色”
Google会为您提供所有与该标题匹配的网站。有时甚至值得从您的文章中搜索一两个完整的句子，因为某些抓取工具可能会更改标题。在某些情况下，当您进行这样的搜索时，Google可能会在结果的最后一页上显示如下通知：
这表明Google已经在“消除重复”结果。它仍然不是很好，因此值得单击链接并查看所有其他结果以查看是否可以修复其中一些。
了解更多：DIY：重复内容检查»
重复内容的实用解决方案
一旦确定了哪个URL是您的内容的规范URL，就必须启动规范化过程（是的，我知道，尝试大声说三遍）。这意味着我们必须告诉搜索引擎有关页面的规范版本，并让他们尽快找到它。有四种解决方法，按优先顺序排列：
- 不创建重复内容
- 将重复内容重定向到规范URL
- 向重复页面添加规范链接元素
- 将HTML链接从重复页面添加到规范页面
避免重复内容
上述导致重复内容的某些原因对它们的修复非常简单：
- 您的URL中是否有会话ID？
这些通常只能在系统设置中禁用。 - 您是否有重复的打印机友好页面？
这些完全没有必要：您应该只使用 打印样式表。 - 您是否在WordPress中使用评论分页？
您应该仅在99％的站点上禁用此功能（在 设置»讨论下）。 - 您的参数顺序不同吗？
告诉您的程序员建立一个脚本，以始终按相同顺序放置参数（这通常称为URL工厂）。 - 是否存在跟踪链接问题？
在大多数情况下，您可以使用基于哈希标签的广告系列跟踪，而不是基于参数的广告系列跟踪。 - 您是否遇到了WWW与非WWW问题？
选择一个并坚持将其 重定向到另一个。您还可以在Google网站站长工具中设置首选项，但是您必须同时声明两个版本的域名。
如果您的问题不是那么容易解决，那么仍然值得您付出努力。目标应该是防止完全出现重复的内容，因为到目前为止，这是解决问题的最佳方法。
301重定向重复内容
在某些情况下，不可能完全阻止您使用的系统为内容创建错误的URL，但是有时可以重定向它们。如果这对您不合逻辑（我可以理解），请在与开发人员交谈时牢记这一点。如果您 确实 摆脱了某些重复内容问题，请确保将所有旧的重复内容URL重定向到正确的规范URL。
使用链接
有时，即使您知道这是错误的URL，也可能不想或无法摆脱该文章的重复版本。为了解决这个特定问题，搜索引擎引入了规范链接元素。它放在您网站的<head>部分中，看起来像这样：
<link rel="canonical" href="http://example.com/wordpress/seo-plugin/" />在href规范链接的部分中，为文章放置正确的规范URL。当支持规范的搜索引擎找到此链接元素时，它将执行软301重定向，将由该页面收集的大部分链接值传输到您的规范页面。
不过，此过程比301重定向要慢一些，因此，如Google的John Mueller所言，如果您可以执行301重定向，那将是更好的选择。
继续阅读：rel = canonical•它是什么以及如何（不）使用它»
链接回原始内容
如果您不能执行上述任何操作，可能是因为您无法控制显示内容的网站的<head>部分，因此在该文章的顶部或下方添加指向原始文章的链接总是一个很好的选择。理念。您可能想通过在RSS feed中添加指向该文章的链接来做到这一点。一些抓取工具会过滤掉该链接，但其他抓取工具可能会将其保留。如果Google遇到指向您原始文章的多个链接，它将很快找出实际的标准版本。
结论：重复的内容是可以修复的，应该修复
重复的内容随处可见。我还没有遇到一个超过1000页的网站，至少没有一个很小的重复内容问题。这是您需要不断关注的东西，但是它是可修复的，并且回报可能很多。仅从网站上删除重复的内容，您的高质量内容就可能在排名中飙升！
评论0