防止您的网站被正确索引

谷歌seo

乔斯特·德·沃克

JoostdeValk是Yoast的创始人兼首席产品官。他是一位互联网企业家,他在创立Yoast之后投资并为多家初创公司提供了建议。他的主要专长是开源软件开发和数字营销。

我们曾经说过它,但是我们会重复一遍:让我们感到惊讶的是,仍然有人仅使用robots.txt文件来阻止他们的网站在Google或Bing中建立索引。结果,他们的网站仍然出现在搜索引擎中。你知道为什么它让我们惊讶吗?因为robots.txt实际上不会执行后者,即使它确实阻止了对网站建立索引。让我在这篇文章中解释这是如何工作的。

有关robots.txt的更多信息,请阅读robots.txt:最终指南。或者,找到在WordPress中处理robots.txt的最佳做法。

被索引和在Google中列出有区别

在我们进一步解释之前,我们需要先在这里仔细阅读一些术语:

  • 索引/索引将站点或页面的内容下载到搜索引擎的服务器,从而将其添加到其“索引”的过程。
  • 排名/列表/显示在搜索结果页面(又称SERP)中显示网站。

因此,尽管最常见的过程是从编制索引到列出清单,但不必为一个网站编制索引就可以列出清单。如果链接指向页面,域或任何地方,则Google会跟踪该链接。如果该域上的robots.txt阻止了搜索引擎对该页面的索引编制,但如果它可以从可能值得研究的其他变量中收集,它仍将在结果中显示URL。

在过去,可能是DMOZ或Yahoo目录,但是我可以想象Google使用了例如您最近的“我的商家”详细信息或这些项目中的旧数据。更多网站汇总了您的网站,对。

现在,如果上面的解释没有意义,请看一下2009年前GooglerMattCutts的视频解释:

如果您有理由阻止网站建立索引,那么将请求添加到要阻止的特定页面上(如Matt所说的那样),仍然是正确的方法。

但是您需要将有关该元机器人标记的信息告知Google。因此,如果您想有效地对搜索引擎隐藏页面,则需要它们为这些页面建立索引。即使那可能看起来是矛盾的。有两种方法可以做到这一点。

通过添加一个元机器人标签来阻止您的页面列表

阻止您的页面列表的第一个选项是使用漫游器元标记。我们有关于的终极指南机器人元标记范围更广,但是基本上可以归结为将这个标签添加到您的页面中:

如果您使用YoastSEO,这非常简单!无需自己添加代码。学如何在此处使用YoastSEO添加noindex标签。

像这样的标签的问题是,您必须将其添加到每个页面。

YoastSEO中简化的机器人元标记管理

为了使将metarobots标记添加到网站的每个页面的过程变得更加容易,搜索引擎提出了X-Robots-TagHTTP标头。这样,您就可以指定一个称为X-Robots-Tag的HTTP标头,并像元机器人标签的值一样设置该值。关于这个的很酷的事情是,您可以在整个网站上做到这一点。如果您的站点在Apache上运行,并且启用了mod_headers(通常是启用),则可以将以下单行添加到.htaccess文件中:

标头集X-Robots-Tag“noindex,nofollow”

这样做的结果是可以对整个站点建立索引。但是永远不会显示在搜索结果中。

因此,使用Disallow:/删除该robots.txt文件。请改用X-Robots-Tag或该元机器人标记!

阅读更多:元机器人标签的最终指南»

来源

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/167300.html

(0)

相关推荐