gsc why not indexing

为什么 Google 没有将我的网页编入索引?14 个原因

技术问题(例如抓取和索引编制问题)、robots.txt文件中设置的限制以及不正确使用“noindex”指令,可能会阻止网页在 Google Search Console 上被编入索引。此外,无法访问或被阻止的页面、断开的内部链接和糟糕的内容质量也会阻碍索引编制。确保网站在技术上合理、具有正确的robots.txt文件、可访问的页面和高质量的内容,可以帮助解决“未编入索引”的问题,并提高网站在 Google 上的可见度。

文章目录

如何确定为什么网站不在谷歌上?

网站可能无法显示在 Google 搜索结果中的原因有多种。在采取任何行动之前,了解索引问题的原因至关重要。可以使用以下三种方法执行此操作。

谷歌搜索控制台 (GSC) – 谷歌提供的免费工具,包含各种工具和报告。其中一些将允许检查网站的索引。

ZipTie.dev – 一种工具,可让使用站点地图抓取、URL 列表或整个网站的抓取来检查索引。它还允许安排样本的重新抓取,以便可以轻松监控索引。

“Site:”命令 – 可以通过在 Google 搜索中使用“site:”命令来检查页面是否已被索引。在搜索栏中输入“site:yourdomain.com”,将“yourdomain.com”替换为网站的 URL。

这将显示 Google 已编入索引的页面列表。不过要小心!使用搜索运算符并不能提供完整的图片,并且此方法可能无法显示所有页面。

网站未被 Google 编入索引的 14 个原因

一,未发现网页

这意味着 Google 无法在网站上找到该页面。当 Google 无法发现某个网页时,该网页将无法编入索引,也不会显示在搜索结果中。Google 可能难以找到页面,主要有三个原因。

1.1 网页未在内部链接

内部链接在网站被谷歌等搜索引擎索引中起着至关重要的作用。当搜索引擎的机器人抓取网站时,它们会跟踪链接来发现和索引新页面。内部链接是连接同一网站内页面的链接,可帮助 Googlebot 等机器人浏览网站并理解其结构。 

如果一个网站缺少内部链接,搜索引擎的机器人可能难以发现其所有页面,这可能导致某些页面没有被索引。

1.2 网页不在站点地图中

站点地图是一个文件,其中列出了网站最重要的可索引页面(或在某些情况下的所有页面)。搜索引擎机器人可以使用此文件来发现和索引网站的内容。

当一个页面不包含在站点地图中时,并不意味着它不会被搜索引擎索引。但是,在站点地图中不包含页面可能会使搜索引擎机器人更难发现和抓取它。如果某个页面未包含在站点地图中,则该页面可能会被视为不太重要或在层次结构中较低。 在某些情况下,这种情况可能会导致某些页面无法被发现,即使有内部链接也是如此。  另一方面,在站点地图中包含一个页面可以通过两种方式帮助搜索引擎。更容易发现该页面,它在站点地图中的存在可以作为一个线索,表明该特定页面很重要,应该被编入索引。

1.3 网站太大,您必须等待

当 Googlebot 抓取网站以将其内容编入索引时,它执行此操作的时间有限。 当一个网站既大又更糟糕,加载缓慢时,抓取它可能会给搜索引擎机器人带来挑战。因此,像 Googlebot 这样的机器人可能无法在给定的时间限制内将所有网页编入索引。 这可能会导致网站出现问题,因为任何未编入索引的页面都不会出现在搜索结果中,并且不利于提高网站的可见性。

二,网页未被抓取

当机器人抓取网站时,它们会发现可以添加到 Google 索引中的新页面和内容。此过程对于确保页面在搜索结果中可见至关重要。但是,如果某个网页没有被抓取,则不会将其添加到搜索引擎的索引中。搜索引擎可能无法抓取页面的原因有很多;其中包括抓取预算低、错误或该页面在robots.txt被禁止的事实。

2.1 网页在 robots.txt  中被禁止

robots.txt文件是一个文本文件,用于指示搜索引擎机器人在其网站上抓取或不抓取其网站上的哪些页面或目录。网站管理员可以优化robots.txt,向搜索引擎展示哪些内容应该可以被抓取。

作为一般规则,如果robots.txt文件中不允许某个页面**,搜索引擎机器人应该无法抓取和索引该页面。** 但是,也有例外。例如,如果一个页面是从外部资源链接的,即使它在robots.txt中被阻止,它也可以被编入索引。另一个常见的错误是将robots.txt视为阻止索引的工具。如果在 robots.txt 中禁止该网页,则会禁止 Googlebot 抓取该网页,但如果某个网页之前已被编入索引,则该网页仍将被编入索引。

但是 – 大多数情况下,如果在 robots.txt 中阻止该页面,则无法访问该页面以进行抓取和索引。如果发现页面根本没有被抓取,可能是因为不小心用robots.txt文件阻止了它。

如果不确定在这种情况下该怎么做,请随时联系能够提供帮助的SEO专家

2.2 抓取预算过低

抓取预算是指 Google 的机器人在给定时间范围内将抓取和索引的网页或网址的数量。 当分配给网站的抓取预算太低时,这意味着搜索引擎的抓取工具将无法立即抓取和索引所有页面。 这意味着网站的某些页面可能不会显示在搜索结果中。

请注意,可能会对抓取预算产生影响。 它通常由搜索引擎根据几个因素确定。有许多问题可能会对抓取预算产生负面影响,最常见的是:

  • 低质量页面过多
  • 大量具有非 200 个状态代码或非规范 URL 的 URL
  • 服务器和页面速度慢

如果认为您的网站在抓取预算方面存在问题,则应尝试找出造成这种情况的原因。一个有经验的SEO专家肯定会帮助你。

2.3 服务器错误导致 Googlebot 无法抓取

当 Googlebot 尝试抓取网页时,它会向托管该网站的服务器发送请求,以检索网页的内容。 如果服务器遇到问题,它将以服务器错误代码进行响应,表明它无法提供请求的内容。Googlebot 将此情况解释为暂时不可用或网站存在问题;这可能会减慢爬网速度

因此,某些页面可能不会被搜索引擎编入索引。此外,如果这种情况反复发生并且网站不断返回一致的服务器错误,则可能会导致页面从索引中删除。

三,Google 没有将网页编入索引或取消索引

如果 Google 未将某个网页编入索引,或者将之前已编入索引的网页取消索引,则该网页将不会显示在搜索结果中。它可能是由技术问题、低质量内容、违反准则,甚至是手动操作引起的。

3.1 网页有一个 noindex 元标记

如果网站上的某个页面具有 noindex 元标记,它会指示 Google 不要将该页面编入索引。这意味着该页面将不会显示在搜索结果中。

在某些情况下,由于开发错误 ,元标记可能会无意中设置为“*noindex, nofollow”。因此,该页面可能会从索引中删除。如果以后这与robots.txt封锁相结合,则页面可能无法再次被抓取和索引。在某些情况下,它可能是有意的,并且可能是某种索引膨胀问题的解决方案。但是,我们建议对任何可能干扰抓取和索引编制的操作都要格外小心。

3.2 网页有一个规范标签,指向另一个网页

网站页面上的规范标签指示搜索引擎将规范 URL 视为该网页内容的首选 URL。当页面的内容是网站上另一个页面的重复或变体时,将使用此标记。如果未正确实现规范标记,则可能会导致索引问题。

出于本文的目的,请记住,所有原始页面都应该有一个自引用规范标签。如果一个页面具有另一个 URL 的规范,则该页面最终可能不会被索引。

3.3 网页是不同网页的重复网页或接近重复网页

当网站上的一个页面与另一个页面重复或接近重复时,可能会导致索引和排名问题。 如果一个网页与另一个网页重复,Googlebot 可能不会将其编入索引。 而且,即使这样的页面被索引,搜索引擎通常也不会允许重复的内容获得良好的排名。

重复的内容也会影响网站的抓取预算。Googlebot 需要抓取每个网址,以确定它们是否具有相同的内容,这可能会消耗更多的时间和资源。因此,Googlebot 抓取其他更有价值的网页的能力较小。

虽然 Google 没有具体的“重复内容处罚”,但存在与拥有与其他网站相同内容相关的处罚。在SEO的世界里,像从其他网站抓取内容或重新发布内容而不增加额外价值这样的行为是不受欢迎的,甚至可能损害排名。

3.4 网页质量太低

Google 旨在通过在搜索结果中将具有高质量内容的页面排名更高来提供最佳的用户体验。 如果网页上的内容质量很差,Google 可能不会认为它对用户有价值,因此可能不会将其编入索引。此外,质量差的内容会导致高跳出率,即用户在没有与页面互动的情况下迅速离开页面。这可能会向 Google 发出信号,表明该网页与用户无关或没有价值,从而导致无法将其编入索引。

3.5 页面的 HTTP 状态不是 200 (OK)

HTTP 状态代码是服务器在收到访问网页的请求后发送到客户端的响应的一部分。HTTP 状态代码 200 OK 表示服务器已成功响应请求,并且页面可访问。

如果页面返回的 HTTP 状态代码不是 200 OK,则不会将其编入索引。 至于为什么,这取决于特定的状态代码。例如,404 错误状态代码表示未找到请求的页面,而 500 错误状态代码表示存在内部服务器错误。如果 Googlebot 在抓取网页时遇到这些错误,它可能会认为该网页不可用或无法正常运行,因此不会将其编入索引。如果非 200 HTTP 状态代码长时间存在,则可能会从索引中删除页面。

3.6 网页正在编入索引队列中

当一个页面在索引队列中时,这意味着 Google 尚未将其编入索引。 此过程可能需要一些时间,尤其是对于新的或低流量的网站,如果网站存在技术问题、抓取预算低或robots.txt封锁和其他限制,则可能会进一步延迟。

此外,如果网站有很多页面,Google 可能无法一次索引所有页面。因此,某些网页可能会在索引队列中保留更长时间。这是一个常见的问题,可能会随着时间的推移而得到解决,但如果没有,可能需要进一步分析并采取行动。

3.7 Google 无法呈现您的网页

当 Googlebot 抓取网页时,它不仅会检索 HTML 内容,还会像浏览器一样呈现网页。 如果 Googlebot 在呈现网页时遇到问题,则可能无法正确理解网页的内容。 如果 Google 无法呈现网页,则可能无法识别某些元素,例如 JavaScript 生成的内容或结构化数据,这些元素对于索引编制和排名非常重要。

正如 Google 在他们的文章《了解 JavaScript SEO 基础知识》中承认的那样:

“如果内容在呈现的 HTML 中不可见,Google 将无法将其编入索引。”

在某些情况下,这可能会影响 URL 的索引编制。如果网页的很大一部分未呈现,Google 将无法看到该网页。像这样的页面可能会被认为是重复的或低质量的,并且最终可能无法被编入索引。

3.8 页面加载时间过长

有时,当客户问我们“为什么 Google 不将我的页面编入索引”时,答案是页面加载时间太长。那也可能是你的情况!

如果 Googlebot 抓取的网站加载速度较慢,则可能无法在分配的抓取预算内抓取网站上的所有网页并将其编入索引。

此外,网站加载速度是影响用户体验和搜索排名的重要因素——因此它绝对是网站优化的关键部分。

如何被 Google 编入索引

如果网站是全新的,则可能需要一些时间才能完全编入索引。我们建议等待几周,并使用 Google Search Console 或 ZipTie.dev 等工具监控情况。

如果情况并非如此,并且网站在索引编制方面持续存在问题,可以按照以下步骤操作:

  1. 首先,使用我们的可能因素列表确定问题的根本原因。
  2. 确定原因后,进行必要的修复。
  3. 实施所有更改后,在 Google Search Console 中再次提交页面。

如果行动没有带来预期的结果,可以考虑寻求专业技术SEO人员的帮助。

结束语

如果遇到索引编制问题,并且网页没有显示在 Google 上,应该调查这背后的根本原因。如果想找到问题的答案——“为什么谷歌不索引我的页面”,这样的分析应该是关键的第一步。

在不确定索引问题的原因的情况下尝试解决问题不太可能成功,甚至可能弊大于利。

但是,如果没有该领域的实践经验,一些索引问题可能会非常复杂且难以处理。如果我们在本文中提供的文档还不够,建议寻求专业的技术SEO人员的帮助,以确保问题得到有效解决。

内容创作不易,如果觉得Nat写的东西对您有一定的帮助,请不要吝啬对Nat的赞赏,谢谢!

滚动至顶部