fix not found 404 and soft 404

如何修复 Google Search Console 中的未找到404和软404

“Not found 未找到(404)”和“Soft 软404”是 Google Search Console 状态,可能描述你的一些未编入索引的页面。它们的名字非常相似,两者都会严重伤害你的 SEO,但原因完全不同:
  • 在“未找到 (404)”的情况下,Google 无法将你的页面编入索引,因为它使用 404 HTTP 响应代码进行响应,因为其内容不存在。
  • 在“Soft 404”的情况下,Google 对你的页面感到困惑。即使你的服务器显示该页面可用,其内容似乎也丢失了。
处理 “未找到 (404)” 和 ”Soft 404“ 页面的方式可能对你的用户体验、抓取预算优化和索引策略至关重要。 让我们进一步探讨它们的差异并学习如何解决它们。

文章目录

“未找到 (404)”状态实际上意味着什么?

简单来说,当你或网络爬虫尝试访问网站上的页面,但该页面不再存在时,就会发生“未找到 (404)”错误。因此,该网站告诉你它找不到你正在寻找的页面,并显示 404 错误消息。从网站所有者的角度来看,这也意味着 Google 不会将 404 错误的页面编入索引,因为它不会提供任何有价值的内容。

如果在 Google Search Console 的页面索引(索引覆盖率)报告中看到“未找到 (404)”,则意味着:

  • Googlebot 与你的服务器通信以检索给定的网页,
  • 服务器找不到请求的 URL,因此它使用 404 HTTP 响应代码进行响应。

服务器通过状态代码与爬虫和浏览器通信。只要你能够毫无问题地查看页面,服务器很可能会使用 200 状态代码响应浏览器的请求。

还有许多状态代码引用了可能的错误,因此服务器无法授予你访问页面的权限。404 状态代码就是其中之一。这意味着该页面不可用,因为服务器找不到它。

Google 不会将 404 个页面编入索引,因为它们对用户没有任何价值。

是什么导致 Google Search Console 中出现“未找到 (404)”?

服务器使用 404 状态代码响应的可能原因可能有所不同:

删除页面

你在管理网站时,可能会不小心删除了页面。如果它是一个关键页面,有许多链接指向它,则可能会导致你的网站遭受重大流量损失。

但你可能还希望故意删除你的内容。

以下是你可能希望这样做的几个原因:

  • 优化对你的业务和用户没有价值且你不想修改的重复内容。
  • 拥有不会为你的网站带来流量的孤岛页面,但你无法链接到它们或重定向它们。
  • 解决不再有搜索需求或外链且未返回你的网站的缺货产品页面。
  • 隐藏无意中在生产站点上发布的内容,例如,在网站迁移期间。

删除不会为你的网站带来商业价值或可能损害其 SEO 的页面并没有错。

只要无法以任何其他方式解决你的问题(例如,修改或重定向内容),请随时设置 404 状态代码。

更改 URL 结构

你的网站不断变化,因此某些 URL 地址会随着时间的推移而变化是正常的。 但请记住,如果指向页面的链接不正确,服务器将不会向用户提供请求的内容,因为它找不到它。 另一种情况是当您在手动添加链接或输入以进入给定页面时在 URL 中输入错误。 此类错误可能会涉及,例如,
  • 具有替代拼写的单词 (optimisation vs. optimization) 或
  • 向 URL 添加空格,因为它们将被 %20 字符串 (example.com/red-%20car) 替换
从你的角度来看,这种变化似乎微不足道。但是,对于搜索引擎机器人,即使 URL 地址的微小差异也会被解释为不同的 URL。

404 错误如何影响 SEO?

尽管有一些 “Not found (404)” 页面是不可避免的,但如果不优化它们可能会导致网站上出现更多问题。

负面的用户体验

最有可能的是,无论用户如何输入你的 “Not found (404)” URL,他们都不是在寻找空白页面。

在 Target 页面上看不到任何内容可能会产生负面的用户体验。 用户对你网站的感受直接影响转化率。

因此,需要确保你的访问者在网站上遇到 404 页面时不会感到迷茫。

一个好的做法是创建一个自定义的 404 页面,它不仅在视觉上具有吸引力,而且最重要的是,可以通知用户:

  • 为什么他们会看到“未找到 (404)”页面,以及
  • 他们可能会对你的网站采取哪些进一步的行动,例如,阅读你的热门文章。

通过创建一个健全的 404 页面,可以鼓励用户留在你的网站上,即使他们无法浏览他们想要的确切页面。

浪费抓取预算

Google 没有无限的资源来抓取 Web 上的所有内容。

如果漫游器可以自由抓取你的 “Not found (404)” 页面,那么在你的抓取预算被浪费之前,它们可能永远无法到达你网站上更有价值的页面。

如果你认为这可能是你的情况,请选择抓取预算优化服务来释放你网站的全部抓取潜力。

降低流量潜力和排名信号

如果你有很多内部和外部链接指向你的 404 页面,那么积累的 PageRank 就会被浪费掉。

如何排查“未找到 (404)” 问题

首先,浏览编制索引报告中受影响的页面列表,以检查它们是否你深思熟虑的结果。
not found 404 GSC

此外,如果管理一个大型网站,使用 Screaming Frog 或 WebSite Auditor 等 SEO 爬虫可以更轻松地浏览 404页面。

需要检查的另一件事是确保你的 XML 站点地图不包含任何 “未找到 (404)” 页面。可以在左上角将受影响的 URL 过滤到状态页面上的 “所有已提交的页面”。

not found 404 all submintted

理想情况下,由于你的站点地图文件应该只包含以 200 状态代码响应的页面,因此你不应该在 “所有提交的页面” 列表中找到任何 URL(或者,就像过去一样 – 在 “已提交的 URL 未找到 (404)” 状态中)。

否则,它可能意味着以下事情:

  • 你不希望该页面再被索引 – 你删除了提交的页面但没有更新站点地图文件,或者你更新了站点地图,但它仍然包含错误页面。

确保每次在你这边进行更改时都更新你的站点地图。

请记住,即使你实施了更改,它们也不会立即被采纳。当 Google 重新抓取你的站点地图时,再次检查你的 “所有提交的页面 ”报告。

  • 你希望该页面被索引 – 你将页面添加到站点地图,但随后错误地删除了 URL。
  • 你的站点地图包含你不关心的 URL ,以便被编入索引。在这种情况下,请遵循为 SEO 创建 XML 站点地图的最佳实践,因为这种方法可能会浪费你的抓取预算。

如果你确认你的“未找到 (404)”网页不应存在,并且它们不会引发其他问题,则可以忽略“未找到 (404)”状态。

但是,如果你不是这种情况,或者你不确定“未找到 (404) URL 如何影响你的网站,请继续阅读以进一步的步骤。

设置 301 重定向

在以下情况下,请考虑重定向你的“未找到 (404)”页面
  • 将你的内容移动到另一个语义相关的页面,
  • 删除了你的页面,但您的网站上有另一个相关的页面,并且你希望你的用户前往那里,
  • 删除了曾经提供流量或仍对其定位的关键词有搜索需求的页面,以及
  • 有许多内部和外部链接指向你的 “Not found (404)”,这样你就可以传递给定页面的权限。
在理想情况下,在正确的重定向之后(并且在 Google 重新抓取 URL)之后,“未找到 (404)”页面将在 Google Search Console 中将其状态更改为“带有重定向的页面”。 但是,请记住,你不应该仅仅为了重定向而急于将你的 “Not found (404)” 页面重定向到上下文无关的页面。否则,它可能会导致你网站上的其他问题,比如我们将在下面讨论的 “Soft 404” 错误。

监控内部和外部链接

当你认为给定页面不应该存在,因此它正确返回 404 HTTP 状态代码时,请确保它没有在整个网站和外部资源中广泛链接。 你可以将指向 404 页面的内部链接替换为指向响应 200 状态代码的相关页面的链接。 当涉及到外部链接时,你可以联系链接到你的网站,并要求他们更新不再存在的链接。但是,我知道这并不总是可能的,特别是如果有成千上万的反向链接指向你的页面。 在这种情况下,请进行 301 重定向到现有页面(或考虑创建你可以重定向到的新相关内容),或设置 410 HTTP 状态代码。

“软 404”状态实际上意味着什么?

当服务器响应 404 错误时,不会出现软 404 错误。当网页满足两个条件时,Google 会将网页标记为软 404 错误:

  • 他们的内容似乎缺失了,但
  • 服务器仍使用 200 状态代码进行响应。

换句话说,Google 认为给定的 URL 应该返回 404 状态代码,尽管提供了 200 响应。在此基础上,它得出结论,该页面不应被编入索引。

如何修复 Google Search Console 中的“Soft 404”错误?

你可以在 Page Indexing 报告中找到受 “Soft 404” 状态影响的页面。从 Google Search Console 的左侧导航栏很容易访问。

soft 404 GSC

可以通过单击状态名称获取有关这些页面的更多信息。它将显示一个图表,显示受影响页面的数量如何随时间变化以及 URL 列表。你可以使用位于右上角的按钮导出列表。

export soft 404

根据 John Mueller 在 SEO Office Hours 上所说的话,Google Search Console 仅报告那些在移动设备上被视为软 404 页面的页面。如果一些桌面页面被标记为软 404,但它们的移动版本不受问题的影响,你可能无法在 GSC 中看到它们。

要检测 GSC 报告中不可见的桌面软 404,你的网站需要进行技术 SEO 审核。

让我指导你了解“软 404”状态的可能原因以及修复它们的方法。

确保不存在的页面返回 404 状态代码

许多网站提供自定义 404 页面,这些页面不仅报告错误,还帮助用户导航到他们需要的信息并鼓励他们探索域。有时,如果无人看管,该过程会变得混乱,并且这些页面会返回 200 HTTP 状态代码。 

这对搜索引擎优化很不利,因为空空如也的 200 页面会浪费 Google 的抓取预算。解决这个问题的办法是配置服务器,为不存在的页面(即使是定制的)返回正确的状态代码–404 Not Found。

抓取预算浪费是所有大型网站面临的关键 SEO 挑战。Nat 的抓取预算优化服务可以帮助你了解并根除问题。

避免重定向到不相关的页面

当面对大量过时或空白的页面时,你可能会想将它们全部重定向到一个通用位置,例如你的主页。但是,从你的网站访问者的角度来看,此解决方案没有用。

遇到这种类型的重定向时,Google 可能会将其标记为软 404。要解决此问题,请在创建重定向时遵守更严格的规则:

保持重定向的主题相关性,

当你找不到与用户意图对应的其他页面时,请设置 404 页面,而不是重定向。

避免内容较少或没有内容的页面

内容很少或没有内容的页面的一个很好的例子是电子商务网站上的空目录页面,产品经常进出。Google 可能会将其归类为软 404。

内容薄弱的页面对你的用户没有帮助,并对你的 SEO 构成威胁,例如:

  • 浪费抓取预算,
  • 让 Google 相信你的整个网站缺乏质量,这可能会阻止 Google 经常抓取网站,
  • 在内容较薄的手动作后排名较低。

最好使用 noindex 元标记来防止将内容很少或没有内容的页面编入索引。检查您的网站架构并考虑哪些产品类别无法实现其目的并且不需要也是一个好主意。

小心 404 类单词

Google 的算法并不完美,如果页面包含通常出现在典型 404 页面上的单词,则可能会错误识别页面。例如,当产品页面使用以下术语时,可能会发生在电子商务网站上:

  • 缺货,
  • 产品不可用,
  • 我们不会送货到您的位置。

可以尝试通过删除这些词或使用中性同义词来解决“Soft 404”状态。

修复渲染问题

某些内容可能对 Google 不可见,因为它无法呈现这些内容。当您的 robots.txt 文件阻止爬虫访问 CSS 或 JavaScript 文件时,通常会发生此类问题。

可以通过在 URL 检查工具中检查来了解 Google 是否正确呈现你的页面。所要做的就是单击“Soft 404”列表中所选 URL 旁边的放大镜图标。

soft 404 URL Inspection

要解决此问题,请确保 Google 有权访问渲染所需的资源。检查您的 robots.txt 文件并确保允许抓取 CSS 和 JavaScript。

渲染错误可能比robots.txt混乱更复杂。Nat 的渲染 SEO 服务将使你能够了解问题的根源。让我们一劳永逸地摆脱你的渲染烦恼!

关键要点

无论背后的原因是什么,当服务器以 404 状态代码响应时,这意味着两件事:它找不到你的页面,并且 Google 将无法将其编入索引。 同时,“Soft 404”页面返回 200 状态代码,但 Google 确信 404 错误更适合它。 如果你确定给定页面不应存在,请考虑设置 301 重定向以保持流量流向另一个页面并转移累积的页面权限。 创建自定义 404 页面以最大限度地减少负面用户体验并将访问者留在你的网站上。 要排查 Google Search Console 中的“软 404”状态,请尝试:
  • 检查不存在的页面是否正确返回 404 状态代码,
  • 修复不相关的重定向,
  • 使用 noindex 标签标记你的薄弱内容页面,
  • 删除可能对 Google 产生误导的字词,
  • 检查你的渲染 SEO。
这些是 404 错误和软 404 问题的有效解决方案,但它们都不能保证持久的结果。要摆脱索引和抓取预算的问题,请联系 Nat

内容创作不易,如果觉得Nat写的东西对您有一定的帮助,请不要吝啬对Nat的赞赏,谢谢!

提升网站的盈利能力

联系Nat并了解如何实现!
滚动至顶部

联系Nat

与Nat取得联系,我会在短时间内合理的规划关于建站,网站优化,及SEO推广方面的任何问题。