
Bug 分类
大多数缺失链接是时间问题,而非欺诈
索引延迟解释了大部分报告。欺诈、noindex 页面和更改的 rel 属性解释了其余大部分情况。按此顺序测试可节省大量愤怒的邮件。
- 我们的索引大约每月刷新一次
- 搜索控制台以其自身的延迟列出链接
- 只有实时抓取才能证明链接今天存在于 HTML 中
神话与现实的对比
| 神话 | 现实 | 复现步骤 |
|---|
| 如果工具未显示链接,则该链接不存在 | 每个工具都有抓取日期,而我们的抓取周期为每月一次 | 抓取源页面并搜索你的域名 |
|---|
| 搜索控制台应在几天内列出该链接 | 其链接报告按自身计划更新并采样数据 | 将报告日期与放置日期进行比较 |
|---|
| Ahrefs、Semrush 和 Majestic 总是达成一致 | 每个工具都运行自己的爬虫,因此计数因设计而异 | 在两个工具中检查同一域名,预期会有差距 |
|---|
| 200 响应意味着链接正常 | 页面可以返回 200 并带有 noindex 或指向其他位置的 canonical | 在 HTML 中搜索 noindex 和 rel=canonical |
|---|
| 删除意味着供应商欺骗 | 网站迁移、编辑修剪、CMS 更新剥离标记 | 检查 Wayback 捕获以获取删除日期 |
|---|
| Dofollow 是一个 rel 值 | 这是行话;实际值是 nofollow、sponsored 和 ugc | 查看源代码并阅读 rel 字符串 |
|---|

导致最多争论的三个误区
购买的链接未显示通常是时间问题,然后才是欺诈问题。表格中的三个误区值得更仔细地研究,因为每一个都会导致工单指向错误的方向。
200 响应并不能确保链接有效
200 状态码仅表示服务器已响应。它并未说明响应内部的标记。页面可以返回 200 并仍然带有 noindex,或指向其他地址的 canonical 标签。
读取服务器实际发送的 HTML,然后读取包含 X-Robots-Tag 的标头转储。两者都可能隐藏状态码从未显示的问题。
链接删除并不总是欺诈
当链接消失时,第一个猜测通常是供应商。更常见的原因是枯燥的:网站迁移、编辑修剪旧文章,或剥离无法识别标记的 CMS 更新。
在联系供应商之前,检查网络存档以获取删除日期。如果捕获显示页面在放置后发生了变化,问题就变成了何时变化,而不是谁做的。
两个工具不一致是正常的
两个链接工具对同一域名意见不一,说明它们都在正常工作。每个工具都有自己的爬虫、计划以及计算链接的规则。几个主机的差距很常见。
在工单中将一个工具指定为参考,并将其他工具作为上下文。不要将它们的计数混合在一列中。
搜索控制台按自己的时钟运行
搜索控制台中的链接报告是一个独立的管道,具有自己的延迟,并且可以对其显示的数据进行采样。在那里缺失的链接在实时抓取中可能仍然可见,而在那里可见的链接可能需要一段时间才能出现。
将报告日期与放置日期进行比较,并将两者都记录在工单中。不要要求供应商遵守报告从未承诺的时间窗口。
我们预期的第一周时间线
第 0 天,供应商报告链接已上线。抓取它。你的工作是在当天抓取并保存 HTML。保存的副本比截图更有价值。
给它时间。在第一个月内,我们的爬虫可能访问过,也可能没有访问过。如果刷新在放置之前已经发生,你将直到下一次刷新才会看到结果,因此第 10 天的调用 legitimately 返回空行。将其记录为待处理,而不是失败。
下次刷新后运行它。调用 backlinks 获取你的域名并查找源主机。如果现在缺失,你就有了真正的差异。深入调查:再次抓取页面,检查锚文本是否更改、新的 rel 值或重定向。术语表列出了每项测试。
缺失链接工单的复现步骤
- 使用 curl 或浏览器的保存功能,保存带有时间戳的实时源 HTML。
- 使用
curl -I 记录源 URL 和目标 URL 的 HTTP 状态。 - 记录你知道的最新月度刷新日期,以及放置是否在此日期之前。
- 运行
refdomains 获取你的站点,并在列表中搜索源主机。 - 在要求替换之前,将所有四项附件到供应商工单中。
单个链接丢失时的测试顺序
按顺序执行这些步骤。每一步要么关闭问题,要么告诉你下一步该问什么。
01再次抓取页面
使用 curl 拉取源 URL 并保存带有时间戳的 HTML。列表中的其他内容都不值得与今天未抓取的页面进行比较。
02阅读标记,而不是工具
在保存的 HTML 中搜索你的域名,并阅读该锚点的 rel 字符串。工具可能有延迟。标记显示页面当前发送的内容。术语表定义了每个 rel 值。
03检查状态和重定向
对源 URL 和目标 URL 运行 curl -I。重定向链或 404 比任何索引都能更快地解释链接缺失的原因。
04将放置日期与上次刷新进行比较
如果放置发生在上次刷新之后,则差距是预期的。将行记录为待处理,并记录两个日期。
05下次刷新后重新查询
刷新通过后,为客户端调用 backlinks 或 refdomains 并搜索源主机。只有在线、可索引且仍然缺失的主机才是值得提交工单的差异。准备好成本表以设置下次检查。

标记为假设的时间线示例
下面的示例是假设性的。它们展示了相同的空结果如何根据链接上线的时间不同而读取不同。
刷新后不久放置的链接
想象一下在月度刷新后第二天放置的链接。它第一次真正出现的机会是在下一次刷新,即几乎一个完整周期之后。在此期间结果为空是计划按设计运行的表现。
将行标记为待处理并记下两个日期。没有人应该因为索引尚未看到的行而追逐供应商。
刷新前不久放置的链接
现在想象相反的情况。链接在下次刷新前几天上线。它可能在该刷新时出现,也可能延迟到下一次刷新。无论如何,单次刷新后的缺失是一个弱信号。
两次刷新后仍然缺失的链接
假设同一链接在两次刷新后仍然缺失,而页面返回 200 且锚点位于保存的 HTML 中。现在该行存在真正的差异。在归咎于索引之前,检查 robots.txt、登录墙和 noindex。
只有那时,停止规则中的第二来源检查才值得其成本。
在日志中为每次刷新保留一行,包括抓取页面的日期和每项检查的结果。经过两次刷新,该日志是直觉与记录之间的区别。将工单写成 dated observations 的列表,而不是关于供应商的结论。
缺失链接工单中的问题
- 我应该先测试哪个误区?
- 从成本为零的测试开始:抓取源页面并在其 HTML 中搜索你的域名。如果链接在标记中,大多数误区列表都会消失。如果不在,接下来是 rel、noindex 和重定向检查,每项检查只需一条命令。
- 第一周缺失链接是个问题吗?
- 单独来看不是。在刷新前不久放置的链接可能直到下一次刷新才会出现。第一周的缺失是保存页面、记录日期并在刷新后安排下次检查的理由。
- 缺失链接会是惩罚吗?
- 可能是,但通常不是第一个解释。大多数缺失链接意味着索引尚未跟上或页面已更改。手动操作出现在搜索控制台的报告中,因此在对链接得出结论之前请检查该报告。
- noindex 标签意味着链接毫无价值吗?
- 这意味着页面要求搜索引擎不要出现在结果中,因此上面的链接很少能达到订购的意图。这是否是缺陷取决于订购的内容。将 noindex 发现放在显示它的保存 HTML 旁边的工单中。
何时停止等待
两次刷新。这是我们的经验法则,而非 Google 规则,你可以将其扩展到变化缓慢的领域,其中发布者很少更改页面。如果页面在线、可索引且按约定跟随,但两次月度刷新仍然错过它,则源页面可能对爬虫不可达、位于登录墙后或在 robots.txt 中被阻止。
此时,使用第二个数据源进行测试。Ahrefs 或 Semrush 即可。仅靠我们的数据是不够的。正常公共页面上三个索引不一致的情况很少见。在缺失上达成一致是强有力的证据,应包含在成本意识重新检查计划中。
如果链接在线且仅通过抓取才能找到,请接受这一点并继续。关于页面本身的索引问题,如果排名也发生了移动,请转到流量下降运行手册。