死链检测检查前需要准备哪些信息：先分清两种处理方案再动手
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /16765009324e.html
📄
死链检测检查前需要准备哪些信息：先分清两种处理方案再动手
开始死链检测前，至少要准备四类信息：待检测的URL来源清单、站点的抓取规则文件、期望的检测范围与深度、以及检测结果的处理方式。缺少其中任何一项，都容易出现漏检、误判或把可修复链接直接删掉的情况。下面按可执行清单逐项说明要查什么、怎么查、结果说明什么。
第一项：整理URL来源，决定检测覆盖面
死链检测的第一步不是跑工具，而是确定“检测谁”。常见来源有三类：站点地图、站内链接抓取结果、以及外部导入的链接列表。
- 要查什么：站点地图文件里列出的URL总数、站内导航与正文中出现的内部链接、外部平台或旧系统导出的链接表。
- 怎么查：分别导出这三类清单，用去重工具合并，记录每个URL的来源标记，便于后续判断死链影响范围。
- 结果说明什么：如果只检测站点地图，会漏掉正文里失效的内部链接；如果只抓站内链接，会漏掉未被链接但已被收录的历史页面。来源越全，检测结论越接近真实情况。
第二项：确认抓取规则，避免把限制误当死链
检测前必须查看robots.txt和页面级meta robots设置，因为被规则禁止抓取的URL，检测工具可能返回超时或拒绝访问，而不是404或410。
- 要查什么：robots.txt中是否对检测工具使用的User-Agent设置了Disallow；目标页面是否带有noindex或nofollow。
- 怎么查：直接读取robots.txt原文，逐条比对检测工具的User-Agent；对可疑页面查看HTML源码中的meta robots标签。
- 结果说明什么：被Disallow的URL不等于死链，它只是不被抓取；noindex也不等于死链，它只影响索引。把这两类结果单独标记，不要混入死链列表。
需要特别注意：robots.txt的抓取限制不等于可靠的索引移除，站点地图也不保证收录。检测时要把“抓取失败”“索引移除”“真实死链”三种状态分开记录。
第三项：确定检测深度与状态码判定标准
同样一批URL，检测深度不同，结论可能完全不同。准备阶段要明确三件事：是否跟随重定向、是否检测外部链接、以及哪些状态码算死链。
- 是否跟随重定向：如果只检测最终状态，301跳转链中的中间环节可能被忽略；如果逐跳检测，能发现跳转次数过多或跳转目标本身已失效的问题。
- 是否检测外部链接：外部链接的检测结果受对方服务器策略影响，可能因反爬返回403，这类结果不能直接判定为死链，需要人工复核。
- 状态码判定：通常404和410表示资源不存在，属于明确死链；403、429、503等可能是临时限制或服务异常，应标记为待复核，而不是直接删除。
建议在检测前写一份判定表，例如：404/410归为确认死链，403/429归为需复核，301/302归为跳转待确认。这样检测结果才有统一的处理依据。
第四项：准备两种处理方案的比较条件
发现死链后，常见处理方案有两种：一是修复或设置重定向，二是直接移除链接或返回410。选择哪一种，取决于三个条件。
- 该URL是否还有等价内容：如果站内有内容相近或可替代的页面，优先设置301重定向；如果没有，且页面无保留价值，可考虑返回410。
- 该URL是否有外部链接或流量：有外部引用或历史流量的URL，直接移除会造成访问中断，更适合重定向到最相关的现有页面。
- 该URL是否被索引：已被索引的URL突然返回404，搜索引擎需要时间重新处理；返回410通常比404更明确地表达移除意图，但两者都不保证立即从索引中消失。
假设某产品页已下线，但站内有同类产品页，此时重定向是合适方案；假设某测试页从未被引用也无流量，直接返回410更简洁。判断依据是内容等价性和外部引用情况，而不是死链数量多少。
第五项：准备记录字段与复核流程
检测前还要确定结果表包含哪些字段，否则几千条结果无法处理。建议至少记录：原始URL、来源、HTTP状态码、跳转链、检测时间、判定结论、处理方案。
检测完成后，先复核403、429、503等非确定性结果，再处理确认死链。修复或重定向上线后，对原URL重新检测一次，确认返回预期状态。HTTPS不保证安全无漏洞或排名，检测时也不必把HTTPS作为死链判定条件。
下一步：先导出站点地图和站内链接清单并去重，再读取robots.txt确认抓取限制，然后按上面的判定表跑一轮检测，把结果分成“确认死链”和“待复核”两类再决定处理方案。
