seo优化推广软件：一次全站扫描被中断后怎样判断已覆盖范围
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /ca5ce29e5945.html
📄
seo优化推广软件：一次全站扫描被中断后怎样判断已覆盖范围
先给有条件的结论：如果扫描任务在中断时保留了已完成队列、URL 状态和去重记录，可以用“已抓取 URL 集合 ÷ 计划 URL 集合”估算覆盖范围；但这一比例只对同一配置、同一时间窗口成立。若中断发生在链接发现阶段，分母本身还在增长，比例会失真，不能直接当作全站覆盖率使用。
先确认中断发生在哪个阶段
全站扫描通常分两步：先发现链接，再抓取页面。发现阶段中断，意味着待抓列表还没定型，此时已抓数量只能说明“处理了多少条已知链接”，不能说明覆盖了多少页面。抓取阶段中断，待抓列表已经稳定，已抓集合才有分母意义。
判断方法很直接：查看任务日志里是否存在“发现完成”或等价的阶段标记，再对比中断时的队列长度与初始种子数量。如果队列长度在中断前仍持续增长，说明发现未收敛，覆盖判断要降级为“仅对已知链接有效”。
用三个信号交叉验证已覆盖范围
单一计数容易误导，建议同时看三组信号：
- URL 状态分布：已成功、已跳过、待处理、失败各占多少。已跳过里包含重复、robots 限制、参数过滤，这些不等于已覆盖。
- 去重记录：如果工具按规范化 URL 去重，中断后重新扫描时能续上；如果按原始字符串去重，带参数的同一页面可能被重复计入，覆盖率会被高估。
- 站点地图对照：把已抓集合与站点地图中的 URL 做差集。差集里若大量是分页、筛选参数或已下线页面，说明覆盖判断需要按页面类型分层，而不是只看总数。
假设一次扫描计划 1 万条 URL，中断时已成功 6000 条、跳过 1500 条、待处理 2500 条。表面覆盖率是 60%，但若跳过项里有 1200 条是重复参数页，真正的新页面覆盖只有 48% 左右。这个例子只用于说明比较方法，不代表任何工具的实际表现。
什么情况下这个结论会失效
最典型的反例是：站点在扫描期间发布了新页面或修改了内链结构。此时分母已经变化，中断前的计划列表不再代表当前全站。已抓比例再高，也不能说明新页面被覆盖。另一个反例是扫描配置中途被改动，比如调整了抓取深度或排除了某个目录，前后两段数据不属于同一口径，不能合并计算。
如果无法确认分母是否稳定，更稳妥的做法是放弃比例判断，改为按目录或模板抽样核对：从每个主要栏目各取若干 URL，检查是否出现在已抓集合中。样本成立不代表全站成立，但能快速定位是整体中断还是局部遗漏。
下一步动作：先补差集，再决定是否重扫
确认覆盖范围后，先导出待处理与失败列表，按页面类型分组。对内容页优先补抓，对参数页和重复页可以继续排除。补抓完成后，用站点地图差集再核对一次；如果差集里仍有内容页缺失，才需要调整抓取配置并重扫，而不是直接全量重跑。全量重扫的代价通常是重复抓取已覆盖页面，只有在去重记录不可信或配置已变更时才值得这么做。
