核心做法是把人工判断项从总分里拆出来,改成“自动评分只负责筛出可疑对象,人工判断负责决定是否处理”。如果两者混在同一个分数里,自动评分会悄悄替你做决定;拆开之后,分数只用来排序和触发复核,最终处置权仍在你手里。下面按两种条件给出不同选择。
当同一批对象反复出现“自动分高、人工看完却判定不用处理”,说明评分维度里混进了不该由它决定的因素。此时不要急着调权重,先把评分表拆成两层:可自动计算的信号(如页面是否可访问、字段是否缺失、结构是否完整)和需要人读语义才能判断的项目(如内容是否真正回答了意图、表述是否准确、是否与站点定位冲突)。
实施动作:在评分表里给每个维度标注“自动/人工”,人工项不进入总分,只作为复核清单。结果是总分只反映机器能确认的事实,人工项以“待复核”状态单独列出。下一步你再决定哪些人工项值得投入时间,而不是被一个综合分数牵着走。
如果同一对象在不同时间得到差异明显的分数,先别把它当作“算法在更新”。更合理的解释包括:抓取时点不同、页面本身有改动、评分依赖的外部数据源发生变化,或评分对缺失值处理不一致。这些解释需要用可核对证据区分,而不是靠感觉。
实施动作:挑一组固定样本,记录每次评分的时间、输入状态和关键字段,连续观察若干轮。如果分数变化能对应到输入变化,说明评分本身是稳定的,人工判断只需处理输入异常;如果输入没变而分数变了,才需要怀疑评分逻辑。这个动作的结果会直接决定你下一步是修数据还是修规则。
两种情况的证据不同。评分错了,通常表现为同一规则在不同对象上给出矛盾结论;人工判断被替代,表现为你明明有理由推翻结论,却因为“分数已经很高/很低”而放弃复核。区分方法很简单:
假设一个短例子:某工具给一批页面打出高分,但人工复核发现其中一部分内容只是堆砌了相关词,并未真正解答问题。此时若总分仍被当作处置依据,人工判断就被替代了;若把“是否解答意图”列为独立人工项,高分只代表技术层面无碍,复核结论才决定是否修改。这里数字只用于说明比较方法,不代表任何真实工具的表现。
防止替代的关键不是拒绝自动评分,而是让自动评分无法单方面关闭人工项。具体做法:
这些动作的结果是:自动评分负责缩小范围,人工判断负责最终取舍。下一步你可以根据抽查结果调整人工项的数量,而不是调整总分阈值。
如果人工项本身可以写成明确规则,比如“标题是否包含目标词”“字段是否为空”,那它就不该长期留在人工清单里,应转为自动检查。反过来,如果人工项依赖业务上下文、读者意图或品牌口径,就不要试图用分数近似它。另需注意,请求量、抓取量或某项统计归零,并不能单独证明处理正确,它也可能是采集范围变化、页面改版或外部数据源中断造成的。具体工具当前提供哪些字段、是否支持自定义人工项,需要以你实际使用的版本为准核对。
把人工判断项留在总分之外,并让它的出口只能由人打开,自动评分才会回到“筛子”的位置,而不是替你做决定。