训练数据的难点很少只是数量。真正困难的是,不同专家面对同一案例能否依据同一套标准,给出可以解释的判断。
一份有效的标注手册至少要包含:标签定义、适用边界、正反例、判断原因和关键证据。对于专业领域,还要补充容易混淆的情形与冲突处理原则。
训练集与测试集需要分开设计。前者帮助模型学习,后者检验模型能否在未见样本上保持精度;如果标准本身不断漂移,再好的模型也只能追逐噪声。
当任务需要复杂推理时,可以标注专家的判断路径,让模型不仅模仿答案,也学习怎样按照人的意图组织证据和步骤。
标注不是模型建设的低端环节,而是业务知识第一次被系统化表达的过程。