“准备一万份简历，把姓名、公司、岗位和技能标出来”听上去像一个可以按件计价的外包任务。真正开始后，团队很快会遇到更难的问题：候选人为客户驻场时，客户名还是雇主名？校内实验室算教育、项目还是工作？“负责数据平台建设”能否标出没有明说的技术技能？
这些并非标注员不认真，而是标签体系没有定义数据最终要表达什么。招聘 AI 的训练数据不是自然存在的标准答案，它是产品目标、字段边界和证据规则共同构造出来的。一套可靠标注体系的核心资产不是标注数量，而是可复现的判断过程。
先定义记录，再定义字段
简历数据天然具有层级：一份文档包含多个模块，工作模块包含多段经历，每段经历包含公司、岗位、日期和职责，职责中又可能出现技能与成果。如果跳过记录边界，直接在全文框选公司名，模型即使识别出所有实体，也可能把日期和岗位连到错误公司。
因此指南应从数据模型开始：什么是一段独立工作经历，跨页如何合并，兼职与全职如何区分；随后才定义字段的起止边界、是否允许推断、空值如何表达。原文实体和标准化值也应分开标注。例如原文写“北大”，实体层保留原文，标准化层再映射到“北京大学”，二者不能相互覆盖。
一条重要原则是“证据优先”：如果原文没有表达，不因常识补标。技能推断可以成为单独任务，但必须与逐字出现的技能区分，否则模型评估时无法判断它是在抽取还是推理。
一份能工作的标注指南长什么样
字段定义只写一句话远远不够。每个标签至少应包含正例、反例、边界例和冲突处理。
以 job_title 为例，指南要说明是否包含部门和职级，标题中“兼”“代理”如何保留，正文里提到的目标岗位是否排除。对日期要明确“至今”的原始值与标准值、只有年份时如何表示精度、明显矛盾时是修正还是标记异常。对公司名要区分雇主、客户、项目合作方和集团品牌。
指南版本必须与标注结果绑定。当定义变化时，团队需要知道哪些数据按旧规则产生、是否需要重标。否则同一训练集内部混入多代标准，模型会把规则冲突当成语言规律学习。
用一致性发现问题，而不是装饰报告
双人独立标注一部分样本，是判断任务是否清晰的直接方法。实体任务可以分别计算边界一致率、类别一致率和记录归属一致率；分类任务可使用 Cohen's kappa 等排除偶然一致影响的指标。但一个总体一致率不能告诉团队哪里出了问题。
例如两位标注员都找到公司名，却一个标全称、一个只标品牌名，这是边界分歧；都标出同一日期，却连接到不同工作经历，是归属分歧。前者需要改边界规则，后者可能暴露页面阅读顺序或记录定义问题。
质检不应只在项目末尾抽查。更有效的节奏是先做小规模试标，集中仲裁分歧，更新指南，再扩大批次。持续记录“无法判断”的案例也很重要：它们不是失败样本，而是标签体系最有价值的压力测试。
主动学习：优先标模型最需要的样本
随机标注能够覆盖常见分布，却会重复大量简单模板。主动学习的基本思想，是让模型从未标注池中选择最有信息量的样本交给人工。Settles 的主动学习综述 系统整理了不确定性采样、委员会查询和代表性选择等方法。
在简历场景中，不能只挑模型置信度最低的文档。低置信样本可能全是损坏扫描件，也可能集中在一个罕见模板，导致标注预算失衡。更好的批次同时考虑不确定性、样本多样性、业务重要性和错误代价，并保留随机抽样作为无偏评估集。
主动学习适合形成迭代闭环：基线模型训练后定位困难样本，人工标注与仲裁，加入训练集，再观察独立测试集是否改善。测试集不能跟着模型选择，否则指标会逐渐失去可比性。
弱监督：把规则变成可管理的标签来源
招聘数据中常有大量可表达的启发式规则：邮箱正则、日期格式、标题词典、页面区域、ATS 已有字段、多个旧模型的输出。传统做法常把这些规则直接写进数据，冲突时用优先级覆盖；规则错了，很难追踪影响了哪些训练样本。
Snorkel 提出的数据编程思路，是让领域人员编写多个“标注函数”，再对它们的覆盖、冲突和相关性进行建模，生成概率标签。它不能让错误规则自动变正确，但把启发式来源显式化，使团队可以测试、组合和迭代它们。
弱监督尤其适合获得大规模初始标签或候选区域，人工则集中处理冲突、高价值字段和困难边界。金标准测试集仍必须由清晰指南和人工复核产生，不能用同一批规则生成后再证明规则有效。
数据集也需要一份“说明书”
Datasheets for Datasets 建议记录数据集的动机、组成、收集过程、预处理、用途、分发与维护。这对简历数据不只是研究规范，还涉及数据合法性和模型风险。
至少应记录：数据来自何种业务渠道、候选人是否知晓用途、是否完成必要脱敏、覆盖哪些语言和岗位、排除了什么、标签由谁按哪个版本产生、已知偏差、允许用途、保存期限以及删除如何传递到训练数据。没有这些信息，后来者很容易把为“字段抽取”收集的数据误用于“候选人筛选”。
还要对训练、验证和测试按候选人或模板来源去重。如果同一份简历的不同版本进入训练和测试，模型可能只是记住模板；随机切分得到的高分无法代表新来源文档。
建立可持续的数据生产线
一套成熟流程通常从少量高质量金标准开始，而不是先追求百万规模。先定义数据模型和指南，完成试标与分歧仲裁；再建立版本化工具、权限、脱敏和审计记录。基线模型上线后，通过主动学习挑选困难样本，用弱监督扩大易定义标签，同时维护独立、稳定、按场景分层的测试集。
每次模型错误都应能回到四个问题：原文证据是否清楚，指南是否有定义，标注是否一致，数据分布是否覆盖。这样，错误才会变成数据资产的改进，而不是下一轮临时补丁。
招聘 AI 的上限常被归因于模型，实际更早受制于团队能否一致地回答“正确数据是什么”。标注体系不是模型训练前的一次准备工作，而是产品持续运行的一部分。