“简历解析准确率是多少？”是采购和技术评审最常问的问题之一，也是最容易得到一个无意义答案的问题。
95% 可能表示 100 个字段中 95 个完全正确，也可能把部分匹配算作正确；测试集可能来自清晰的单栏 Word 简历，也可能包含扫描件和表格；电话少一个数字与个人总结少一个形容词，可能被当成同样一次错误。
在不知道样本、字段、匹配规则和聚合方式前，两个准确率不能直接比较。真正可靠的评估不是寻找一个更好看的总分，而是建立一套能够复现错误、定位原因并决定自动化边界的测量系统。
第一步：定义评估对象
简历解析可以评文件是否打开、OCR 字符、版面区域、阅读顺序、经历记录、字段值、标准化概念和最终业务可用性。它们属于不同层。
端到端指标回答“最终结果能不能用”，分层指标回答“错误应该修哪里”。如果扫描件公司名错误，不分层就无法判断是 OCR 少字、阅读顺序错、经历边界错，还是实体模型判断错。
每个系统都应先公布自己的评估范围：输入是文件还是纯文本，是否包含 OCR，是否评价标准化，哪些字段属于核心字段，哪些语言和格式在支持范围内。
黄金数据集比指标公式更重要
黄金数据集是经过人工确认的标准答案。它需要接近真实流量，但不能只做随机抽样，因为常见模板会淹没少量高风险难例。
建议采用“流量代表集 + 困难挑战集”两部分。代表集按实际来源、语言和文件格式分层抽样；挑战集主动收集扫描件、双栏、表格、跨页经历、混合语言、日期歧义和罕见字段。
标注前要先写规范。以下问题如果标注员都无法一致回答，模型评估也不会稳定：
- 校内实验室经历属于教育、项目还是工作？
联合创始人兼 CTO是一个岗位还是两个岗位？- “至今”如何表示，是否生成当天日期？
- 客户公司名是否算工作经历中的公司实体？
- 简历明确写错的日期，标准答案忠于原文还是纠正逻辑？
黄金集应保存标注人、复核人、规范版本和争议记录，并与模型版本一起冻结。它不是一次性 Excel，而是需要版本管理的产品资产。
字段指标：Exact Match、Precision、Recall 与 F1
姓名、邮箱、电话等单值字段可以计算完全匹配率。完全匹配前可以做明确的规范化，例如去除电话号码空格、统一日期格式，但必须公布规则，不能为了提高分数临时放宽。
技能、证书等多值字段适合使用 Precision、Recall 和 F1：
- Precision：系统提取的结果中有多少正确；
- Recall：标准答案中的内容有多少被找回；
- F1：Precision 与 Recall 的调和平均。
命名实体识别的严格评价通常要求实体边界和类别同时正确。宽松匹配可以作为辅助诊断，但不能用“包含一部分字符”替代严格指标，否则公司名、日期范围等边界错误会被掩盖。
还要说明采用 micro 还是 macro 聚合。micro 会被高频字段主导，macro 能让低频字段获得相同权重。最稳妥的做法是同时展示每字段结果与聚合结果。
经历记录必须先对齐，再评字段
工作经历不是一组互相独立的公司、岗位和日期。系统可能识别出所有值，却把 A 公司的岗位配给 B 公司。如果只统计字段集合，结果看起来全部正确。
评价记录型数据时，应先根据公司、时间和原文位置将预测记录与黄金记录对齐，再检查记录内字段。还要单独统计：
- 经历数量是否正确；
- 记录边界是否正确；
- 字段是否归属正确记录；
- 跨页内容是否正确合并；
- 重叠任职和“至今”是否处理正确；
- 无法对齐的多余记录与漏失记录。
2022 年关于文档级信息抽取错误分析的研究指出，常见 Precision、Recall、F1 很难说明系统具体犯了哪些错误，因此提出更细粒度的自动错误分类。对简历解析同样如此：总分用于比较，错误类型用于改进。
错误代价需要进入指标
不同字段的错误后果不同。电话号码错误可能导致无法联系，工作日期错误会影响年限计算，技能漏掉影响召回，个人总结措辞变化可能只影响展示。
可以为业务建立错误分级：
- P0：身份或联系方式错误、记录串人等严重错误；
- P1：公司、岗位、时间等核心经历错误；
- P2：技能、专业、证书的漏提或误提；
- P3：摘要、格式和低影响展示问题。
加权总分可以辅助业务决策，但不能替代原始字段指标。否则权重变化后，系统质量看起来会在没有任何模型变化时“提高”。
置信度不是模型随手返回的一个小数
一个字段报告 0.9 置信度，理想含义是：在大量类似预测中，大约九成正确。现实中的神经网络常出现过度自信。经典研究 On Calibration of Modern Neural Networks 系统讨论了这一问题，并展示 temperature scaling 等后处理方法可以改善校准。
简历解析可以按置信度分桶，比较每个区间的平均置信度与实际准确率，计算校准误差。更重要的是验证处置策略：高置信字段自动入库，中置信字段提示确认，低置信字段进入人工复核后，剩余错误是否真的下降。
LLM 自己生成的“我有 95% 把握”不能直接当作校准概率。置信度应来自独立验证集、模型分数、规则一致性、证据完整性或多模型一致性等可测信号。
线上监控：离线高分会随数据变化失效
招聘渠道会更新模板，候选人会使用新的简历工具，业务也会增加新岗位和技能表达。模型不变，输入分布仍会变化。
线上应监控：
- 文件打开、OCR 和版面异常率；
- 各字段空值率与长度分布；
- 来源、语言和格式分层质量；
- 人工修改最多的字段和模板；
- 低置信样本比例与复核队列；
- 模型更新前后的固定集回归；
- 新实体、未知技能和标准化失败率。
人工修改数据不能直接当作真值，因为用户可能只改自己关心的字段。最好定期从线上分层抽样，进行独立复核，再补充到评估集。
采购和验收时应该问什么
与其只问一个准确率，不如要求对方回答：
- 测试集有多少份，来自哪些格式、语言和渠道？
- 是否包含 OCR、双栏、表格、跨页和扫描件？
- 评价哪些字段，空字段和多值字段如何计算？
- 使用严格匹配还是宽松匹配，规范化规则是什么？
- 多条工作经历如何对齐，字段错配如何计分？
- 是否提供每字段 Precision、Recall、F1 和样本数？
- 能否使用企业自己的匿名样本做盲测？
- 置信度是否校准，阈值如何确定？
- 模型更新后如何回归，线上漂移如何发现？
- 错误字段能否定位回原文证据？
如果这些问题没有清楚答案，准确率保留两位小数也不会更可信。
从测量开始建立自动化边界
2026 年 7 月发布的《关于加快推进“人工智能＋人社”应用发展的实施意见》提出建设人社行业高质量数据集、标准体系和保障体系，并探索求职招聘模型与人岗匹配应用。对企业而言，这类能力建设同样应从可复现数据和测量标准开始。
简历解析质量不是宣传页上的静态数字，而是一套持续运行的系统：有代表性与挑战性的样本、明确的标注规范、分层指标、错误代价、校准阈值和线上监控。只有知道模型何时正确、何时不确定、错误会造成什么影响，企业才知道哪些字段可以自动化，哪些必须让人确认。