很多简历解析错误并不是机器不认识字，而是文字变成一维序列后，原本表达关系的版面消失了。
一份双栏简历左边写联系方式和技能，右边写工作经历。人眼会分别阅读两栏；普通 PDF 文本提取却可能逐行左右穿插，于是电话号码进入公司名称，技能词插进工作职责。表格简历的日期、公司和岗位也可能被按列拆散，最后组成不存在的经历。
这类问题不能只靠“更强的 NLP”解决，因为错误发生在 NLP 看到文本之前。多模态文档理解的核心，就是让系统同时利用文字、二维坐标、视觉样式和页面结构。
文档中的意义，一部分写在位置里
简历常用以下视觉方式表达结构：
- 字号和粗细区分模块标题、公司、岗位与正文；
- 左右对齐表达日期与经历之间的归属；
- 留白、色块和分隔线划分不同记录；
- 图标代替“电话”“邮箱”“地址”等标签；
- 表格的行列决定字段对应关系；
- 时间轴的位置表达先后顺序；
- 页眉和页脚重复出现，但不属于正文。
把这些文档转成纯文本，相当于把网页删除 HTML 与 CSS 后再猜页面结构。文字可能仍在，关系已经改变。
LayoutLM 系列做了什么
早期文档信息抽取常把 OCR 文本送入语言模型，再用坐标作为附加特征。LayoutLM 系列把这种思路推进为面向文档的预训练。
LayoutLMv3 同时对文本词和图像块进行掩码学习，并加入词—图像块对齐目标，让模型学习“这个词位于页面的哪个视觉区域”。研究在表单理解、票据理解、文档问答、文档分类和版面分析等文本与图像任务上评估。
LayoutXLM 将多模态文档预训练扩展到多语言，并通过 XFUN 七语言数据集评价键值关系抽取。对跨境简历而言，这比“先 OCR、再整篇翻译”更接近真实需求，因为布局关系不因翻译而消失。
这些研究并不是针对简历训练的现成产品，但证明了一个重要方向：文档理解不能只编码词序，还要编码二维位置与视觉区域。
阅读顺序是独立问题
即使 OCR 的每个字都正确，阅读顺序错了仍会导致严重错误。XYLayoutLM 专门通过增强 XY Cut 恢复更合理的阅读顺序，再进行版面感知建模。
对简历来说，阅读顺序错误会传播到多个下游任务：模块切分错误、公司与岗位错配、项目描述跨栏合并，最终看起来像语义模型不准确。实际上，语义模型得到的输入已经不是人类阅读的那份简历。
因此建议把阅读顺序单独保留和评估，而不是隐藏在某个 PDF 库的默认输出里。
OCR 路线与 OCR-free 路线
传统多模态路线依赖 OCR：先得到字符与坐标，再结合页面图像建模。它的优势是逐字符证据清楚，数字、姓名和原文位置容易核验；缺点是 OCR 错误会传给下游，对新语言、特殊字体和低质量扫描件敏感。
Donut 提出了 OCR-free 文档理解 Transformer，直接从文档图像生成结构化序列，目标之一就是避免 OCR 计算成本、语言适配限制和错误传播。之后的 UDOP 进一步统一文字、图像、布局与多种任务形式。
OCR-free 并不意味着工程上一定更好。它可能在陌生布局上更灵活，但逐字符精度、长文档切分、输出约束和证据回溯仍要单独验证。对于电话号码、邮箱、日期和公司原名，生成式解码的一个字符变化都可能影响业务。
现实系统更可能采用组合策略：OCR 路线作为可追溯骨架，视觉模型处理复杂区域与难例，OCR-free 模型用于补充或交叉验证，而不是简单地把其中一条宣布为过时。
简历场景中的分层架构
一条可观察的多模态解析链路可以分为七层。
- 文件层：识别格式、页数、加密、损坏和内嵌文本；
- 页面层：渲染统一图像，检测旋转、倾斜和清晰度；
- OCR 层：输出字符、置信度和坐标，不只输出纯文本；
- 版面层：识别标题、段落、列表、表格、栏位和页眉页脚；
- 顺序层：恢复区域和行的阅读顺序；
- 语义层：提取字段、记录和关系；
- 校验层：检查时间线、数据类型、证据与置信度。
每一层都应保存中间产物。只有这样，公司名错误时才能判断是 OCR 少字、区域切错、阅读顺序错，还是实体模型判断错。
测试集要有意收集“难看的简历”
随机抽样通常会被常见的单栏电子简历主导，无法评价多模态能力。困难集应该主动覆盖：
- 双栏、三栏与左右不对称布局；
- 有边框和无边框表格；
- 时间轴、侧边栏和信息图式简历；
- 低分辨率、倾斜、阴影与手机拍照；
- 中英文混排、特殊符号和竖排区域；
- 跨页经历、重复页眉与跨页表格；
- PDF 内嵌文本顺序与视觉顺序不一致。
评估也要逐层进行：OCR 看字符错误率，版面看区域检测，顺序看序列关系，记录层看经历边界和字段归属，最终再看业务字段准确率。
什么时候值得引入多模态模型
如果错误主要来自岗位归一或技能语义，优先升级语言模型；如果错误集中在扫描件、双栏和表格，继续调提示词通常收益很低，应先检查文件、OCR、坐标和阅读顺序。
最有效的判断方式，是给线上人工修改样本标注错误层级。累计一段时间后，团队会看到真正的质量瓶颈在哪里，而不是根据技术热度选择架构。
多模态简历解析的目标不是让系统“像人一样看图”这句口号，而是把过去丢失的版面证据重新纳入数据链路，让每一次结构判断都能定位回页面。