返回博客

不先做 OCR,也能理解文档吗?OCR-free 路线解析

不先做 OCR,也能理解文档吗?OCR-free 路线解析

传统文档 AI 通常先让 OCR 识别文字和坐标,再把结果交给版面或字段模型。这条路线容易调试,却有一个根本问题:上游识错的字符会成为下游唯一看得见的事实。公司名少一个字、日期把 0 认成 O,后面的模型再聪明也无法恢复被删除的视觉证据。

2021 年底公开的 Donut 提出另一条路线:把页面图像直接编码,再生成结构化文本,不把通用 OCR 作为必经接口。这不等于机器“不识字”,而是把读字和理解放进同一个可训练目标。

两条路线的分界是接口,而不是有没有文字识别

OCR 管线将页面转换为词、字符框和置信度,下游模型处理固定中间结果。优点是文字可检索、坐标易审计、某一层可以单独替换;缺点是分词、语言和字符错误会逐层传播,部署还要维护多个模型。

OCR-free 模型直接以像素为输入,通过视觉编码器理解页面,再由解码器输出 JSON 或标记序列。它可以利用字符形状、版面和上下文共同纠错,也减少外部 OCR 依赖;代价是长文档生成、逐字符精度、证据坐标和输出约束都更难处理。

OCR 管线与 OCR-free 路线在接口、证据和错误传播上的差异
OCR 管线与 OCR-free 路线在接口、证据和错误传播上的差异

Donut 真正改变了什么

Donut 使用视觉 Transformer 编码文档图像,由文本解码器按任务提示生成结果。论文同时提出 SynthDoG 合成生成器,以多语言文本、背景和版式构造预训练页面,缓解真实标注文档稀缺问题。

它的重要性不是证明 OCR 已经过时,而是证明“外置 OCR”并非视觉文档理解的唯一架构。端到端训练能针对最终任务共同优化读字与理解,避免一个通用 OCR 决定所有下游任务的上限。

但论文基准多为票据、表单和文档问答。简历更长、更自由,包含小字号、双栏、图标与跨页记录。基准上的端到端准确率不能直接等价为真实简历的公司名、电话号码或日期完全匹配率。

OCR 本身也正在端到端化

TrOCR 将图像 Transformer 编码器与文本 Transformer 解码器结合,用于印刷体和手写文字识别。它仍然输出文字,却说明 OCR 内部也可以摆脱传统的字符切分与多阶段组件。

TILT 则联合文本、布局和视觉,并在多个文档任务间预训练。2022 年的 LayoutLMv3 用统一的文本与图像掩码目标学习多模态表示。它们保留 OCR 输入,却让图像不再只是装饰信息。

因此,实际选择不是“旧 OCR”与“新模型”的二元对立,而是一条连续谱:独立 OCR、可联合训练的文字识别、OCR 加多模态编码,以及完全由图像生成结果。

简历解析为什么很难完全端到端

简历包含大量必须逐字符正确的字段。电话号码错一位就无法联系;公司名和日期需要忠实复现;多页工作经历要求稳定保持记录边界。生成式解码器可能输出格式正确但原文不存在的值,也可能因序列过长截断后半部分。

另一个问题是证据定位。OCR 管线天然拥有字符框,招聘人员可以回看原页;OCR-free 模型只输出 JSON 时,系统很难解释一个字段来自页面哪里。可以额外训练区域定位或注意力对齐,但它必须被设计与评估,不能把注意力图自动当成可靠证据。

OCR-free 简历解析需要同时跨过字符、长度、结构与证据四道质量门
OCR-free 简历解析需要同时跨过字符、长度、结构与证据四道质量门

更现实的是混合架构

对简历,可让 OCR-free 模型处理文档分类、模块识别、复杂表格或传统 OCR 失败页;对电话、邮箱和日期继续保留字符级 OCR 与校验。两个结果可以交叉验证:生成字段必须在 OCR 字符或图像区域中找到支持,否则进入低置信复核。

评估也要分层。除字段 Precision、Recall、F1 外,应单独统计字符完全匹配、结构合法率、无证据生成率、长文档截断、不同语言和扫描质量。延迟要计算完整链路,而不是只比较一个模型的前向时间。

OCR-free 打开的真正可能,是让系统重新看到 OCR 可能丢掉的页面信息。它没有取消字符精度、证据与审计要求。对生产文档 AI,最好的路线不是名字最新的架构,而是在具体字段和错误代价下,能够被测量、定位和回退的架构。

资料来源

返回博客申请试用