返回博客

多语言简历解析,难点远不止“把文字翻译成中文”

多语言简历解析,难点远不止“把文字翻译成中文”

跨境招聘项目经常从一个过于简单的假设开始:中文简历已经能解析,英文、日文或西班牙文只要先翻译成中文,再复用原来的字段模型即可。

这个方案对“帮助招聘人员阅读”可能够用,对“形成可搜索、可比较、可回溯的数据”却不够。原因是简历中的许多字段不是普通句子:姓名有顺序与复姓,日期依赖地区格式,学历属于不同教育体系,岗位和技能则嵌在当地劳动力市场的分类中。

多语言简历解析真正要解决的是三个问题:原文中写了什么,处于什么语言和地区语境,以及如何映射到企业统一的数据标准。 翻译只是中间工具,不是最终答案。

一份简历可能同时包含四种“语言”

候选人可能用英文写个人简介、用中文写公司名称、用日文写项目标题,再在技能栏中混合产品名、编程语言和行业缩写。文档级语言识别把它整体判断为“英文”后,后续分词、OCR 和实体识别就可能选错模型。

更稳健的系统会区分:

  • 文档主语言:决定整体解析策略;
  • 页面或区域语言:处理双语简历与附录;
  • 实体语言:公司、学校、人名可能与正文不同;
  • 符号体系:日期、号码、货币和证书代码不应按普通文本翻译。

这也是多语言文档模型与普通机器翻译的区别。微软提出的 LayoutXLM 同时建模文本、视觉与二维布局,并配套构建 XFUN 基准,覆盖中文、日文、西班牙文、法文、意大利文、德文和葡萄牙文七种语言。研究目标不是把文档翻译成英文,而是在不同语言的视觉文档中恢复键值与实体关系。

为什么关键字段不能直接翻译

姓名可能是“姓在前”或“名在前”,也可能包含复姓、中间名、父名和变音符号。按空格拆分会破坏原始姓名,翻译或音译则可能让同一个人在不同系统中无法去重。

日期存在月/日/年、日/月/年和年/月/日等习惯。03/04/2024 脱离地区信息后无法确定是 3 月 4 日还是 4 月 3 日。正确处理方式不是猜,而是结合 locale、上下文和同文档其他日期,并在仍有歧义时保留候选值。

学历并非词语一一对应。相似译名可能代表不同培养阶段、学制和资格等级。系统应该保存原始学位,再映射到企业使用的教育层级,并记录映射依据。

岗位与技能更不能只靠直译。“Engineer”“Consultant”在不同国家、行业和公司中的资历含义并不稳定;一个技能可能有缩写、品牌名、旧名称和当地语言别名。

姓名、日期、学历和地址等字段必须结合地区语境消歧
姓名、日期、学历和地址等字段必须结合地区语境消歧

保留“原始证据层”和“业务标准层”

最重要的架构决定,是不要用翻译结果覆盖原文。

原始证据层保存候选人实际写法、页码、坐标、区域语言与识别置信度;业务标准层保存岗位、学历、技能、地区等规范值,以及词表版本和映射方法。两层之间保持关联。

多语言简历应同时保存原始证据与可重算的标准值
多语言简历应同时保存原始证据与可重算的标准值

这样设计有三个直接好处。第一,招聘人员看到标准岗位时仍能回到原文核对;第二,词表升级后可以重新计算标准值,不必再次解析文件;第三,同一候选人在不同语言简历中的实体更容易去重。

例如学校字段可以保存原文 Technische Universität München,同时关联规范实体与常用英文名,而不是只留下一个不可逆的中文译名。

职业和技能需要“共同语言”

跨语言搜索的难点不是把查询翻译成多种语言,而是让不同语言表达落到同一个职业与技能概念上。欧盟委员会维护的 ESCO 将职业、技能/能力和知识概念组织为相互关联的分类,并提供多语言首选词与非首选词。2024 年的 ESCO v1.2 已支持 28 种语言,可通过下载包和 API 使用。

这类分类不是现成的全球真理,但展示了一条可靠路线:

  1. 原始岗位或技能先生成多个候选概念;
  2. 结合职责描述、行业与资历级别重排;
  3. 高置信结果自动映射,低置信结果保留候选项;
  4. 人工修正反哺别名、规则和训练样本;
  5. 词表版本变化时重新计算,不改动原始证据。

ESCO 在多国职业分类映射实践中也公开了评估方式。其跨语言职业映射页面报告 top-k accuracy 和 MRR,而不是假设模型一次就能给出唯一正确答案。这一点很适合招聘系统:标准化本来就是候选生成与重排问题,而不是翻译问题。

多语言解析的建议链路

生产链路可以分成六步。

第一步,文件与 OCR 路由。 根据文档格式、图像质量和脚本体系选择 OCR,并保存字符坐标。第二步,区域级语言识别。 区分正文、实体和代码。第三步,原始实体抽取。 在翻译前提取姓名、公司、学校、日期等原始值。第四步,地区消歧。 处理姓名、日期、电话和地址规则。第五步,跨语言标准化。 将岗位、技能、学历映射到企业分类。第六步,质量控制。 保存置信度、候选项和人工复核状态。

机器翻译可以在第五步帮助语义理解,也可以生成招聘人员阅读用的译文,但不应成为关键字段唯一的数据来源。

测试集必须按语言和来源分层

如果英文简历占测试集九成,一个漂亮的平均分可能完全掩盖日文或阿拉伯文问题。多语言评估至少要按语言、地区、文件格式、版式和字段分别统计,并加入混合语言样本。

除字段 Precision、Recall、F1 外,还应观察:

  • 原文字符是否被忠实保留;
  • 语言和地区识别是否正确;
  • 日期歧义是否被错误“确定”;
  • 标准化 top-1 与 top-k 命中率;
  • 同一实体跨语言去重效果;
  • 低置信样本是否真的集中在困难语言与新来源。

特别需要建立“按来源监控”。某个招聘网站更换模板、某地区开始流行新的简历工具,都可能在总体流量中不明显,却让局部质量快速下降。

多语言系统追求的不是统一写法,而是统一理解

好的多语言解析不会把所有简历改写成同一种语言。它允许候选人保留自己的表达,同时让企业能够在统一岗位、技能和学历体系中搜索与比较。

当原文、语言、地区、标准值、映射版本和置信度一起保存,系统才真正具备跨语言能力;否则,它只是把一次不可逆的翻译包装成结构化数据。

资料来源

返回博客申请试用