4. 翻译质量评价

人们在使用机器翻译系统时需要评估系统输出结果的质量。这个过程也被称作

机器翻译译文质量评价，简称为译文质量评价（Quality Evaluation of Translation）。在

机器翻译的发展进程中，译文质量评价有着非常重要的作用。不论在系统研发的反

复迭代中，还是在诸多的机器翻译应用场景中，都存在大量的译文质量评价环节。从

某种意义上说，没有译文质量评价，机器翻译也不会发展成今天的样子。比如，本世

纪初研究人员提出了译文质量自动评价方法 BLEU（Bilingual Evaluation Understudy）

[128]

。该方法使得机器系统的评价变得自动、快速、便捷，而且评价过程可以重复。正

4.1 译文质量评价所面临的挑战

一般来说，译文质量评价可以被看作是一个对译文进行打分或者排序的过程，打

分或者排序的结果代表了翻译质量的好坏。比如，表4.1展示一个汉译英的译文质量

评价结果。这里采用了 5 分制打分，1 代表最低分，5 代表最高分。可以看出，流畅

的高质量译文得分较高，相反，存在问题的译文得分较低。

110 Chapter 4. 翻译质量评价 肖桐 朱靖波

表 4.1 汉译英译文质量评价实例

源文 那/只/敏捷/的/棕色/狐狸/跳过/了/那/只/懒惰/的/狗/。 评价得分

机器译文 1 The quick brown fox jumped over the lazy dog . 5

[129]

程度，越通顺的译文流畅度越高；忠诚度是指译文表达源文意思的程度，如果译文

能够全面、准确的表达源文的意思，那么它具有较高的翻译忠诚度。在一些极端的

情况下，译文可以非常流畅，但是与源文完全不对应。或者，译文可以非常好的对应

源文，但是读起来非常不连贯。这些译文都不是很好的译文。

传统观点把翻译分为“信”、“达”、“雅”三个层次，而忠诚度体现的是一种“信”

的思想，而流畅度体现的是一种“达”的思想。不过“雅”在机器翻译评价中还不是

一个常用的标准，而且机器翻译还没有达到“雅”的水平，是未来所追求的目标。

给定评价标准，译文质量评价有很多实现方式。比如，可以使用人工评价的方

式让评委对每个译文进行打分（4.2节），也可以用自动评价的方式让计算机比对译文

• 评价标准不唯一。虽然流畅度和忠诚度给译文质量评价提供了很好的参考依据，

• 自动评价与人工评价存在着偏差。固然使用人工的方式可以准确地评估译文质量，

针对以上问题，研究人员设计出多种不同的译文质量评价方法。根据人工参与

方式的不同，可以分为人工评价、有参考答案的自动评价、无参考答案的自动评价。

这些方法也对应了不同的使用场景。

BLEU、NIST、

GTM、Meteor、

WER、PER、TER、

HTER ...

一致性 ...

图 4.1 译文质量评价方法逻辑图

• 人工评价。当需要对系统进行准确的评估时，往往采用人工评价。比如，对于

• 有参考答案的自动评价。由于机器翻译系统研发过程中需要频繁地对系统性能进

• 无参考答案的自动评价。在很多应用场景中，在系统输出译文时，使用者希望提

112 Chapter 4. 翻译质量评价 肖桐 朱靖波