5. 基于词的机器翻译建模

使用统计方法对翻译问题进行建模是机器翻译发展中的重要里程碑。这种思想

也影响了当今的统计机器翻译和神经机器翻译范式。虽然技术不断发展，传统的统

计模型已经不再“新鲜”，但它对于今天机器翻译的研究仍然有着重要的启示作用。

在了解前沿、展望未来的同时，更要冷静地思考前人给我们带来了什么。基于此，这

里将介绍统计机器翻译的开山之作

——

IBM 模型，它提出了使用统计模型进行翻译

的思想，并在建模中引入了单词对齐这一重要概念。

IBM 模型由 Peter F. Brown 等人于上世纪九十年代初提出

[10]

。客观地说，这项工

作的视野和对问题的理解，已经超过当时很多人所能看到的东西，其衍生出来的一

系列方法和新的问题还被后人花费将近 10 年的时间来进行研究与讨论。时至今日，

IBM 模型中的一些思想仍然影响着很多研究工作。本章将重点介绍一种简单的基于

单词的统计翻译模型（IBM 模型 1），以及在这种建模方式下的模型训练方法。这些

内容可以作为后续章节中统计机器翻译和神经机器翻译建模方法的基础。

5.1 词在翻译中的作用

在翻译任务中，我们希望得到一个源语言到目标语言的翻译。对于人类来说这

个问题很简单，但是让计算机做这样的工作却很困难。这里面临的第一个问题是：如

何对翻译进行建模？从计算机的角度来看，这就需要把自然语言的翻译问题转换为

计算机可计算的问题。

那么，基于单词的统计机器翻译模型又是如何描述翻译问题的呢？Peter F. Brown

144 Chapter 5. 基于词的机器翻译建模肖桐朱靖波

等人提出了一个观点

[10]

：在翻译一个句子时，可以把其中的每个单词翻译成对应的

目标语言单词，然后调整这些目标语言单词的顺序，最后得到整个句子的翻译结果，

而这个过程可以用统计模型来描述。尽管在人看来使用两个语言之间对应的单词进

行翻译是很自然的事，但是对于计算机来说可是向前迈出了一大步。

先来看一个例子。图 5.1展示了一个汉语翻译到英语的例子。首先，可以把源语言

句子中的单词“我”、“对”、“你”、“感到”和“满意”分别翻译为“I”、“with”、“you”、“am”

和“satisfied”，然后调整单词的顺序，比如，“am”放在译文的第 2 个位置，“you”

应该放在最后的位置等等，最后得到译文“I am satisfied with you”。

我

对

你

感到

满意

satisfied with

you

图 5.1 汉语到英语的翻译实例及两种语言单词之间的对应关系

上面的例子反映了人在做翻译时所使用的一些知识：首先，两种语言单词的顺

序可能不一致，而且译文需要符合目标语的习惯，这也就是常说的翻译的流畅度；其

次，源语言单词需要准确地被翻译出来，也就是常说的翻译的准确性问题和充分性

问题。为了达到以上目的，传统观点认为翻译过程需要包含三个步骤

[17]

：

• 分析：将源语言句子表示为适合机器翻译的结构。在基于词的翻译模型中，处

理单元是单词，因此在这里也可以简单地将分析理解为分词

。

• 转换：把源语言句子中的每个单词翻译成目标语言单词。

• 生成：基于转换的结果，将目标语译文变成通顺且合乎语法的句子。

源文：我对你感到满意

分析

转换

生成

我

对

你

感到

满意

satisfied with

you

译文：I am satisfied with you

图 5.2 翻译过程中的分析、转换和生成

在后续章节中会看到，分析也包括对句子深层次结构的生成，但是这里为了突出基于单词的概念，

因此把问题简化为最简单的情况。

5.1 词在翻译中的作用 145

图5.2给出了上述过程的一个示例。对于今天的自然语言处理研究，“分析、转换

和生成”依然是一个非常深刻的观点。包括机器翻译在内的很多自然语言处理问题

都可以用这个过程来解释。比如，对于现在比较前沿的神经机器翻译方法，从大的

框架来说，依然在做分析（编码器）、转换（编码-解码注意力）和生成（解码器），只

不过这些过程隐含在神经网络的设计中。当然，这里并不会对“分析、转换和生成”

的架构展开过多的讨论，随着后面技术内容讨论的深入，这个观念会进一步体现。