226 Chapter 7. 基于短语的模型 肖桐 朱靖波

7.8 小结及拓展阅读

统计机器翻译模型是近三十年内自然语言处理的重要里程碑之一。其统计建模

的思想长期影响着自然语言处理的研究。无论是前面介绍的基于单词的模型，还是

本章介绍的基于短语的模型，甚至后面即将介绍的基于句法的模型，大家都在尝试

回答：究竟应该用什么样的知识对机器翻译进行统计建模？不过，这个问题至今还

没有确定的答案。但是，显而易见，统计机器翻译为机器翻译的研究提供了一种范

式，即让计算机用概率化的“知识”描述翻译问题。这些“知识”体现在统计模型的

结构和参数中，并且可以从大量的双语和单语数据中自动学习。这种建模思想在今

• 基于短语的机器翻译的想法很早就出现了，比如直接对把机器翻译看作基于短

语的生成问题

[269, 281, 282]

，或者单独对短语翻译进行建模，之后集成到基于单词

的模型中

[283, 284, 285]

。现在，最通用的框架是 Koehn 等人提出的模型

[286]

似的还有 Zens 等人的工作

解码问题。因此，在随后相当长一段时间里，如何获取双语短语也是机器翻译

领域的热点。比如，一些团队研究如何直接从双语句对中学习短语翻译，而不

是通过简单的启发性规则进行短语抽取

一些工作使用判别模型来集成更多的调序特征

[268, 296, 297, 298]

。实际上，除了基于

短语的模型，调序也在基于句法的模型中被广泛讨论。因此，一些工作尝试将

基于短语的调序模型集成到基于句法的机器翻译系统中

[268, 299, 300, 301]

。此外，也

有研究者对不同的调序模型进行了系统化的对比和分析，可以作为相关研究的

参考

[302]

。与在机器翻译系统中集成调序模型不同，预调序（Pre-ordering）也是

一种解决调序问题的思路

[303, 304, 305, 306]

。机器翻译中的预调序是指将输入的源语

[81]

的影响力。特别是，这种解码方法效率很高，因此在许多工业系统里也大量使

7.8 小结及拓展阅读 227

用。对于栈解码也有很多改进工作，比如，早期的工作考虑剪枝或者限制调序

范围以加快解码速度

成方式的角度对这类方法进行改进

[310, 311, 312]

。

• 统计机器翻译的成功很大程度上来自判别模型引入任意特征的能力。因此，在

统计机器翻译时代，很多工作都集中在新特征的设计上。比如，可以基于不同的

统计特征和先验知识设计翻译特征

，也可以模仿分类任务设计大规模

[317, 318]

序模型的方法（PRO）

致的问题，比如，特征值由双语数据上的极大似然估计得到（没有剪枝），而

解码时却使用束剪枝，而且模型的目标是最大化机器翻译评价指标。对于这个

问题也可以通过调整训练的目标函数进行缓解

[323, 324]

。

• 短语表是基于短语的系统中的重要模块。但是，简单地利用基于频次的方法

估计得到的翻译概率无法很好地处理低频短语。这时就需要对短语表进行平

滑

。另一方面，随着数据量的增长和抽取短语长度的增大，短语表

[330]

过滤掉低质量的短语。代表性的方法有：基于假设检验的剪枝

[331]

、基于熵的

剪枝

[332]

、两阶段短语抽取方法

[333]

、基于解码中短语使用频率的方法

外，短语表的存储方式也是在实际使用中需要考虑的问题。因此，也有研究者

尝试使用更加紧凑、高效的结构保存短语表。其中最具代表性的结构是后缀数

组（Suffix Arrays），这种结构可以充分利用短语之间有重叠的性质，减少了重

复存储