78 Chapter 2. 统计语言建模基础 肖桐 朱靖波

2.5 小结及拓展阅读

本章重点介绍了如何对自然语言处理问题进行统计建模，并从数据中自动学习

统计模型的参数，最终使用学习到的模型对新的问题进行处理。之后，将这种思想应

用到语言建模任务中，该任务与机器翻译有着紧密的联系。通过系统化的建模，可

以发现：经过适当的假设和化简，统计模型可以很好地描述复杂的自然语言处理问

题。进一步，本章对面向语言模型预测的搜索方法进行了介绍。相关概念和方法也

会在后续章节的内容中被广泛使用。

此外，有几方面内容，读者可以继续深入了解：

平滑等等

[42, 63]

。

• 除了平滑方法，也有很多工作对 n-gram 语言模型进行改进。比如，对于形态

学丰富的语言，可以考虑对单词的形态变化进行建模。这类语言模型在一些

机器翻译系统中也体现出了很好的潜力

[64, 65, 66]

。此外，如何使用超大规模数据

进行语言模型训练也是备受关注的研究方向。比如，有研究者探索了对超大

语言模型进行压缩和存储的方法

[45, 67, 68]

。另一个有趣的方向是，利用随机存储

算法对大规模语言模型进行有效存储

，比如，在语言模型中使用 Bloom

[71]

和后来的基于循环单元的语言模型

及现在非常流行的 Transformer

行进一步介绍。

• 最后，本章结合语言模型的序列生成任务对搜索技术进行了介绍。类似地，机

器翻译任务也需要从大量的翻译候选中快速寻找最优译文。因此在机器翻译

任务中也使用了搜索方法，这个过程通常被称作解码。例如，有研究者在基

于词的翻译模型中尝试使用启发式搜索

以及贪婪搜索方法

，也有