![](data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAxoAAAOuCAIAAAAPefZmAAAACXBIWXMAABYlAAAWJQFJUiTwAAAUC0lEQVR42u3dP2hUTwLA8cmxXcRCSFix0IiFxbkKFoIRRIgWprALmIAg2MTELKIgIhgj/iGg5MwfbQRBcIV0FkYIggquksImC2LnlsFt3cqFXPHkneTu4E5/mbjj51M9bZZ5u5v35b2Z2RAAAPgFHaurq84CAMBP+5tTAAAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoAQE4BACCnAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAQE4BACCnAADkFACAnAIAkFMAAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAcgoAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoAQE4BACCnAADkFACAnAIAkFMAAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAAByCgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAEBOAQDIKQAAOQUAIKcAAOSUUwAAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoAQE4BACCnAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAQE4BACCnAADkFACAnAIAkFMAAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoAQE4BACCnAADkFACAnAIAkFMAAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAADklFMAACCnAADkFACAnAIAkFMAAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAcgoAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAQE4BACCnAADkFACAnAIAkFMAAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQAgp+BP1dHR0dHRYXTtO0Cj82lBTgEAyCkAAOQU/FEGBwcrlcqa/2w0GuVyuVqttvvoGo1Go9H43/+/vdTr9XK5/O8DqdVq5XK51Wq19eharVa5XF5YWPiPH85arbYe34Xr16+vOW/JfBeQU8D6BsfQ0NDRo0ebzWb2P5VKpbu7e35+ftu2be0+uhs3bnR3d8/Ozv54jZydne3u7i6Xy+0+us7Ozunp6e7u7rw5sgQplUqvX78uFAptPbpCofDx48f+/v7BwcH87cs/nMVi8S9/xYMHD46Pj+/fv79er695uc2bN/tbwXpZBZLw5MmTEMKP16eTJ09+/fo1gaF9+/ZtbGwshFAqlbKh9fX1pTTAL1++ZCOamJjIRzczM/Pt27c03r6ZmZn87cvGuK7v3fLy8ppQS+ajwm+rY3V1VVP+it1H7jgJP+HTq4tOwl+uXq/39PRkxxMTE1evXk1pdAsLC/39/fk/nz9/fvz48ZQGWC6Xp6ens+O3b9/29vamNLpqtXro0KFoH85ms7lr166VlZUQwtjY2L179/x9YF3JKTklp5JSqVSGhoZKpdKHDx/a/TnRfxtddudmdHQ0sdG1Wq39+/cvLy+nl8KZ2dnZc+fO9fX1vXjxIsKHs1arlUql7Lvw96P/8PeNdVVwCnxzBGhKBgcHt2/fvm/fvvRaKhvd0tJSo9FIr6VCCIVC4d27d2/evDl27FiSH87R0dGdO3cePnw4zodzz549nz9/7urqyl8uwt9qf9/kFJCIxB4SrZH2U5vOzs7EnmCuEXl0O3bs8AeBOKzsAwCQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAADkFAICcAgCQUwAAcgoA4A9ScAoA+BPsPnLHSWCduDsFAPBL3J0CIHGfXl10ElhX7k4BAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAMgpAADkFACAnAIAkFMAAHIKAAA5BQAgpwAA5BQAgJwCAJBTAPx+Wq1W2gNsNpsxX65er/tQIacA1rp+/XqlUkk1O27durV169ZKpZLk6KrV6qZNm8rlcqPRiNNSPT09e/furdVqvjjIKYB/XSDHx8eHhoYuXLiQ3uhardb4+PjKysrk5GSSb9/c3FwIYXp6Os7LPX78OISwvLzsi4OcAlh7gQwhnDlzJr3Rzc/PZweXLl1Kb3TNZvPp06chhJMnT3Z1dcVp0xBCqVTas2eP7w5yCuD79TjtC2R+U2pgYCC90d29ezc7GBkZidmmt2/f9t1BTgF89+zZs4QvkNVqNXssNTExUSgUEhtdq9V68OBBCKFYLPb29sZs02PHjvnuIKcAvsvmSxWLxSQvkNm8ohDC8PBweqNbXFxcWVkJP9yj0qbIKYDYqtVqdj0eHh5O7wLZaDRiziuK7/Lly9nBiRMntClyCmBjXLt2LTtIck1f9iAsxJpXFFmtVsvvFXV2dmpT5BTABqjX6y9fvswukBGux5Hl84pKpVKceUWRPXz4MDs4deqUNkVOAWyMfH+E/JlRSvJ5Ranuj5BtNNXX17djx45obRptzjtyCqA9rsdp748QeV5RZI8ePcoO8se1cdo0zpx35BRAe0h7f4TI84oia7VaN2/eDCEUi8UDBw5oU+QUwMZIe3+EvBHjzCuKbGlpKbtXdOXKlQjrMdNuU+QUwE9Ke3+E/HdX4swrii9/wHf69OkILxd5zjtyCqDNrsdJ7o+Qz++JM68osnw95tjYWIR7RZHnvCOnANrsepz2/giprkGL/HvVkee8I6cA2ux6nOT+CPm8oiTXoEVejxl/zjtyCsD1eOOdPXs2O0hyDVrk9ZiR57yDnAJcjzdevV5Pew1a5PWYkee8g5wCXI833tTUVHaQ5Bq0yOsxI895BzkFuB5vvHwNWqlUSnIN2tzc3I9NvN4iz3kHOQW0h7T3R8jXoN2/fz+90TUajWwzrTjrMZOfY4ecAvgZye+PkPYatGz3hxDCyMhIhJdLe44dcgrgJ/0h+yMkuQat1Wrl94ribKY1OTkZ0p1jh5wC+NXrcdr7IyS5Bm1xcTE7uHTpUoSXq1ar2QLJJOfYIacAftL8/Hx2kPb+CKmuQctvKA4MDER4uXzO+/DwsO8Ocgrgu7Sf3eTPMc+fP5/e6Gq1Wr6ZVoR7RT/Oee/q6vLdQU4BhJD6s5sf16AluT9CfkMxzmZakee8g5wC2kPk/YoiS3sNWrPZzO4V9fX1RYjF/Aeko815BzkFtIHI+xXFl/Y+7/kPOed7hq2rxcXFbIFknDnvIKeA9pD2s5u093nP375isRjnXlE+5z3JH5Dm92cdKfCbunDhwpYtW549e5bks5ve3t7Pnz9PTU0l+RwzhPD+/fupqaloG5O+e/fu0aNHW7Zs8SN9bIiO1dVVZ+FX7D5y59Ori87D/3XGQghOGgDJ8LAPAEBOAQDIKQAAOQUAIKcAAJBTAAByCgBATgEAyCkAAOQUAICcAgCQUwAAcgoAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAA5BQAAHIKAEBOAQDIKQAAOQUAgJwCAJBTAAByCgBATgEAIKcAAOQUAICcAgCQUwAAyCkAADkFACCnAADkFACAnAIAQE4BAMgpAAA5BQAgpwAAkFMAAHIKAEBOAQDIKQAA5BQAgJwCAJBTAAByCgAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAADkFAAAcgoAQE4BAMgpAAA5BQCAnAIAkFMAAHIKAEBOAQAgpwAA5BQAgJwCAJBTAADIKQAAOQUAIKcAAOQUAICcAgBATgEAyCkAADkFACCnAACQUwAAcgoAQE4BAKSt4BT8ut1H7jgJAPDH+if8EzQJHOdb2wAAAABJRU5ErkJggg==)
3.2 中文分词 83
Interesting → Interest/ing selection → se/lect/ion procession → pro/cess/ion
Interested → Interest/ed selecting → se/lect/ing processing → pro/cess/ing
Interests → Interest/s selected → se/lect/ed processed → pro/cess/ed
词法分析的重要性在自然语言处理领域已经有共识。如果切分的颗粒度很大,获
得单词的歧义通常比较小,比如“中华人民共和国”整体作为一个单词不存在歧义,
而如果单独的一个单词“国”,可能会代表“中国”、“美国”等不同的国家,存在歧
义。但是随着切分颗粒度的增大,特定单词出现的频次也随之降低,低频词容易和
噪音混淆,系统很难对其进行学习。因此,处理这些问题并开发适合翻译任务的分
词系统是机器翻译的第一步。
3.2.1 基于词典的分词方法
计算机并不能像人类一样在概念上理解“词”,因此需要使用其他方式让计算机
“学会”如何分词。一个最简单的方法就是给定一个词典,在这个词典中出现的汉字
组合就是所定义的“词”。也就是说,可以通过一个词典定义一个标准,符合这个标
准定义的字符串都是合法的“词”。
在使用基于词典的分词方法时,只需预先加载词典到计算机中,扫描输入句子,
查询其中的每个词串是否出现在词典中。如图3.4所示,有一个包含六个词的词典,给
定输入句子“确实现在物价很高”后,分词系统自左至右遍历输入句子的每个字,发
现词串“确实”在词典中出现,说明“确实”是一个“词”。之后,重复这个过程。
1: 很
2: 高
3: 现在
4: 物价
5: 确实
6: 实现
分词词典
确
实
现
在
物
价
很
高
确
实
现
在
物
价
很
高
起始
起始
起始
起始
起始
命中:第 2 号单词
图 3.4 基于词典进行分词的实例
但是,基于词典的分词方法很“硬”。这是因为自然语言非常灵活,经常出现歧
义。图3.5就给出了上面例子中的交叉型歧义,从词典中查看,“实现”和“现在”都
是合法的单词,但是在句子中二者有重叠,因此词典无法告诉系统哪个结果是正确
的。
类似的例子在生活中也很常见。再比如“答辩结束的和尚未答辩的同学都请留在
教室”一句中,正常的分词结果是“答辩/结束/的/和/尚未/答辩/的/同学/都/请/留在/教
室”,但是由于“尚未”、“和尚”都是常见词汇,使用基于词典的分词方法在这时很