一种机器翻译中翻译单元表的抽取方法

本发明提出了一种机器翻译中翻译单元表的抽取方法，该方法运行于Hadoop并行计算平台上，具体包括以下步骤：

1. 根据输入的双语对齐语料和词对齐文件，选择想要抽取的内容，并对相关信息进行合并；
2. 根据需要选择是否进行平滑，以及采用何种平滑方法，进行相应的平滑计数和合并；
3. 计算相应概率，并输出最终结果文件。

与现有的集中式抽取方法相比，本发明能大大加快程序运行时间。同时，在计算概率的过程中，可以选择性加入多项平滑技术，以处理在训练数据集中由于数据稀疏和经验分布带来的过拟合现象。这使得其中的概率更符合真实世界的情况，从而在实际情况中也能提高计算机机器翻译系统的性能。

本发明提出了一种机器翻译中翻译单元表的抽取方法，本发明运行于Hadoop并行计算平台上，包括以下步骤：根据输入的双语对齐语料和词对齐文件，选择想要抽取的内容，并对相关信息进行合并；根据需要选择是否平滑和平滑方法，进行相应的平滑计数和合并；计算相应概率，输出最终结果文件。对比现有的集中式抽取方法，能大大加快程序运行时间；同时通过在计算概率的过程中可以选择性加入多项平滑技术，能够处理在训练数据集中由于数据稀疏和经验分布带来的过拟合现象，使得其中的概率更符合真实世界的情况，在实际情况中也能提高计算机机器翻译系统的性能。