本发明提出了一种利用基于词上下文的字嵌入与神经网络的中文分词方法。该方法在大规模的自动切分数据上学习字嵌入,将学习得到的字嵌入作为神经网络分词模型的输入,可以有效帮助模型学习。
具体步骤如下: 1. 根据字上下文以及词位标记,在大规模自动切分数据上学习字嵌入; 2. 将字嵌入作为神经网络分词模型的输入; 3. 有效地提高了分词的性能。
对比其它基于神经网络的中文分词技术,该方法采用了基于词上下文的字嵌入,有效地将词信息融合进了分词模型,成功提高了分词任务的准确性。
| 专利名称 | 利用基于词上下文的字嵌入与神经网络的中文分词方法 | ||
|---|---|---|---|
| 专利状态 | - | 专利号(申请号) | CN201710368867.6 |
| 申请号 | - | 专利申请日期 | 2017-05-23 |
| 专利授权日期 | 2017-09-15 | 专利权届满日 | - |
| 专利所属地 | 中国 | 专利类型 | 发明专利 |
| 发明人 | 戴新宇;郁振庭;陈家骏;黄书剑;张建兵 | ||
| 权利人 | - | ||
| 专利摘要 | 本发明提出了一种利用基于词上下文的字嵌入与神经网络的中文分词方法,在大规模的自动切分数据上学习字嵌入,将学习得到的字嵌入作为神经网络分词模型的输入,可以有效帮助模型学习。具体步骤如下:根据字上下文以及词位标记在大规模自动切分数据上学习字嵌入,将字嵌入作为神经网络分词模型的输入,有效地提高了分词的性能。对比其它基于神经网络的中文分词技术,该方法采用了基于词上下文的字嵌入,有效地将词信息融合进了分词模型,成功的提高了分词任务的准确性。 | ||