本发明公开了一种基于模糊匹配与统计的错字词知识库构建方法,具体如下:
对语料句子进行分词,得到词语散串。
按照散串合并规则,对词语散串进行合并,得到合并词串。
根据汉语词典,利用模糊匹配算法获取合并词串的相似词候选集。
获取合并词串的邻接元集合,以及其相似词候选集中所有相似词的邻接元集合。
根据合并词串的每个邻接元集合元素在语料中共现频次,判断某一合并词串是否为错字词串。
若该合并词串是错字词串,则根据其相似词的邻接元集合元素在语料中出现的频次,建立该合并词串的错词对。
本发明的错字词知识库构建方法,解决了现有技术中数据稀疏且仅根据汉语词典的错词判断所带来的校正准确率低的问题。该方法系统响应快、精度符合实际应用需求,有效性和准确性高。
| 专利名称 | 一种基于模糊匹配与统计的错字词知识库构建方法 | ||
|---|---|---|---|
| 专利状态 | - | 专利号(申请号) | CN201510934356.7 |
| 申请号 | - | 专利申请日期 | 2015-12-15 |
| 专利授权日期 | 2016-04-20 | 专利权届满日 | - |
| 专利所属地 | 中国 | 专利类型 | 发明专利 |
| 发明人 | 刘海波;刘亮亮;吴健康;顾德之;张再跃;张晓如 | ||
| 权利人 | - | ||
| 专利摘要 | 本发明公开了一种基于模糊匹配与统计的错字词知识库构建方法,对语料句子进行分词得到词语散串,按照散串合并规则对词语散串进行合并得到合并词串,根据汉语词典利用模糊匹配算法获取合并词串的相似词候选集;获取合并词串的邻接元集合以及其相似词候选集中所有相似词的邻接元集合;根据合并词串的每个邻接元集合元素在语料中共现频次判断某一合并词串是否为错字词串,若该合并词串是错字词串,则根据其相似词的邻接元集合元素在语料中出现的频次建立该合并词串的错词对。本发明的错字词知识库构建方法,解决了现有技术中数据稀疏且仅根据汉语词典的错词判断所带来的校正准确率低的问题,系统响应快、精度符合实际应用需求,有效性和准确性高。 | ||