了解与分析本科技成果,可查看成果概况并使用以下技术转移数智化应用工具:
成果概况
简介
我们研发的基于“人工智能、云计算、大数据”的中文文本自动查错系统,主要用于解决政府网站和新媒体平台海量文章中存在的敏感词信息、错别字、语法不规范等问题。这是国内第一个针对互联网海量文本内容、高速处理的中文文本自动校对系统,致力于为政务服务、大众传媒、知识工作者提供最专业、最便捷的中文文本自动查错服务平台。
目前,服务领域主要专注于新闻媒体、政府网站、各类公文、自媒体作者等知识工作者。基于主动云学习技术的自动文本查错系统中,我们综合研究了国际自然语言处理领域的先进理论,引入了依存关系判断和深度学习综合的协同算法,以及处理长距离搭配错误的BERT算法。在保持高性能检测速率的基础上,对文本内容和语法进行监测,大大降低了误报率,同时显著提升了召回率,是目前国内性能最快、各类指标领先的中文文本查错引擎。
主要技术特点如下:
敏感词检测引擎:基于当前最高效的Double Array Tries内存数据结构,结合Aho-Corasick多模式匹配算法去检索敏感触发词。每个触发词都对应一类敏感信息判定规则,根据不同的判定规则对上下文信息做分析,判断当前文本是否敏感。拥有海量的敏感词库(超过50万条),采用自主研发的优化算法,可以在毫秒级完成一个网页的敏感词过滤。
错别字检测引擎:广泛研究各种错别字生成原理,结合国内外各种文本查错算法,基于“BERT句子分类、局部上下文特征、语法依存关系”三种核心技术,开发了基于主动云学习技术的自动文本查错系统。查错召回率可以达到85%,准确率超过80%,可以达到单台服务器10万字/秒的扫描速度。
人工智能检测引擎:采用自然语言处理经典算法进行智能语句分析,依据中宣部、国家语委有关规定,依据《现代汉语词典》第7版等自定义专用词库,累积分析2000万篇文章训练BERT模型。然后将该语言模型运用到下游的自然语言处理任务中,同时借助后台的机器学习机制,通过用户的动作,在交互中通过经验学习来获取反馈,优化模型,进一步提高系统处理能力和精度。
我们研发的基于“人工智能 云计算 大数据”的中文文本自动查错系统主要用于解决政府网站和新媒体平台海量文章中存在的敏感词信息、错别字、语法不规范等问题,是国内第一个针对互联网海量文本内容、高速处理的中文文本自动校对系统,致力于为政务服务、大众传媒、知识工作者提供最专业最便捷的中文文本自动查错服务平台。目前服务领域主要专注于新闻媒体和政府网站、各类公文、自媒体作者等知识工作者。基于主动云学习技术的自动文本查错系统中,我们综合研究了国际自然语言处理领域先进的理论,引入了依存关系判断和深度学习综合的协同算法,以及处理长距离搭配错误的BERT 算法,在保持高性能检测速率的基础上,对文本内容和语法进行监测,大大降低了误报率,同时显著提升了召回率,是目前国内性能最快、各类指标领先的中文文本查错引擎。主要技术特点如下:
(1)敏感词检测引擎,基于当前最高效的Double Array Tries内存数据结构,结合Aho-Corasick多模式匹配算法去检索敏感触发词,每个触发词都对应一类敏感信息判定规则,根据不同的判定规则对上下文信息做分析,判断当前文本是否敏感。拥有海量的敏感词库(超过50万条),采用自主研发的优化算法,可以在毫秒级完成一个网页的敏感词过滤。
(2)错别字检测引擎,广泛研究各种错别字生成原理,结合国内外各种文本查错算法,基于“BERT句子分类 局部上下文特征 语法依存关系”三种核心技术,开发了基于主动云学习技术的自动文本查错系统,查错召回率可以达到85%,准确率超过80%,可以达到单台服务器10万字/秒的扫描速度。
(3)人工智能检测引擎,采用自然语言处理经典算法进行智能语句分析,依据中宣部、国家语委有关规定,依据《现代汉语词典》第7版等自定义专用词库,累积分析2000万篇文章训练BERT模型,然后将该语言模型运用到下游的自然语言处理任务中,同时借助后台的机器学习机制,通过用户的动作,在交互中通过经验学习来获取反馈,优化模型,来进一步提高系统处理能力和精度。
(此文字表达经过AI优化完善,查看原文请点击
原文)
专利基本信息
| 专利名称 |
|
| 专利状态 |
|
专利号(申请号) |
|
| 申请号 |
|
专利申请日期 |
|
| 专利授权日期 |
|
专利权届满日 |
|
| 专利所属地 |
|
专利类型 |
|
| 发明人 |
|
| 权利人 |
|
| 专利摘要 |
|