找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。
找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。
找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。
找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。
找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。
找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。
找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。
找到30项技术成果数据。
找技术>-
可探测新颖类别的数据流分类技术
成熟度:-
技术类型:-
应用行业:文化、体育和娱乐业
技术简介
课题来源与背景:数据流分类问题一直是数据流挖掘研究领域中的一个重要内容。 针对具有概念漂移的数据流分类问题已有不少研究,然而数据流不但包含已知类别间的演变(概念漂移),还包含已知类别到未知类别的演变(新颖类别)。因此,一个好的分类模型还应该具备对新颖类别的探测能力。研究目的与意义:新颖类别探测是一种重要的学习模式,其任务就是对那些与训练数据有较大差别的测试数据进行分类。国外已有不少关于新颖类别探测方面的研究,但国内这方面的研究还刚刚起步。新颖类别探测在现实生活不同领域中具有较广泛的应用。 比如,IT 安全、医疗诊断、工业监测、图像处理与视频监控、文本挖掘、传感器网络等等。该课题主要研究数据流上新颖类别的探测和分类技术,它是解决数据流概念演变导致出现的新颖类别问题的基础,同时也是解决数据流概念漂移问题的基础。高性能的可探测新颖类别的分类算法不仅可以增强算法的鲁棒性和可靠性,而且对数据流分类技术的应用具有现实意义。主要论点与论据:提出基于可变尺度滑动窗口的改进算法WCE-D。改进的算法WCE-D相对于已有的新颖类别探测框架采用的算法WCE引入了概念漂移检测机制,从而可以依据流数据的分布变化来判断概念漂移,并依据漂移状态决定是否学习和更新分类模型并调整窗口(数据块)大小。实验结果表明,在处理相同的数据流时,WCE-D算法的分类耗时更低,且具有和WCE近似的分类准确率。提出了改进聚类算法k-prototypes++。实验结果表明,k-prototypes++算法相对于k-means和k-prototypes算法的聚类效果更好,速度更快。使用数据流快速决策树算法VFDTc作为新的基分类器以提高数据流处理效率。实验结果表明,以VFDTc为基分类器的集成算法相对于以C4.5为基分类器的集成算法获得了较小的建模耗时和集成模型大小,且在处理相同的数据流时两种方法具有近似的分类准确率。创见与创新:针对已有的可探测新颖类别框架大多将数据流分成固定大小的数据块,以及频繁更新分类模型,导致分类准确率较低和处理速度较慢的问题,提出基于可变尺度滑动窗口的改进算法 WCE-D; 针对已有框架中采用的聚类算法随机选择初始中心点与不能处理混合属性,且均假定数据对象所有属性具有相同的权重不符合实际情况的问题,结合k-means++的初始中心点选择算法、混合属性的差异度度量标准和属性加权技术,提出了改进聚类算法 k-prototypes++和 w-kmeans++;采用改进的 WCE-D 算法作为分类算法框架以提高分类精度和分类速度,并采用改进的聚类算法 w-kmeans++来聚类探测新颖类别,以提高新颖类别探测精度,最终完整提出一种在概念漂移的数据流中可探测新颖类别的集成分类算法 DNCS。社会经济效益,存在的问题:研究工作还仅仅处于理论研究阶段,后续工作应考虑将新颖类别探测技术应用到实际环境中,比如图像处理、视频监控和文本挖掘等领域。历年获奖情况:公开发表论文5篇;EI收录2篇;参加“中国软件杯”大赛获奖1项。
-
SDN网络控制器
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
产品概况 在计算机网络中的一个重要的近期发展是软件定义网络的概念(SDN),通过集中式的控制器(Controller)以标准化的接口对各种网络设备进行管理和配置。OpenFlow实现了数据层和控制层的分离,其中OpenFlow交换机进行数据层的转发,而Controller实现了控制层的功能。 Controller通过OpenFlow协议这个标准接口对OpenFlow交换机中的流表进行控制,从而实现对整个网络进行集中控制。 本项目提出一个SDN的编程模型框架,应用人员可以通过通用的高级语言,比如通过Java或Haskell来定义网络的功能,控制网络流量转发。应用人员简单地使用通用的高级语言定义一个函数f,用于定义虚拟网络的产生、配置、监控等功能,在网络控制器Controller上解释、执行这个函数调用,集中控制网络中的数据流转发。当设计的函数f,应用开发人员并不需要适应新的编程环境,仅仅使用一个标准的通用高级编程语言来控制数据流的转发、监控功能,该调用返回一个网络的转发数据流句柄,描述该数据流的转发信息。
-
基于上下文感知数据流的认知计算架构
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了基于上下文感知数据流的认知计算架构,包括上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。
-
一种数据流传输方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明提出一种数据流传输方法,包括接收端判断数据流是否需要被压缩,若是,则建立有效映射关系,将需要压缩的数据流写入映射表,映射表存储在发送端和接收端;发送端通过查询映射表判断当前数据流是否能被压缩,若是,则用可被压缩数据流在映射表中对应的索引来压缩该数据流,并发送压缩后的数据流;接收端接收发送端发送的数据流,判断接收到的数据流是否为被压缩的数据流,若是,则在被压缩数据流中提取映射表的索引,并通过查询映射表获取被压缩数据流内容,从而解压缩数据流;接收端判断数据流是否不再需要被压缩,若是,则将映射表中相应的映射关系设为无效。本发明通过提高数据带宽的利用率,从而缓解数据拥塞的情况。
-
基于多传感器的多元异构数据流自动入库方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法,包括:处理器接收由至少两个传感器采集的多元异构数据流;所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中,若是,则判断所述多元异构数据是否匹配所述传感器格式信息表,若是,则存储所述多元异构数据至本地流数据库;若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中,则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库,提高了数据统计分析处理效率,降低人力、时间、成本耗费。
-
一种基于OpenFlow的无线传感器网络实现及数据流处理方法
成熟度:正在研发
技术类型:发明
应用行业:信息传输、软件和信息技术服务业
技术简介
本发明公开了一种基于OpenFlow的无线传感器网络实现及数据流处理方法,在传感器节点协议栈中建立数据流规则表,该规则表包含多组数据流匹配表项,每一表项进一步包含若干匹配规则与表项动作;通过无线传感器网络用户配置或本地节点自身修改数据流规则表,实现对网络数据流转发策略的控制。本发明实现了硬件无关及协议无关的无线传感器网络控制策略,灵活支持已有协议,支持网络策略动态更新。
-
一种数据流跟踪方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
摘要:本发明公开了一种数据流跟踪方法,包括三个阶段:客户操作系统指令静态反汇编,根据静态的客户机x86指令生成对应的污点传播指令,进行污点数据传播更新操作,对于在静态反汇编时不能获取的内存操作数物理地址,通过采用共享缓存的方式在动态执行过程中获取;编译产生宿主机执行代码,根据上一阶段的污点指令生成宿主机上的可执行代码,以处理函数的形式进行生成,方便下一阶段的执行;开启新的执行线程,执行污点指令,逐条取出污点指令,调用其处理函数。本发明方法通过将污点跟踪操作和模拟器动态二进制翻译执行模块分离,实现基于x86指令级的污点语义翻译和并行化的污点传播更新,减少无用的污点跟踪操作,提高系统和用户的交互体验。
-
基于FPGA的高速网络数据流负载均衡调度方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于FPGA的高速网络数据流负载均衡调度方法,该方法充分发挥FPGA并行计算的优势,前端并发执行哈希运算和根据队列组的拥塞程度依概率来选择输出端口,并采取流映射端口优先的策略。 后端根据输出端口并发将数据包从相应PHY端口发出,将数据包相应信息写入PHY端口对应FIFO并按周期反馈当前最大剩余数据量,以及统计并反馈本周期内的最小流量端口同时基于速率反馈动态调整下一次统计的周期,使其能适应突发流量,并在保证流粒度的前提下,实现高速网络数据流的瞬时均衡。
-
一种面向混合属性的数据流自适应聚类方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
一种面向混合属性的数据流自适应聚类方法,包括以下步骤1)数据预处理和网格初始化,确定网格在每一维属性中的划分粒度以及离线聚类过程中网格对象间的相似度;2)对网格进行在线维护;3)当用户发送聚类请求时,聚类过程由在线阶段转为离线阶段,根据网格的密度信息将网格分为密集网格和稀疏网格;对于密集网格,使用改进的DBSCAN算法进行聚类;对于稀疏网格,则使用基于密度‑距离分布的CCFD算法进行聚类,最终将得到的聚类结果输出;完成整个聚类过程。本发明具有良好的适用性和可扩展性,能够有效地处理相关数据集,取得较好的聚类结果。
-
传感器网络中基于多维分解的隐私数据汇聚方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开了一种传感器网络中基于多维分解的隐私数据汇聚方法。在传感器网络中,一般基于拉普拉斯噪声机制的差分隐私方法可能会因为较大的全局敏感度造成过扰动现象,从而破坏汇聚数据的效用性。本发明提出的方法通过将单一数据流分解为指数权重的多维数据流,并在每一维数据流上根据每一维的局部敏感度和隐私预算添加独立噪声实现差分隐私保护。相比于一般的拉普拉斯噪声机制下的汇聚过程,该方法在保证相同程度用户隐私的同时提供更好的数据效用性。

