视频目标多模融合跟踪技术研究

本项目主要针对多源视频目标融合跟踪问题，开展相关理论和应用研究。

与单传感器视频跟踪系统相比，多源跟踪系统具有以下优点：系统生存能力强、时空覆盖范围广、可信度高、模糊度低、跟踪性能好。

在多源信息融合处理方面，尚缺乏统一的数学工具与方法。因此，本项目所开展的研究具有十分重要的意义，也是未来图像目标跟踪技术重要的发展方向之一。

项目自立项以来，我们主要完成了以下工作：

1. 对多模态视频目标的特征提取与融合、模型表示与更新、以及采样与评估策略的研究；
2. 提出了许多单源和多源视频目标融合跟踪算法，包括基于空间直方图表示的融合跟踪方法、基于压缩感知的融合跟踪方法、和基于稀疏表示的融合跟踪方法；
3. 对视频目标的行为检测与分析进行深入研究，提出基于方向光流直方图的人群异常行为检测混合方法、基于动作子空间和权重条件随机场的行为识别方法，基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示；
4. 对图像自动标注和语义检索以及图像分类和聚类算法进行扩展研究，提出了基于多示例多标记学习的图像和文本分类算法、基于混合框架和集成特征的图像场景分类方法、集成约束和度量的半监督聚类方法；
5. 提出了混合生成式和判别式模型的图像自动标注方法、基于模糊关联规则和决策树的图像自动标注方法、基于卷积神经网络的图像语义标注混合结构。

依托本项目，已发表学术论文30篇，其中SCI收录期刊论文8篇，EI收录期刊论文4篇，EI收录会议论文5篇，核心期刊13篇。目前已受理发明专利3项，获得软件著作权1项。已培养青年教师1名，培养硕士研究生9名，协助培养博士研究生1名。

从所展示的研究成果可以看出，课题组已对异类传感器信源下多源视频目标跟踪问题进行了深入研究，提出了一些新的跟踪理论和方法。这些理论和方法，有些是对传统理论和方法的完善、补充和拓展，有些是对最新理论和方法的创新性应用，还有一些是独创的全新理论和方法。

我们对这些跟踪理论和方法进行了几乎接近实战情况的应用测试，其测试结果表明我们研究的方法完全能胜任现实跟踪问题，因此本项目成果具有广泛的应用前景。可用于以下方面：

• 港口、桥梁安全监控系统对水面目标观测、防撞告警、侦查等；
• 城市应急安全指挥调度、公安侦缉、路桥安防、反恐、防灾、搜救等。

整个研究与预期计划基本吻合，只是在异类图像数据的时空配准方法，因为有比较成熟实用的理论，因此这块工作基本上没有再深入研究。

本项目主要针对多源视频目标融合跟踪问题,开展相关理论和应用研究。与单传感器视频跟踪系统相比,多源跟踪系统具有系统生存能力强、时空覆盖范围广、可信度高、模糊度低、跟踪性能好等优点。在多源信息融合处理方面尚缺乏统一的数学工具与方法,因此,本项目所开展的研究有十分重要的意义,也是未来图像目标跟踪技术重要的发展方向之一。项目自立项以来,我们主要完成了对多模态视频目标的特征提取与融合、模型表示与更新、以及采样与评估策略的研究,提出了许多单源和多源视频目标融合跟踪算法,包括基于空间直方图表示的融合跟踪方法、基于压缩感知的融合跟踪方法、和基于稀疏表示的融合跟踪方法。在此基础上,还对视频目标的行为检测与分析深入研究,提出基于方向光流直方图的人群异常行为检测混合方法、基于动作子空间和权重条件随机场的行为识别方法,基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示。此外,课题组还对图像自动标注和语义检索以及图像分类和聚类算法进行了扩展研究,提出了基于多示例多标记学习的图像和文本分类算法、基于混合框架和集成特征的图像场景分类方法、集成约束和度量的半监督聚类方法,提出了混合生成式和判别式模型的图像自动标注方法、基于模糊关联规则和决策树的图像自动标注方法、基于卷积神经网络的图像语义标注混合结构。依托本项目已发表学术论文30篇,其中SCI收录期刊论文8篇,EI收录期刊论文4篇,EI收录会议论文5篇,核心期刊13篇。目前已受理发明专利3项,获得软件著作权1项。已培养青年教师1名,培养硕士研究生9名,协助培养博士研究生1名。 从所展示的研究成果可以看出,课题组已对异类传感器信源下多源视频目标跟踪问题进行了深入研究,提出了一些新的跟踪理论和方法。这些理论和方法,有些是对传统理论和方法的完善、补充和拓展,有些是对最新理论和方法的创新性应用,还有一些是独创的全新理论和方法。我们对这些跟踪理论和方法进行了几乎接近实战情况的应用测试,其测试结果表明我们研究的方法完全能胜任现实跟踪问题,因此本项目成果具有广泛的应用前景,可用在港口、桥梁安全监控系统对水面目标观测、防撞告警、侦查等方面,也可用在城市应急安全指挥调度、公安侦缉、路桥安防、反恐、防灾、搜救等方面。整个研究与预期计划基本吻合,只是在异类图像数据的时空配准方法,因为有比较成熟实用的理论,因此这块工作基本上没有再深入研究了。