视频对象分割提取的原理与应用
2009-3
科学出版社
张兆杨
214
视频对象(VideoObject，VO)分割提取是视频信号处理领域研究的前沿问题之一，在基于对象的视频编码、智能视频监控系统、人脸检测、目标识别、视频数据库检索和视频摘要等领域有着广泛的应用。本书以视频对象分割技术原理及应用为主线，在介绍它所涉及的图像、视频信号处理基础知识的基础上，将其划分为像素域视频对象分割和压缩域视频对象分割方法。对于像素域视频对象分割，根据目标应用不同将其分为以分割准确度为目标的像素域视频对象分割方法和以实时应用为目标的像素域视频对象分割方法两类。对于压缩域视频对象分割，围绕其关键技术--运动矢量的致密化和准确化，DCT系数的充分化进行阐述，并将其从传统的MPEG-1/2压缩域拓展到最新的视频编码标准H.264/AVC。本书对上述不同类型的分割方法，结合国际上的最新进展和作者多年来的研究成果进行了精辟的分析，由浅入深地给出了研究思路和解决方案及其实现的详细步骤，并通过实验给予验证和性能评价。在此基础上，示出了典型的应用案例。
前言第1章 视频对象分割提取概述1.1 视频对象分割提取的基本概念1.1.1 视频对象的定义1.1.2 视频分割与图像分割的关系1.2 视频对象分割方法的分类与应用概况1.2.1 分割方法的分类1.2.2 应用概况1.3 本书的结构参考文献第2章 像素域视频对象分割基础2.1 图像的预处理和后处理技术2.1.1 图像的滤波处理2.1.2 梯度算子2.1.3 数学形态学预／后处理2.2 基于空间域的分割2.2.1 基于区域的分割2.2.2 基于像素聚类的分割2.2.3 基于分水岭变换的分割2.3 基于时间域的分割2.3.1 光流场法2.3.2 帧差法2.3.3 矢量场估计法2.4 基于时空融合的对象分割2.4.1 基于时空聚类的分割方法2.4.2 基于光流的运动对象分割方法2.4.3 基于对象跟踪的分割方法2.5 视频对象分割的性能评价2.5.1 空间准确度评价2.5.2 时间一致性评价参考文献第3章 以分割准确度为目标的像素域视频对象分割方法3.1 基于背景记录和重建的VO自动分割3.1.1 基于背景记录和变化检测的V0分割3.1.2 基于背景重建的V0提取3.2 时空融合VO分割的典型方法3.2.1 融入时域信息的分水岭V0分割的方案组成3.2.2 时间分割3.2.3 空间分割3.2.4 时／空融合分割3.2.5 实验结果3.3 存在多个视频对象时的分割方法3.3.1 基于贝叶斯估计的多视频对象分割3.3.2 时空曲线演化的多个V0的分割3.4用户辅助的交互式视频对象分割3.4.1 智能剪及其改进方法的视频对象分割与跟踪3.4.2 基于种子区域合并的交互式视频对象分割参考文献第4章 以实时应用为目标的像素域视频对象分割方法4.1 细胞神经网络基础4.1.1 细胞神经网络模型及其特点和结构4.1.2 细胞神经网络的开发工具4.1.3 CNN模板的设计方法简介4.1.4 CNN在图像和视频处理方面的研究现状4.2 适合头肩序列的基于CNN模板的VO分割4.2.1 头肩序列的特点4.2.2 视频对象分割算法4.2.3 分割算法的CNN实现及实验结果4.3 人脸提取算法CNN实现4.3.1 算法概述4.3.2 模板结构4.3.3 实验结果4.4 基于光流和改进分水岭分割算法的cNN实现4.4.1 以CNN实现算法的方案4.4.2 CNN模板设计4.4.3 实验结果参考文献第5章 压缩域视频对象分割5.1 基于压缩域视频对象分割的基本思路5.2 基于H.264压缩域的视频对象分割方法5.2.1 运动矢量场归一化和累积5.2.2 全局运动补偿5.2.3 累积运动矢量场分割5.2.4 基于匹配矩阵的时空分割5.2.5 实验结果5.3 基于MPEG压缩域的视频对象分割方法5.3.1 提取DC+2AC图的轮廓特征5.3.2 基于运动场的分割5.3.3 时空信息的融合5.3.4 对象边缘的精细化5.3.5 实验结果5.4 MPEG压缩域视觉关注度对象分割5.4.1 场景纹理分析5.4.2 I帧运动矢量场处理5.4.3 基于DCT系数和运动矢量的统计区域生长5.4.4 关注度对象提取5.4.5 实验结果参考文献第6章 视频对象分割技术的应用6.1 基于视频对象的查询与检索系统6.1.1 视频场景的分割6.1.2 聚类与关键帧的提取6.1.3 视频检索数据库的建立6.1.4 基于音频的浏览系统6.2 视频对象分割在智能监控系统中的应用6.2.1 智能监控系统的组成6.2.2 运动对象检测6.2.3 基于场景内容的查询6.3 可视化通信中的人脸对象分割技术6.3.1 基于二叉划分树的人脸分割方法6.3.2 人脸分割算法步骤6.4 视频对象分割在影视资料修复中的应用6.4.1 斑点损伤的修复算法6.4.2 基于时空结合的斑点损伤修复模型6.4.3 斑点修复的实验结果6.5 压缩视频中运动交通车辆的检测6.5.1 视频对象平面检测和检索算法6.5.2 车辆检测系统的实验结果参考文献
第1章 视频对象分割提取概述 进入21世纪以来，随着社会信息化的发展，人们对多媒体信息的需求不断增长，其中视觉信息是极其重要的部分。视觉信息中视频是指一个被观察系统（如摄像机）所记录的运动图像序列，是人类直接从外界获得的重要动态信息，但由于其数据量十分巨大，为便于传输和存储，需要进行高效的压缩编码。 现有的视频压缩标准，可分为两类。第一类压缩标准以JPEG、MPEG1／2、H.261／3／4等为代表，其主要特点是将像素和像素块作为基本的编码单元，这类编码标准已在如数字电视、视频通信和VCD／DVD等方面应用成功。以基于对象（内容）编码为特点的第二类压缩标准MPEG-4除能提供高效的压缩编码效率外，还能提供基于对象的交互功能，使用户能够访问（搜索、浏览）和操作（剪贴、移动）场景中的各个对象，可更广泛地延拓应用范围，因此也被称为第二代编码标准。 基于对象的编码和交互功能首先需要将场景或视频序列中的各类对象（如运动的汽车、人等前景对象和静止的房屋、树木等背景对象）分割提取出来，但MPEG-4并没有规定从视频序列中分割出此类具有语义意义的视频对象（videoobject，VO）的方法，而是对用户开放，其目的是便于用户针对具体应用来设计特定的视频对象分割算法。然而，语义视频对象分割与早期的图像分割相比更是一项挑战性的难题，为此自MPEG一4标准诞生后的10年来，国内外包括各大公司、高校和各类研究机构在内的学者和研究人员已进行深入、广泛的研究。目前，尽管还不很完善，但已进入应用阶段，而且应用领域已远远超越了原先仅作为便于高效编码和对象交互功能的范围。
