Kinect人机交互开发实践
2012-12
人民邮电出版社
吴国斌,李 斌,阎骥洲
160
254000
无
Kinect是微软公司推出的最新的基于体感交互的人机交互设备。Kinect最初作为Xbox 360的外接设备发布，利用即时动态骨骼追踪、影像识别、麦克风输入、语音识别等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体动作来控制游戏。到2011年3月，Kinect已经售出了1000多万台，创造了新的销售记录，同时也表明了Kinect全新的体感交互体验征服了众多玩家的心。微软公司并没有将这一先进技术局限在游戏行业，而是紧接着将Kinect技术推广到Windows平台，开放了本书要介绍的Kinect for Windows SDK，旨在鼓励众多开发者设计基于Kinect体感交互技术的应用，从而在各个行业领域里改变人们工作、生活和娱乐的方式。 本书结构 本书分为3个部分，具体如下所示。 Kinect基础篇。介绍Kinect的结构和功能以及如何配置开发环境，主要包含2章内容。 第1章简要介绍Kinect的概念、历史、结构组成及其应用领域。 第2章将一步一步带领读者进行Kinect for Windows开发环境的配置。 Kinect开发篇。结合实例介绍如何使用Kinect for Windows SDK提供的API，主要包含6章内容。 第3章介绍Kinect获取的彩色图像数据和红外图像数据，并结合实例介绍如何调用Kinect for Windows SDK提供的API获取这两种图像数据。 第4章介绍Kinect获取的深度图像数据，并结合实例介绍如何处理深度图像数据。 第5章介绍骨骼追踪数据，包括其结构、半身模式以及新加的骨骼点旋转信息，通过实例3讲解骨骼数据API的调用方法，通过实例4介绍如何利用骨骼追踪数据实现相应的功能。 第6章介绍Kinect for Windows SDK中音频API的使用方法，实例5和实例6分别讲解了如何记录Kinect捕获到的音频流以及如何进行语音识别。 第7章介绍Kinect for Windows Developer Toolkit，包括如何对其进行安装，如何利用其中的Kinect Studio进行便捷开发，以及Face Tracking SDK， 并通过实例7详细讲解如何使用Face Tracking SDK识别人脸。 第8章讲述了Kinect常用的两个类库：Coding4Fun Kinect Toolkit和Kinect Toolbox。 Kinect实战篇。通过4个实例详细讲述了使用Kinect for Windows SDK开发项目的实现过程，包括4章内容。 第9章讲解了Kinect虚拟演示系统的实现过程，该项目结合Kinect提供了一种新颖的演讲方式。 第10章讲解了Kinect虚拟风筝项目，将微软最新的Kinect姿势识别技术与风筝文化结合，提供一种新的虚拟放风筝体验。 第11章介绍了虚拟博物馆的实现。该项目利用Kinect SDK 提供的骨骼点追踪功能，结合普通的显示屏或者投影仪实现了全息显示的效果。 第12章讲述了基于Kinect的自主移动机器人项目。本项目将Kinect作为机器人的视觉传感器，指导机器人移动。 本书内容丰富，通过对基础篇和开发篇的学习，读者可以了解Kinect技术的相关知识，并掌握Kinect相关API的使用方法。其中开发篇附带了大量的示例程序，希望读者能够亲自试验。实战篇讲解了多个Kinect相关项目，希望能够对读者在开发过程中提供一定的参考。 读者对象 本书旨在为Kinect for Windows开发人员提供快速入门的知识，但是要求读者有一定的编程基础。由于本书的实例代码全部由C#编写，读者最好对C#有一定的了解。 致谢 本书的出版得了各方面的帮助和支持。感谢微软亚洲研究院副院长宋罗兰女士和资深学术合作经理马歆女士、Miran Lee女士对本书写作给予的大力支持。感谢美国总部微软研究院Stewart Tansley博士、Kinect for Windows部门Bob Heddle、Anson Tsao、李杭和Heather Mitchell给予的指导。感谢清华大学美术学院徐迎庆教授和他的学生赵月、张爽爽、于阳、魏一明，实战部分中的虚拟风筝项目是在徐老师指导下，由4位同学完成交互界面的设计。感谢微软技术俱乐部北京航空航天大学虚拟演示项目组张蕊、伍彦飞同学和虚拟博物馆项目组黎健成、范若余同学，他们的创意项目很大程度上丰富了书中实战部分的内容。感谢西安交通大学的袁博沣、姚佳文和赵文玉同学，书中Kinect机器人项目就是由他们完成的。此外，感谢微软亚太研发集团Kinect for Windows部门王维，中国科学技术大学李明磊和北京航空航天大学陈璇在百忙中审阅部分文稿。再次感谢所有为本书编写和出版付出辛勤劳动的同仁。
Kinect 是微软公司推出的最新的基于体感交互的人机交互设备。本书分为3
个部分，首先介绍了Kinect 的结构和功能以及如何配置相关的开发环境，接着结合实例介绍如何使用Kinect for Windows
SDK 提供的API，最后通过4 个实例详细讲述了使用Kinect for Windows SDK 开发项目的实现过程。
本书旨在为Kinect for Windows
开发人员提供快速入门的知识，但是要求读者有一定的编程基础。由于本书的实例代码全部由C# 编写，读者最好对C# 有一定的了解。
本书的部分源代码可以通过图灵社区本书主页，免费注册下载。
吴国斌
博士，PMP，微软亚洲研究院学术合作经理，负责中国高校及科研机构Kinect for
Windows学术合作计划及微软精英大挑战Kinect主题项目，曾担任微软TechEd 2011
Kinect论坛讲师、微软亚洲教育高峰会Kinect分论坛主席、中国计算机学会学科前沿讲习班Kinect主题学术主任
李斌
来自西安电子科技大学，国内首批Kinect开发者，策划执行微软Kinect for Windows
Pioneer计划，开发Kinect风筝项目，曾担任微软TechEd 2011
Kinect论坛讲师、人大附中Kinect选修课讲师。
阎骥洲
来自北京航空航天大学，国内首批Kinect开发者，曾在微软Kinect for Windows
Pioneer计划中凭借“虚拟演示系统”获得第一名的成绩，之后参与并指导了多个Kinect应用开发项目，有着丰富的Kinect使用及开发经验。
第一部分 Kinect基础篇
第1章 Kinect简介
1.1 什么是Kinect
1.2 Kinect的前世今生
1.3 Kinect体感交互技术原理
1.3.1 Kinect的结构组成
1.3.2 Kinect for Windows SDK 简介及功能介绍
1.4 Kinect for Windows应用领域
1.5 小结
第2章 Kinect for Windows开发环境配置
2.1 开发环境需求
2.2 配置开发环境
2.3 Kinect for Windows SDK技术架构
2.4 小结
第二部分 Kinect开发篇
第3章 Kinect彩色和红外图像数据的处理
3.1 彩色图像的格式
3.2 红外数据流
3.3 实例1——调用API获取彩色图像数据和红外图像，并实现静态图像的抓取
3.4 小结
第4章 Kinect深度数据的处理
4.1 深度数据的结构
4.2 实例2——调用API获取深度数据，并对不同深度值着以不同颜色
4.3 小结
第5章 Kinect骨骼追踪数据的处理方法
5.1 骨骼追踪数据的结构
5.2 半身模式
5.3 骨骼追踪数据的获取方式
5.4 实例3——调用API获取骨骼数据并实时绘制
5.5 骨骼点旋转信息
5.5.1 骨骼点旋转信息存储方式
5.5.2 在骨骼数据回调函数中获取骨骼点旋转信息
5.5.3 综述
5.6 实例4——使用Kinect控制PPT播放
5.7 小结
第6章 音频API的使用
6.1 关于Kinect麦克风阵列
6.2 实例5——记录一段音频流，并监视音频源方向
6.3 实例6——调用语音API，实现语音识别小程序
6.4 小结
第7章 Kinect for Windows Developer Toolkit介绍
7.1 安装Kinect for Windows Developer Toolkit
7.2 Kinect Studio简介
7.2.1 打开Kinect Studio并链接应用
7.2.2 记录并回放Kinect数据流
7.2.3 保存和载入Kinect数据流
7.3 Face Tracking SDK简介
7.3.1 Face Tracking SDK主要功能
7.3.2 Face Tracking SDK使用方法
7.4 实例7——使用Face Tracking SDK识别人脸
7.4.1 新建项目并添加引用
7.4.2 初始化Kinect数据流
7.4.3 获取数据并传入Face Tracking
7.5 小结
第8章 Kinect常用类库介绍
8.1 Coding4Fun Kinect Toolkit介绍
8.1.1 基于图像数据的扩展方法
8.1.2 基于骨骼数据的扩展方法
8.2 Kinect Toolbox类库
8.2.1 Kinect Toolbox简介
8.2.2 人体姿态识别
8.2.3 手势识别
8.2.4 模板识别
8.2.5 语音识别
8.2.6 添加自定义姿态
8.3 小结
第三部分 Kinect实战篇
第9章 Kinect虚拟演示系统的实现
9.1 虚拟演示系统简介
9.2 技术实现概述
9.3 利用深度数据标签获取人物彩色图像
9.3.1 创建人物抠图类
9.3.2 利用深度数据获取人物彩色图像
9.3.3 修补、优化并完善抠图类
9.3.4 利用Kinect SDK抠图的优、缺点
9.4 利用骨骼数据识别人体姿态
9.4.1 利用Toolbox实现主体识别功能
9.4.2 自然交互方式设计
9.4.3 Kinect自然交互小结
9.5 演示系统简介
9.5.1 预备知识
9.5.2 Kinect状态类
9.5.3 Kinect轮询类
9.5.4 演示框架小结
9.6 小结
第10章 Kinect虚拟放风筝项目的实现
10.1 Kinect虚拟放风筝项目简介
10.2 技术实现概述
10.3 玩家姿势的设计和识别
10.3.1 玩家姿势的设计
10.3.2 玩家姿势识别的实现
10.4 自然交互按钮和光标的实现
10.4.1 自定义光标
10.4.2 自定义按钮
10.5 风筝动画的实现
10.6 项目操作流程
10.7 小结
第11章 Kinect全息显示
11.1 Kinect全息显示简介
11.2 技术实现概述
11.3 Kinect捕捉头部坐标
11.3.1 创建用于捕捉头部位置的Kinect组件类
11.3.2 Kinect初始化以及头部位置获取
11.3.3 根据Kinect和屏幕的位置关系转换坐标
11.4 三维图形引擎
11.4.1 创建可见模型绘制类
11.4.2 构建模型世界矩阵
11.4.3 绘制模型
11.5 根据头部位置更新绘制图像
11.5.1 修改视图矩阵
11.5.2 修改投影矩阵
11.6 小结
第12章 基于Kinect的自主移动机器人的设计与实现
12.1 KRobot项目简介
12.2 技术实现概述
12.3 利用深度数据进行摄像机标定
12.4 利用深度数据实现障碍规避
12.4.1 获取彩色图和深度图数据
12.4.2 处理深度图和深度数据
12.4.3 制定障碍物判定规则
12.4.4 制定机器人避障规则
12.5 利用骨架数据实现人体跟踪
12.6 利用麦克风进行声音定位
12.7 完善人机交互演示系统
12.8 小结
附录A Kinect for Windows SDK类、结构类型和枚举类型
除了为读者介绍Kinect开发的相关知识外，书中通过大量篇幅分析了一些精挑细选的实际项目，这些项目给开发者提供了很好的开发方向和设计思路。从应用的整体设计思路到具体的算法实现，每个项目都给出了实际开发中需要注意的地方，这值得开发者花精力去了解。——邹欣，微软首席研发经理，《编程之美》作者 可以说，Kinect的诞生预示着一个全新的计算机应用领域的开拓。本书将读者群定位在具有极大创造力和实现能力的个人和企业开发者身上，详细介绍了Kinect for Windows开发的方方面面，是有志投身该领域的开发者不可错失的一本书。——马宁，MVP，OpenXLive CTO 前些日子刚刚看到国内能够买到Kinect for Windows，感觉通过Kinect来控制电脑的革命性人机交互方式离我们的实际生活更近了。遍寻各大网上书店，没有相关的中文开发资料，深感遗憾。本书的推出填补了国内Kinect for Windows开发领域的空白。幸运的是，我成为了本书的第一批读者，原以为它可能就是官方SDK文档的梳理，但随着阅读的深入，本书带给了我极大的惊喜。它不仅仅停留在概念的阐述、基本功能的实现，更有吸引力的是它讲述了从构思、设计到实现一个Kinect交互应用的完整过程，同时又对Kinect应用的用户友好性提出了真知灼见，极具参考价值。——姜泳涛，MVP，TechEd讲师 这是一本很适合体感开发初学者阅读的书。从Kinect for Windows开发环境的搭建，再到Kinect彩色图像数据、深度图像数据、骨骼追踪数据、音频数据的获取与使用，以及人脸识别等，讲解非常细致，知识体系非常完整。这本书是作者大量实践经验的结晶，相信对Kinect for Windows体感开发者会有很大的帮助，强烈推荐！——王峰，cnKinect.com创始人
系统介绍Kinect体感交互技术的框架及原理详尽解读Kinect for Windows SDK的所有API的功能及其调用方法附带大量示例代码，可以随书进行实战演练，具有很高的参考价值
无
Kinect开发蓝宝书，值得推荐
难得国内找到kinect相关的书 挺新颖的 有用哦
内容很基础，也很简单。没有很深入的分析和介绍，适合没做过kinect的初学者。
虽然因为SDK版本的问题，代码上有些许误差。但整体还是适合初学者的，必备绿宝书啊！！
买来研究手势开发
好书，不知道书里面的程序和项目可以公开不？
内容比较适合入门级，挺薄的一本书
值得购买、阅读；我推荐大家购买。
这次搞活动，一下子买了八百多元的书。
书挺不错的，能学到很多东西。以后要多买点书充实自我。
简短扼要，引读者入门。只是kinect发展太快了。。。。。
作为Kinect 入门指导书，写得还可以。如果再配上光盘就更好了。
为了了解kinect买的，可是买到以后发现时c#写的。买的时候没注意。
书本第一个例子就出错了，书中没有说明SDK的版本，感觉有点不爽，不过书中提到的风筝的项目不错呀
哪里做一下实例，简单了解下还是可以的。
初学者很受用的一本书
经典好书.我推荐.这书就是好.不解释
书就是一般，印刷也不是很好
书内容太少了，走马观花
程序还行 比较容易理解
还算不错！稍微简单了。
为了方便读者阅读学习，强烈建议提供源代码下载！！！
选材不错，但内容不够丰富，前面章节适合入门，后面只能看个大概。总体还不错，但100多页的厚度还是没料到。
不怎么样恩恩
书的内容一般般啦
不是很好的...
要是自己出钱买肯定不会买这个，里面内容比较基础
是正品，内容很有用。
amazon还有另一本介绍kinect的书，比这本要详细。这本书写得不够系统，学习的话不推荐
还行，只看了几章，还没看完
内容太简单，可以直接在网上搜索到，没必要买书。
里面的内容非常少，只有很少的案例。讲的很浅显。匆匆发布出来。效果很不好
Kinect人机交互开发实践
Kinect人机交互
还没看，好像是基于SDK的，不是openni
内容写的还可以，总体还好
内容稍欠不足
有些程序没源码