KINECT来了——解析SDK(MS SDK 1)
在8月初的文章里，我们曾对Microsoft推出的官方Kinect SDK beta进行了初步介绍，本文将在此基础上对其做出进一步说明。值得注意的是对托管代码和非托管代码的选择，从社区反馈看来似乎前者占据了绝对上风，coding4fun推荐的项目也基本都是以WPF编程为主。不过考虑到平台的潜在可扩展，这里还是推荐使用标准C++构建非托管程序。下面先给出两种编程方式在VS2010中的配置方法：
对于托管C#程序，添加Add Reference中.Net标签页的Microsoft.Research.Kinect.dll，使用using Microsoft.Research.Kinect.Nui引用NUI API的声明文件，如果还要引用音频API，还要加上using Microsoft.Research.Kinect.Audio。
对于标准C++程序，代码中必须加入<windows.h>头文件，其中NUI API需要包含MSR_NuiApi.h头文件、音频API需要包含MSRKinectAudio.h。另外需要添加相应的静态链接库，同时确保安装的DLL文件存放在PATH路径中。这里给出SDK所包含的头文件说明：
MSR_NuiApi.h，该文件包含所有关于NUI API声明，包括初始化调用和访问函数，如NuiInitialize、NuiShutdown、MSR_NuiXxx以及INuiInstance，其主要功能是枚举设备并对其进行访问调用。MSR_NuiImageCamera.h，该文件包含对NUI图像和摄像头功能API的声明，其一般形式为NuiCameraXxx和NuiImageXxx：此类API的功能为调整摄像头倾角和仰角，并启动数据流并读入图像帧。MSR_NuiProps.h，该文件包含对NUI属性枚举API函数的声明。MSR_NuiSkeleton.h，该文件包括NUI骨架API函数的声明，其一般形式为NuiSkeletonXxx and NuiTransformXxx：功能为打开/关闭骨架跟踪、获取骨架数据、将骨架数据进行变换以实现平滑绘制。MSRKinectAudio.h，该文件包括对音频API函数的声明，其中ISoundSourceLocalizer接口可返回波束方向和音源位置。NuiImageBuffer.h，该文件定义了一个帧缓冲器，其作用类似DirectX9的纹理缓冲。
Kinect for Windows应用程序架构
[singlepic id=43 w=320 h=240 mode=watermark float=center]
上图给出了beta SDK的整体组件架构，硬件层我们已经在上月进行了详细介绍。驱动的内核模式包含了设备驱动程序，上层的数据交互统一使用WinUSB数据栈，其中设备栈主要用于设备的配置和访问，摄像头栈用于视频数据流控制，USBAudio栈用于音频数据流控制；用户模式为API提供了访问和控制接口。应用层API上包括了三部分组件，其中MS SDK beta直接提供了NUI API即基本API集和KinectAudio DMO，后者的功能主要是提供波束成形和音源定位功能。此外，如果要使用Kinect的所有功能，还需要自己准备Windows 7 SDK中的音频、语音、媒体API集以及微软语音识别SDK，上述组件并未包含在SDK中。近两篇文章会主要介绍NUI API部分的设计原理和编程说明。
NUI API概述
NUI API是Kinect SDK的核心组成部分，其主要功能包括：提供连接至PC的Kinect传感器元件的访问接口、提供对由Kinect成像传感器生成的图像和深度数据流访问接口、通过经处理的图像和深度数据实现骨骼跟踪。下面我们分别使用托管和非托管代码介绍整个Kinect API上下文环境的创建和销毁。
与OpenNI不同的是，Kinect SDK允许方便地同时使用多台Kinect设备，但是每台设备（或传感器）同一时间只能被一个程序实例使用。下面是使用C++代码实现传感器枚举和访问的整个过程：
情形一：应用程序同一时间仅使用一台Kinect设备：
1、调用NuiInitialize，该函数首先会初始化一个Kinect传感器设备实例；
2、调用NuiXxx，该函数集的功能是传输图像和骨骼数据流，并管理并配置相关摄像头；
3、调用NuiShutdown结束。
情形二：应用程序同一时间使用多台Kinect设备：
1、调用MSR_NuiDeviceCount，查看可用Kinect设备的数量；
2、调用MSR_NuiCreateInstanceByIndex创建指定设备索引的实例，该函数将返回该实例的INuiInstance接口指针；
3、调用INuiInstance::NuiInitialize，该函数用于初始化针对该实例的NUI API上下文；
4、调用针对INuiInstance接口的其它方法，用于传输图像和骨骼数据流并管理相关摄像头；
5、调用INuiInstance::NuiShutdown，销毁某个设备实例的NUI API上下文；
6、调用MSR_NuiDestroyInstance函数销毁该实例；
接下来是使用C#代码实现传感器枚举和访问的整个过程：
情形一：应用程序同一时间仅使用一台Kinect设备：
1、创建一个新的运行时对象，将其参数列表留空，例如nui = new Runtime()，调用该构造函数表示在系统中创建了一个Kinect传感器设备实例；
2、调用Runtime.Initialize函数初始化NUI API上下文；
3、调用其它托管接口，用于传输图像和骨骼数据流，并管理和配置相关摄像头；
4、调用Runtime.Shutdown销毁实例。
情形二：应用程序同一时间使用多台Kinect设备：
1、调用MSR_NuiDeviceCount函数获取可用设备数量；
2、创建一个新的运行时对象，参数为设备索引号，如nui = new Runtime(index)，调用该构造函数表示创建了针对某个Kinect传感器的系统实例；
3、调用Runtime.Initialize函数初始化NUI API上下文；
4、调用其它托管接口方法，用于传输图像和深度数据、并管理和配置相关摄像头；
5、调用Runtime.Shutdown函数销毁实例。
NUI API的数据处理是通过一个多级管线实现的，在初始化阶段，应用程序需要指定相应级别的子系统，这样运行时系统才能系统所需的部分管线。在初始化时系统通常允许进行以下配置：
彩色：应用程序指定从设备中获取彩色图像数据流；
深度：应用程序指定从设备中获取深度图像数据流；
深度和人物索引：应用程序指定从设备中获取深度数据流，并请求骨骼跟踪引擎当前生成的人物索引；
骨骼：获取骨骼位置数据；
上述设置指定了有效数据流类型和解析度，例如当一个应用程序没有在NUI API初始化阶段指定深度数据时，它随后也无法开启一个深度数据流。