COS Azure Kinect Sensor For LabVIEW

<Azure Kinect Sensor简介>

Azure Kinect Senser DK套件是微软2020年最新推出的AI传感器。Azure Kinect DK 是一款开发人员套件和 PC 外部设备,它搭载 100 万像素高级深度摄像头、360˚ 麦克风阵列,1200万像素全高清摄像头和方向传感器,适用于先进的计算机视觉和语音模型开发。它的长度不到13厘米,厚度仅为4厘米。

系统要求:采用第7代 Intel® CoreTM i3 处理器(双核 2.4GHz 包含 HD620 GPU 或更快)的 Windows 10® 计算机、USB 3.0 端口、4GB 内存。不支持 Windows 10 S 模式。人体跟踪等其他功能可能需要更高级的 PC 硬件。如需了解更多信息或查找技术规格,请访问 aka.ms/kinectdocs。

<传感器购买>

微软Azure Kinect DK-Microsoft Kinect for Azure传感器-微软官方商城 (microsoftstore.com.cn)

图片

<硬件性能>

深度相机支持的工作模式

Azure Kinect DK 集成了 Microsoft 设计的 1 兆像素时差测距 (ToF) 深度相机,该相机使用符合 ISSCC 2018 的图像传感器。深度相机支持如下所述的模式:

模式分辨率FoIFPS工作范围*曝光时间
NFOV 非装箱640×57675°x65°0、5、15、300.5 – 3.86 米12.8 毫秒
NFOV 2×2 装箱 (SW)320×28875°x65°0、5、15、300.5 – 5.46 米12.8 毫秒
WFOV 2×2 装箱512×512120°x120°0、5、15、300.25 – 2.88 米12.8 毫秒
WFOV 非装箱1024×1024120°x120°0、5、150.25 – 2.21 米20.3 毫秒
被动 IR1024×1024空值0、5、15、30空值1.6 毫秒

* 850nm 时 15% 到 95% 的反射率,2.2 μW/cm2/nm,随机误差标准偏差 ≤ 17 mm,典型系统误差 < 11 mm + 0.1% 的距离(无多路径干扰)。可以在上面指示的操作范围之外提供深度。这取决于对象的反射率。

彩色相机支持的工作模式

AzureKinect DK 包含 OV12A10 12MP CMOS 滚动快门传感器。下面列出了本机工作模式:

RGB 相机分辨率 (HxV)纵横比格式选项帧速率 (FPS)额定 FOV (HxV)(处理后)
3840×216016:9MJPEG0、5、15、3090°x59°
2560×144016:9MJPEG0、5、15、3090°x59°
1920×108016:9MJPEG0、5、15、3090°x59°
1280×72016:9MJPEG/YUY2/NV120、5、15、3090°x59°
4096×30724:3MJPEG0、5、1590°x74.3°
2048×15364:3MJPEG0、5、15、3090°x74.3°

RGB 相机与 USB 视频类兼容,可以在未安装传感器 SDK 的情况下使用。(NI VAS一样可以采集)

运动传感器 (IMU)

嵌入式惯性测量单元 (IMU)为 LSM6DSMUS,包含加速度传感器和陀螺仪。加速度传感器和陀螺仪同时按 1.6 kHz 采样。样本以 208 Hz 的频率报告给主机。

麦克风阵列

AzureKinect DK 中嵌入了被视为标准 USB 音频类 2.0 设备的优质七麦克风环形阵列。可以访问所有 7 个通道。性能规格:

·        灵敏度:-22 dBFS(94 dB SPL,1kHz)

·        信噪比 > 65 dB

·        声学过载点:116 dB

图片

COS Azure Kinect Sensor简介

COS AzureKinect Sensor 是对微软SDK重新封装,提供了更简单的访问方式并对功能进行升级。LabVIEW开发者不需要具体了解内部复杂的控制流程,使用工具包快速上手。

COS Azure Kinect Sensor 功能

 包含以上Azur Kinect Sensor DK提到功能外,还提供了如下扩展功能:

  • RBG-D图像采集(深度图像与RGB图像对齐,深度图像的分辨率与彩色图像的分辨率相同)
  • RDB-D点云采集 (深度图像与RGB图像对齐,并变换为点云)
  • 实时点云三角网格重建
  • 三角网格的双边滤波平滑
  • 三角网格渲染
  • 三角网格存储与读取

< COS Azure KinectSensor工具包安装>

NI官网下载(COSAzure Kinect Sensor Toolkit for LabVIEW – Download – VIPM by JKI)cos_lib_cos_azure_kinect_sensor-1.0.0.1.vip工具包,使用VIPM(LabVIEW安装时自动安装的工具)进行安装。注意:LabVIEW与VIPM要以管理员权限运行。该工具包不依赖第三方软件,安装完后不需要进行任何配置,通过LabVIEW就可以直接运行了。

图片
图片

<COS Azure KinectSensor工具包介绍>

工具包安装完成后,自动插入函数选版,右击每个函数可以快速导航每个VI的详细帮助。

图片
图片

2)通过Find Example快速查找例程

图片

提供了采集图像、采集RGB-D图形、采用主从模式多相机同步采集、采集点云、三角网格平滑例程,相信大家通过例程快速掌握并应用于自己的项目中。

<k4a_grab_image_Example>

该例程介绍了如何使用设备进行图像采集,k4a_capature_images.vi提供了设备内部同步采集彩色图像、深度图像及红外图像的功能,并介绍了IMU如何采集。

图片
图片

<K4a_grab_RGB-Dimages_Example>

该例程介绍了如何采集RGB-D图像。K4a_capture_RGB-D images.vi 提供了RGB-D图像采集功能,将复杂的深度图像与彩色图像的对齐进行封装,返回已经对齐后的深度图像和彩色图像。

图片
图片

<k4a_Master&Sub_grab_RGB-D_images_Example>

该例程介绍了如何采用主从模式多相机同步采集及注意事项。

图片

<k4a_grab_color_pointcloud_Example>

该例程介绍了如何进行彩色点云的采集。K4a_capture_pointcloud.vi,提供了直接采集点云的功能,将深度图像与彩色相机对齐,并变换为点云的复杂算法进行封装。

图片
图片

图片欢迎大家下载测试!

声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/221868.html

(0)
联系我们
联系我们
分享本页
返回顶部