分享自:

基于RGB-D CNN融合的手部穴位三维定位研究

期刊:Annals of Biomedical EngineeringDOI:10.1007/s10439-022-02986-1

本文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


研究作者与机构
本研究的作者为Danish Masood和Jiang Qi,均来自山东大学控制科学与工程学院。研究于2022年6月4日在线发表在《Annals of Biomedical Engineering》期刊上。

学术背景
该研究的主要科学领域是生物医学工程与计算机视觉的结合,特别是基于深度学习的穴位定位技术。传统中医中,穴位刺激(如艾灸)在康复和预防治疗中具有重要意义。然而,传统方法依赖于人工定位穴位,存在因人为误差导致的不准确性。尽管深度学习技术在自动检测穴位方面取得了一定进展,但现有方法大多局限于二维(2D)定位,缺乏基于深度的三维(3D)定位。本研究的目的是通过融合RGB和深度卷积神经网络(CNN),提出一种新的3D穴位定位方法,为机器人控制的艾灸提供实时指导。

研究流程
研究主要包括以下步骤:
1. 数据采集与相机校准
研究使用Kinect V1作为主要数据采集设备。Kinect V1配备了彩色相机和深度传感器,能够同时捕捉RGB和深度数据。为了确保定位的精确性,研究首先对Kinect V1进行了校准。校准过程包括使用棋盘格图案估计RGB和深度相机的相对位姿,并通过转换矩阵将深度数据投影到RGB域。校准图像在三个不同方向拍摄,每个方向拍摄约8张RGB和深度图像。

  1. 数据集构建
    研究构建了一个包含600张RGB和深度图像的手部穴位数据集,数据来自40名健康男性(年龄23至30岁)。数据采集时,受试者需将手自然伸展,手指分开。数据集通过Python脚本进行标注,RGB图像和深度图像分别标记为“0alcolor.png”和“0aldepth.raw”等格式。

  2. 穴位定位与可视化
    研究提出了一种结合特征提取和手部关键点检测的穴位定位算法。首先,使用OpenCV和MediaPipe库进行手部关键点检测,提取21个3D手关节坐标。然后,通过RGB-CNN和深度CNN的融合,实现3D穴位定位。RGB-CNN和深度CNN分别基于VGG16模型进行训练,并通过优化融合参数实现高效定位。

  3. 3D目标设置与机器人控制
    研究将定位到的3D坐标输入机械臂,以实现机器人控制的艾灸治疗。通过手眼校准技术,确定机械臂末端执行器与视觉传感器模块之间的转换矩阵,确保机械臂能够精确移动到目标穴位。

主要结果
1. 校准与数据采集
校准结果显示,RGB和深度相机的校准误差分别为0.1867像素和0.783深度单位,确保了数据的高精度。

  1. 穴位定位精度
    研究成功定位了5组手部穴位,平均定位误差小于0.09。具体而言,穴位LU10、LU11、HT8等的定位误差分别为0.035、0.046、0.066,表现出较高的精度。

  2. 机器人控制
    机械臂能够根据定位到的3D坐标精确移动到目标穴位,为机器人控制的艾灸治疗提供了可靠的技术支持。

结论
本研究提出了一种基于RGB和深度CNN融合的3D穴位定位方法,成功实现了手部穴位的高精度定位,并为机器人控制的艾灸治疗提供了技术支持。该方法具有较高的科学价值和实际应用价值,能够减少传统方法中的人为误差,提高穴位定位的准确性和效率。

研究亮点
1. 创新性方法
研究首次将RGB和深度CNN融合应用于3D穴位定位,填补了现有方法在深度信息利用方面的空白。

  1. 高精度定位
    通过校准和优化融合参数,研究实现了平均定位误差小于0.09的高精度定位。

  2. 实际应用价值
    研究为机器人控制的艾灸治疗提供了技术支持,推动了传统中医与现代技术的结合。

其他有价值内容
研究还构建了一个公开的手部穴位数据集,为后续研究提供了重要的数据支持。此外,研究提出的手眼校准技术和机器人控制方法,也为其他医学机器人应用提供了参考。


以上是对该研究的详细报告,涵盖了研究背景、流程、结果、结论及亮点,为其他研究者提供了全面的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com