基于互信息的虚拟现实存在感神经生理特征研究

信息科学 人工智能 神经病学 计算机科学 生命科学 生物工程 医学
虚拟现实 存在感 神经生理学 互信息 生理信号

虚拟现实中的存在感：神经生理学标记的探索与验证

背景介绍

近年来，虚拟现实（Virtual Reality, VR）技术在医学、训练和康复等领域得到了广泛应用。VR的核心在于用户的“存在感”（Sense of Presence），即用户在虚拟环境中感受到的“身临其境”的体验。然而，目前对于存在感的评估主要依赖于主观问卷，如ITC-SOPI（ITC-Sense of Presence Inventory）和SUS（Slater-Usoh-Steed）问卷。这些方法存在主观偏差，且难以捕捉用户的无意识反应。因此，开发一种基于神经生理信号的客观评估方法成为研究的迫切需求。

本研究的目的是通过多模态生理信号（如脑电图EEG、心电图ECG和皮肤电活动EDA）来识别与VR环境中存在感相关的神经生理标记，并开发一种基于互信息（Mutual Information, MI）的合成指标（Sense of Presence Mutual Information Index, SOPMI），以实现对存在感的客观量化。

论文来源

该论文由Vincenzo Ronca、Fabio Babiloni和Pietro Aricò共同撰写，他们分别来自意大利罗马大学（Sapienza University of Rome）的计算机、控制与管理工程系以及生理学与药理学系。论文于2025年发表在《IEEE Transactions on Biomedical Engineering》期刊上，并获得了PRIN 2022 PNRR “Fit2Work”项目的支持。

研究流程

1. 参与者与实验设备

研究招募了18名健康男性志愿者（平均年龄26.5±3.2岁），实验在罗马大学的实验室进行。实验设备包括Oculus Rift DK2头戴式显示器（HMD）、Logitech G27赛车方向盘、Nexus-10 MKII系统（用于记录皮肤电活动EDA）和Galileo BePlus脑电图仪（用于记录EEG信号）。实验场景为一条赛车道，参与者以第一人称视角驾驶虚拟汽车，并根据不同任务条件收集目标物体。

2. 实验设计

实验设计了高感知负荷和低感知负荷两种条件，分别通过天气条件和目标数量来调节任务难度。参与者完成了四种多感官刺激条件下的实验任务：仅视觉（V）、视觉+听觉（VA）、视觉+振动触觉（VV）以及视觉+听觉+振动触觉（VAV）。每种条件下，参与者完成3分钟的驾驶任务，并在任务结束后填写NASA任务负荷指数（NASA-TLX）和存在感问卷。

3. 信号记录与处理

EEG信号通过38个电极记录，采样频率为256 Hz。信号预处理包括50 Hz陷波滤波、2-40 Hz带通滤波以及独立成分分析（ICA）去除眼电和肌电伪迹。皮肤电活动（EDA）通过Nexus-10 MKII系统记录，并使用LEDALAB工具包进行连续分解分析，提取皮肤电导水平（SCL）。心电信号（ECG）通过三个电极记录，并使用Pan-Tompkins算法检测心搏间期（RR），计算心率变异性（HRV）。

4. 数据分析

研究首先通过重复测量方差分析（ANOVA）验证了实验设计的有效性，分析了任务负荷和存在感的主观评分。随后，对EEG和自主神经信号（如SOP1、SOP2、SCL、HR和HRV）进行了初步分析，以识别与存在感相关的神经生理特征。最后，采用基于互信息（MI）的多变量分析方法，开发了合成存在感指数（SOPMI），并评估其在不同实验条件下的敏感性和特异性。

主要结果

1. 主观评估

NASA-TLX分析显示，任务难度对心理负荷有显著影响（p < 0.001），低负荷条件被认为较轻松。存在感问卷分析表明，沉浸水平对存在感有显著影响（p < 0.001），VAV条件下的存在感评分显著高于其他条件。

2. 神经生理学评估

EEG特征（SOP1和SOP2）在任务难度和沉浸水平上均显示出显著差异（p < 0.001）。皮肤电导水平（SCL）在高负荷和高沉浸条件下显著升高（p = 0.02），而心率和心率变异性（HRV）则未显示出显著差异。

3. 互信息存在感指数（SOPMI）

SOPMI指数在VAV条件下显著高于其他条件（p < 0.01），且不受任务难度影响。该指数与主观存在感评分呈显著正相关（r = 0.559, p < 0.007），表明其能够客观反映用户的存在感体验。

结论

本研究成功识别了与VR环境中存在感相关的神经生理标记，并初步验证了基于互信息的存在感指数（SOPMI）作为一种客观评估方法的潜力。该方法能够有效捕捉用户在VR中的沉浸体验，且不受任务难度等其他认知调节的影响，为VR应用的设计和优化提供了新的工具。

研究亮点

  1. 多模态生理信号分析：本研究首次将EEG、ECG和EDA信号结合，通过多变量分析方法开发了合成存在感指数，克服了传统主观评估方法的局限性。
  2. 互信息技术的应用：基于互信息的方法能够有效提取不同生理信号之间的共同模式，增强了对存在感的特异性评估。
  3. 实际应用价值：该研究为VR技术在医疗、训练和工业5.0等领域的应用提供了理论基础，有助于开发更加沉浸和用户友好的VR体验。

其他有价值的信息

研究还指出了当前实验设计的局限性，如实验场景的单一性和高密度EEG设备的不可扩展性。未来的研究可以进一步验证SOPMI指数在更多样化和动态的VR环境中的可靠性，并探索其在可穿戴设备中的应用潜力。