薛志荣的知识库
  • CHI 2025
  • AI
  • HCI
  • XR
  • 机器人和数字人
  • 访谈
  • 发布会
  • WWDC
翻译
工具
  • 个人感悟
  • 人工智能
  • 人机交互
  • 采访
  • 用户体验
关于我
  • CHI 2025
  • AI
  • HCI
  • XR
  • 机器人和数字人
  • 访谈
  • 发布会
  • WWDC
翻译
工具
  • 个人感悟
  • 人工智能
  • 人机交互
  • 采访
  • 用户体验
关于我
  • 在虚拟现实中进行协作:多模态通信的探索与实验研究

    • 论文总结
      • 研究机构
      • 摘要
      • 问题发现
      • 解决方案
      • 结果
    • 举一反三

在虚拟现实中进行协作:多模态通信的探索与实验研究

论文总结

研究机构

  • 中佛罗里达大学

摘要

本研究通过虚拟现实环境下的协作任务,探讨了多模态通信在提升协作效率中的作用。作者设计了一个不对称的VR协作装配任务,让参与者使用语音、手势和头部 gaze 等不同的交流方式,并通过实验对比分析了这些方式的效果。结果表明,多种沟通方式结合使用能显著提高任务完成速度,特别是在同时使用语音、手势和头部 gaze 时,用户表现最好。此外,研究还发现头 gaze 和手势的单独使用也比只用语音效果好。这为设计更有效的远程协作系统提供了依据。

问题发现

在虚拟现实环境中,不同通信模态(如声音、视觉和触觉)如何影响信息的有效传递并提升协作效率尚未得到充分理解。特别是,多种沟通方式同时使用的效果未被深入研究。

解决方案

作者设计了一个实验,让参与者在虚拟环境中完成组装任务,并通过对比分析不同的通信组合,包括语音、手势和头部 gaze 的效果。实验中,参与者被随机分配到不同模态的条件下进行任务,以评估每种情况下的任务完成时间、对象选择时间和用户满意度。

结果

研究结果显示,同时使用多种通信方式可以显著提高协作效率。特别是语音+手势+头部 gaze 的组合表现最佳,不仅减少了任务完成时间,也提高了用户的主观体验,如沉浸感和共存感。此外,实验还发现头 gaze 和手势单独使用也能带来较好的效果,而单纯依赖语音则效果较差。这表明在设计虚拟现实协作应用时,应考虑结合多种通信方式以优化用户体验和协作效率。

举一反三

Q1:研究中所使用的VR环境是如何设计来支持不同通信模态的?

A1:研究使用Unity 3D和Oculus Integration Package进行开发,同时利用Photon PUN提供网络和多人游戏功能。硬件方面包括头显、PC以及其它必要的设备,以支持用户在虚拟环境中完成任务。

Q2:实验中的任务设计为何选择组装协作?

A2:选择组装协作作为任务是因为它曾在多样的MR场景中被用于研究,如远程医疗合作等,且能够评估不同通信方式对效率的影响。此外,导师和学员的角色设定也使得任务更具挑战性,因为学员需要在指导下完成任务。

Q3:实验结果对于未来设计虚拟现实协作系统有什么启示?

A3:实验结果显示多模态交流(语音、手势和头部 gaze)能有效提升协作效率。这为未来设计VR协作系统提供了一定的指导,即应尽可能整合并优化这些自然交流方式,以提高用户体验、减少认知负荷,并增强沉浸感和共在感。同时,研究还指出不同用户可能对通信方式有不同的偏好,因此,系统应考虑提供个性化的通信选项。


信息来源

  • https://dl.acm.org/doi/fullHtml/10.1145/3613904.3642491

内容由MiX Copilot基于大语言模型生成,有可能存在错误的风险。

MIT Licensed | Copyright © 2024-present 薛志荣的知识库