虚拟现实中沉浸式媒体的触觉和听觉反馈 | 第30届ACM虚拟现实软件与技术研讨会论文集

内容

在虚拟现实 (VR) 中,视觉和听觉感官被有效利用以创造沉浸式体验。然而,触觉在沉浸式媒体中显著被低估。我们通过将触觉和听觉反馈整合到由沉浸式媒体构建的 3D 环境中,增强了 VR 图像观看体验。我们解决了利用来自各种图像格式的深度图创建可交互环境的挑战。通过控制器与触觉材料的碰撞触发的振动触觉反馈和音频提示,增强了 VR 体验。

2023. Touchly. https://touchly.app

2024. 触觉工作室. https://developer.oculus.com/resources/haptics-studio/

2024年。immerGallery. https://immervr.com

2024. Immersity AI. https://www.immersity.ai/

Shariq Farooq Bhat, Reiner Birkl, Diana Wofk, Peter Wonka, 和 Matthias Müller. 2023. ZoeDepth: 通过结合相对深度和度量深度实现零-shot 转移. arxiv:2302.12288

Frank Biocca, Yasuhiro Inoue, Andy Lee, 和 Heather Polinsky. 2002. 视觉线索与虚拟触觉:视觉刺激和感官间整合在跨模态触觉幻觉和存在感中的作用. (01 2002).

岳明, 许阳梦, 樊春晓, 和 余辉. 2021. 单目深度估计的深度学习: 一项综述. 神经计算 438 (2021), 14–33. https://doi.org/10.1016/j.neucom.2020.12.089

Tomas Novacek 和 Marcel Jirina. 2020. 虚拟现实用户界面控制器概述. PRESENCE: 虚拟与增强现实 29 (12 2020), 37–90. https://doi.org/10.1162/pres_a_00356

Manuel Rey-Area, Mingze Yuan, 和 Christian Richardt. 2022. 360MonoDepth: 高分辨率 360° 单目深度估计. 在 CVPR.

Antony Tang, Mark Billinghurst, Samuel Rosset, 和 Iain Anderson. 2023. 通过振动触觉和视觉线索增强虚拟材料感知. 在 2023 IEEE 虚拟现实与 3D 用户界面会议摘要与研讨会 (VRW). 1011–1012. https://doi.org/10.1109/VRW58643.2023.00351

  • 下载量(过去12个月)75
  • 下载量(过去6周)75

查看或下载为 PDF 文件。

'PDF'

在线查看 eReader。

查看此文章的 HTML 格式。

总结
在虚拟现实(VR)中,视觉和听觉感官被有效利用以创造沉浸式体验,但触觉在沉浸媒体中的应用仍显不足。本文通过将触觉和听觉反馈整合到由沉浸媒体构建的3D环境中,提升了VR图像观看体验。我们解决了利用不同图像格式的深度图创建可交互环境的挑战。通过控制器与触觉材料碰撞触发的振动触觉反馈和音频提示,增强了VR体验。相关研究和技术的引用表明,触觉与视觉刺激的结合能够提升用户的沉浸感和存在感。