AR/VR沉浸感的实现除了视觉体验之外，容易被忽略的一点是音频的呈现。近日雷鸟开售的全新一代XR眼镜——Air 1S着重提到了优秀的音质表现，在业内首次搭载了超线性单元 0.5mm 冲程的扬声器，带来更具空间感的立体音场，提升身临其境感。
随着我们在数字空间中花费的时间越来越多，用户希望在这些空间中获得更多自然体验，而提供逼真的声音至关重要。支持 VR 和 AR 的声音一直是该行业面临的挑战。
来源：雷朋
我们通过感官感知物质世界，而我们的感官不是静止的。他们对我们所处的环境做出反应，即使是以我们没有意识到的方式。然而，我们确实在某种程度上注意到，当虚拟环境的元素以人类思维记录的方式做出某种不自然的反应时，即在支持 AR 或 VR 的环境中，用户期望逼真并在没有得到它注意时，我们得到了“恐怖谷”的感觉。在 VR 和 AR 中，我们需要构建能够更好地反映我们习惯的人与人和人与环境的联系的体验。在讨论 AR 和 VR 的实际应用时，经常会出现音乐会和体育赛事等现场活动。在这些环境中，声音以其自然的动态特性成为体验的核心元素。部分体验取决于用户相对于声源（舞台、运动场、扬声器等）的位置。除了娱乐之外，还有一些商业应用需要探索。AR 和 VR 可以为竞技场活动做些什么，它们也可以为会议做些什么。会议体验通常比网络研讨会更有吸引力和令人愉快是有原因的，从 3D、多房间空间获得的动态音频就是这些原因之一。行业领导者谈到了 AR 和 VR 如何在试用产品时增强购物体验。消费者可能想听听它在不同距离或在蓝牙扬声器可以派上用场的各种空间中的声音。消费者可能想知道它在沙滩上的声音是否和在淋浴时聆听时一样好。随着企业和创作者学习如何实现，逼真的音频正在 VR 和 AR 中扩展。AR/VR 技术通过引入两个主要组件来工作：模拟身临其境的声音环境（即模拟耳朵在穿过真实的小房间、大厅、城市场景、荒野环境等时会听到的声音），以及噪声抑制和人声提取。空间音景旨在创造更引人入胜和身临其境的体验。然而，今天在实施有效的空间音景方面存在技术挑战。最重要的是延迟。音频延迟是音频到达耳机所需的时间。在音频和视频通信同时交付给最终用户的数字世界中，任何延迟都会导致诸如不同步等复杂情况。例如，在游戏中，爆炸或汽车引擎在与视觉效果不同步的弯道上倾斜，使游戏玩家脱离了沉浸式体验的意图。就像在为工作协作而创建的数字虚拟环境中一样，任何延迟都会破坏与同事之间预期的人与人之间的联系。克服这一挑战需要使用位于个人互联网之上的实时网络，并且可以在全球范围内提供广泛的覆盖范围。人工智能算法可以实时监控这些网络并自动选择最有效的路由路径，提供 400 毫秒或更短的超低延迟。身临其境的音景是通过利用多种人工智能技术来解决背景噪音问题而产生的。这项技术已经被用于游戏、社交媒体和工作场所通信。降噪耳机可以帮助听众调节接收端的音景，但人工智能驱动的解决方案也可以消除音频源端分散注意力的噪音。总之，这项技术可以通过消除两端的影响来为用户提供最先进的体验，否则会使声音体验看起来错位。当我们成功地让音频和视频在虚拟环境中自然交互时，我们就可以向新的受众开放 AR/VR 市场。许多消费者仍然对探索比表面更深的虚拟空间持谨慎态度。坦率地说，很多人发现不太复杂的 AR/VR 体验带来的“恐怖谷”效应实在是不容忽视。人工智能正在引领创造者和企业走出那个山谷。
原文始发于微信公众号（艾邦VR产业资讯）：声音正在成为 AR/VR 沉浸感中越来越重要的组成部分
