广告

个性化空间音频技术倾听您的声音

时间:2024-03-01 作者:Jon Gabay 阅读:
音频偏好始终被视为一项个人体验。一个人认为好的东西对另外一个人可能并非如此。但随着Apple iOS 16对Personalized Spatial Audio的支持,许多渠道上众说纷纭,误传误报层出不穷。本文将浅谈一下空间音频技术的现状和特性。

人们对再现更佳音质的追求似乎永无止境。从Victrola的手摇留声机到最新的环绕立体声技术,收听者们一直在寻求用技术来改善传递到他们耳朵的声音。随着空间音频技术的最新应用,这种对改善音频和收听体验的追求迎来了新的转机,因为这项技术承诺提供比以往更身临其境的听觉体验。 

最知名的3D音频技术之一是发布于2021年的Apple Spatial Audio,支持杜比全景声。Personalized Spatial Audio是该技术的下一代,仅有Apple iOS 16和几家听戴式设备制造商提供支持,这项技术正在掀起波浪,但不仅仅关乎声波。这种个性化音频的实现可根据听众的特定偏好和身体结构来调节音频特性,因而在音频界引起了轰动。

Apple Spatial Audio并不是唯一的空间音频技术;Sony和Denon等公司在这项技术上也处于领先地位,并提供商业化产品。不过,本文仅讨论空间音频技术一般概念以及Apple的Personalized Spatial Audio。

音频偏好始终被视为一项个人体验。一个人认为好的东西对另外一个人可能并非如此。但随着Apple iOS 16对Personalized Spatial Audio的支持,许多渠道上众说纷纭,误传误报层出不穷。本文将浅谈一下空间音频技术的现状和特性。

头部结构剖析

个性化音频要考虑身体机能运转背后的生理和物理因素;每个人都是独二无二的。耳朵离头部的距离、在头部的位置以及耳朵本身的形状和角度都会影响我们的听觉体验。对于Personalized Spatial Audio,Apple使用运行iOS 16系统的iPhone中的3D TrueDepth®相机功能来三维扫描用户的头部。

iPhone进行三次扫描:头部左侧、头部右侧和正面脸部(不是一些人所说的内耳道)。生成专属于个人的配置文件并存储起来,以备播放引擎使用。人们担心这些配置数据文件会被获取并用于先进的面部识别系统。Apple表示,这些文件在设备上是安全且加密的,不会用于监控和先进的面部识别应用。

TrueDepth扫描参数创建一个声学模型,音频渲染引擎使用该模型来优化用户耳朵接收的实时音频流。

但是等等,好像还不止于此。

对于人类而言,当播放的声音进入内耳时,内耳会产生共鸣,并用自己的声音做出回应。这些声音来自耳朵里的耳蜗,可被检测和测量。这些交感声音被称为耳声发射 (OAE),在听众更敏感的频率上,声音明显更大。许多耳机制造商在耳塞内安装了灵敏的麦克风来检测耳声发射。频率扫描让Spatial Audio系统可以剖析用户每只耳朵的听力频率响应图。

该系统利用每只耳朵的频率特征来量身调整音频,通过补偿用户不太敏感的频率来使用全频谱。由此产生的动态调整均衡器利用耳塞发射器的特定角度来优化不同频率下的音频和频谱功率,呈现完整的音频流频率。  

声球

空间音频感觉有点像环绕头部的声音泡泡。音轨呈现出一种新的特色,不是仅仅出现在左边、右边、前方中间和后方中间,因为它们是来自定向扬声器的环绕声。相反,声音发射源好像是环绕在头部,当您把头靠近这些声源的“音频线”(类似于视线)时,声音会变得更响、更亮。为了实现这一点,音轨必须是包含所有声球声源及其相对水平和距离数据的编码音轨。

空间音频的使用

空间音频处理可用于戏剧音频、电影音频、游戏音频以及健康和健身应用。可以说,目前最流行的应用是游戏 — 尤其是虚拟现实 (VR) 游戏。VR头显采用先进且高效的头部跟踪,以确保音频和视频同步。如果没有快速准确的头部跟踪,VR会让人很快感到恶心想吐;例如,当您转头时,若场景没有实时跟踪,大脑就会遇到问题。因此,VR头显会锚定空间音频引擎,所以当头部转动时,来自该方向的主要声音来源就会发出最大的声音。其他声音也会随着头部的位置和转动速度而改变位置。

但家庭影院空间音频系统无法执行这类锚定。例如,如果您坐在沙发上看电影,只要观看中央屏幕,空间音频就可能会提供一个合理的近似环绕声。但是当您转头时,系统就很难让侧边的声音更加突出。机器视觉摄像头和人工智能可能会帮助系统识别您的转头,但这项技术目前还不成熟。

一些听戴式设备中使用的加速度计和陀螺仪可以执行头部跟踪,但这并不是完美解决方案。因此,这种相对头部跟踪技术远不如绝对头部跟踪技术那样又快又准。

不论哪种情况,其中包括游戏,都需要快速的响应时间和低延迟,这样当听众移动头部时,其音频线就做出正前方出现较高音频源而两侧出现静音或较低音频源的响应。

家庭和剧院使用的可能解决方案就是让每个人都戴上沉浸式VR头显(图1)。这个方案只有在音频引擎能够同时为每个人提供量身定制的音频流时才可行。但这是一个更加昂贵的解决方案,而且大大削弱了看电影的社交体验。

图1:在剧院环境中使用沉浸式VR头显支持空间音频处理器引擎利用头显中高速而精确的加速度计和陀螺仪。(图源:Marija/stock.adobe.com)

其他问题、顾虑、技术和用途

尽管空间音频是一种纯粹的数字技术,但使用耳塞时也会遇到问题。音频发射器较小会限制低音响应。这就是低音功放为何要使用更显眼的扬声器、低音炮和大型重低音喇叭的原因。低音依赖于大量的空气运动,因而较小的发射器不如较大的声波发射器。相控阵已经展示了让较小发射器保持适当间距来增强频谱中低频的功率,从而再现低音的能力,但用耳塞很难实现这一点。

较大的耳机通常使用能提供更好低音响应的较大音频发射器。但耳机需要不同的音频处理来再现频谱,尤其是环绕声效果。耳机使用360度头部相关传输函数 (HRTF) 滤波器。这些滤波器调节声音的播放方式,所以耳朵反弹使它看起来在不同的位置和水平上感知到声音。

无论如何,360度音频技术在游戏、剧院、健康与保健之外都有许多潜在的应用和用途。白色噪音和粉色噪音机器已经在帮助人们入睡、放松和减压。未来的应用可能在空间音频中增加生物识别传感器,以记录哪些频率和模式有助于个人放松、降低血压和入睡。跟踪阿尔法脑电波可以关闭这个反馈回路,从而增强放松状态。

这项技术还可以作为一种听力辅助设备来帮助失聪或有听觉障碍的人,尽管目前这还是一项没有得到证实的用途。音乐家可以使用空间音频来获得理想的入耳混音效果。舞台音量和场地混音总是不同。音响师可以调节场地混音,但空间音频可以帮助表演者在舞台上听得更清楚。

目前,人们对空间音频的评价褒贬不一;有些人喜欢,有些人不喜欢。这是一项每个人都必须自己尝试后才能做出决定的技术。毕竟,许多用户对众多环绕声系统昂贵的价格和复杂的设置并不满意,更何况背景音有时会压过对话音。

结语

空间音频技术通过分析人体结构和生理特性,利用独特的音频配置文件,并结合先进的音频渲染技术,提供更加个性化和身临其境的聆听体验。这项技术的应用范围涵盖游戏、剧院、健康、健身等领域,其未来的影响可能会彻底改变我们体验音频的方式。

作者简介

Jon Gabay拥有电气工程专业背景,曾就职于国防、商业、工业、消费、能源和医疗公司,担任过设计工程师、固件编码师、系统设计师、科学家和产品开发人员。作为一名替代能源研究者和发明家,在2004年之前他曾成立并运营了一家专注于自动化技术的公司 - Dedicated Devices。此后,他一直从事着技术研发工作,并撰写了多篇文章,为新一代工程师和学生提供了多种参考资源。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
相关推荐
    广告
    近期热点
    广告
    广告
    可能感兴趣的话题
    广告
    广告
    向右滑动:上一篇 向左滑动:下一篇 我知道了