从2020年开始,高通(Qualcomm)的新款Snapdragon XR2芯片将为一系列独立耳机和智能眼镜提供动力。这里是一个早期的看。
VR头戴式耳机带你去不同的地方,AR头戴式耳机向你展示现实世界中并不存在的东西。下一步可能是一波充满摄像头的VR头戴设备,天辰注册将现实世界与虚拟世界融合在一起。他们还可以同时跟踪你的房间和你的脸。称之为混合现实,XR或任何你想要的东西。不管你叫它什么,VR会变得越来越奇怪。高通的新AR/VR技术将是其中的重要部分。它最快明年就会发布,来自很多不同的公司。
到2019年底,我们仍然没有生活在一个到处都戴着虚拟眼镜的世界。但我们离目标越来越近了。Oculus Quest等VR头盔和AR头盔(包括Hololens 2)都是无需手机、完全无线的,都使用高通(Qualcomm)的芯片。在过去,我观察高通早期的硬件是VR和AR领域发展方向的良好指标。
高通(Qualcomm)今天宣布的新款兼容5g的Snapdragon XR2芯片,可能在未来一年或更久成为驱动Oculus Quest、Hololens等未来所有耳机的处理器。高通公司正在准备明年年初使用XR2进行基于vr的参考设计,并且正在与Niantic实验室合作开发一个智能眼镜参考设计的项目。
我得很快地看一下接下来会发生什么。这似乎很有希望,但也引发了很多问题。
下一代5G VR/AR耳机的浪潮,无需手机
高通的新XR2芯片听起来很强大:它是该公司最新款Snapdragon 865芯片的VR/ ar专业变体。图形效果应该是当前Oculus Quest的两倍,而且更高的显示分辨率意味着更清晰的视觉效果。不要期望视网膜级显示器,但是每只眼睛的3K分辨率(即2880×2880像素,每度69像素,90Hz)将是当前VR技术的一大飞跃。高通表示,8K视频将以60fps或120fps的速度在这些处理器上播放。
5G也可以在使用这种芯片的VR和AR耳机上实现,使用的是亚6ghz和毫米波(mmWave)频段,但它更多的是一种可选功能,而非必不可少的功能。高通公司XR部门负责人雨果·斯瓦特(Hugo Swart)表示,5G目前将被用于基于企业的(也就是更贵的)耳机。5G最终应该会成为VR和AR的一件大事,特别是它承诺将在云中远程渲染图形,并减少耳机本身的负载,让独立的耳机比目前能做的更多。微软一直承诺在Hololens 2上实现远程渲染,但目前还没有在主流设备上使用。斯瓦特说:“运营商对5G版本有浓厚的兴趣和动力,所以我们可能也会看到加速发展的趋势。”
高通公司(Qualcomm)的xr2智能眼镜比VR头戴设备线条流畅得多,而且内置和外接摄像头。
Qualcomm
跟踪你内心和外部世界的摄像头
然而,新芯片组中最疯狂和奇怪的部分是它同时支持7个摄像头。摄像头在VR和AR领域至关重要:VR摄像头可以跟踪世界上的运动,比如手势和眼球追踪。高通的Swart看到更多的同步摄像头,允许更多的面部跟踪,摄像头能够跟踪面部动作,嘴唇和微表情。企业耳机可以使用感应其他东西的摄像头。(这是指热成像相机吗?改进的深度传感器?)
最多可同时运行7个摄像头,但Swart表示,XR2耳机最多可增加12个摄像头,耳机可在任何时候在摄像头之间循环使用。高通(Qualcomm)早期的原型耳机也有Ultra Haptics生产的手动跟踪传感器,但在我试过的演示版上还不能用。但我们的想法是,新一代的耳机可以镶嵌传感器,处理更好的运动跟踪、手部跟踪、眼部跟踪、室内障碍物的实时避碰等。
所有这些摄像头也引发了隐私问题。所有这些信息都去了哪里?斯瓦特说,高通有一个“强大的安全系统”,但没有详细说明。Facebook等公司将如何使用更多像这样的、布满摄像头、时刻跟踪的耳机呢?这是一个很大的未知数。
我看到一个非常早期的参考设计原型使用Snapdragon XR2芯片组。
亲身体验一下硬件的承诺
高通公司的斯瓦特说,公司已经在使用芯片硬件,使用Snapdragon XR2的耳机将在2020年底推出。但基于xr2的VR头盔甚至还没有最终的参考设计。我展示的是一个早期的原型,在纽约总部运行一个基于avatar的workplace collaboration app Spatial。(你在这里看到的硬件根本不是未来的硬件。)
space的首席执行官和联合创始人阿南德·阿加拉瓦拉(Anand Agarawala)指导我完成了一个多设备协作演示,天辰注册我使用了高通(Qualcomm)的XR2硬件,其他人则在开发Oculus Quest、Hololens 2和一款Android手机。我们都以盘旋的化身出现。XR2的面部跟踪和手部跟踪功能还没有到位——演示版显然处于早期状态。但我发现它的显示分辨率比我在Oculus Quest中使用的要高得多。一只漂浮在我面前的虚拟海龟看起来栩栩如生。虚拟会议室中的文档具有可读性强得多的文本,即使字体较小
Snapdragon XR2 VR将同时进行手部和面部跟踪。
我没能看到Snapdragon XR2最大的杀手级应用:它能够将外部世界的东西拉入VR,在VR中创造出一种可传递的增强现实。我曾见过VR做这样的事情,甚至Oculus Quest也在这方面做了一些尝试,在你戴上耳机的情况下,在你实际的房间里画出房间的边界。但未来xr2驱动的VR头盔应该能更无缝地融合现实,高通的Swart承诺,VR头盔将开始以更低的价格提供增强现实功能,而更小、更光滑的智能眼镜仍在开发中。这让我想起了马克•扎克伯格(Mark Zuckerberg)今年早些时候在Oculus Connect上对我说的话。
“一开始我有点怀疑,但当你尝试的时候……“哦,我可以在白板上写字,我可以四处走动,我可以完全使用它,但它不会增加一个数量级的成本,”Spatial的Agarawala说。“这将是下一波的设备,任务2等等,可能会感觉像什么。”
Agarawala也看好人脸追踪技术下一步会把Spatial公司的虚拟化身带到哪里。“将摄像机对准你的嘴唇……我们最现实的化身可以变得更现实。他们还可以获得面部表情等类似的非语言信息。”
这让我想起了Facebook对下一代虚拟形象的研究,这些虚拟形象能够反映我们,解读我们的表情,并允许可能出现的微妙手势开始变得不可思议地真实。
根据高通公司的所有指标,我们很快就会实现这一目标。