英伟达的眼球追踪技术将变革虚拟现实设备

发表于 讨论求助 2023-04-30 06:28:00

CR10色差仪

北京时间7月22日午间消息,如果你看着墙上的挂钟,那么你的目光所及就是焦点,而钟的周围将会模糊。这就是人类大脑描绘周围环境的方式。

英伟达计划在虚拟现实中应用同样的技术。这将有助于优化虚拟世界的现实感。通过增强某个小区域的图形渲染性能,图像显示效果将会有大幅提升。

早在15世纪,达芬奇最先注意到这一现象,即“黄斑视觉”。过去9个月,大卫·卢克(David Luebke)和英伟达的其他4名研究员试图在虚拟现实环境中模拟这种现象:对用户视线焦点的区域,设备将会进行全面渲染,而焦外区域的分辨率将会降低。

当英伟达设备的用户专注于画面的某个小区域时,眼球追踪软件将会不断调整渲染焦点。为了以90FPS,即最低可接受的帧率充分渲染某一画面,400万像素的画面必须每秒渲染接近100次。但如果只专注于渲染用户的视线聚焦处,那么计算任务将被大大减轻。卢克表示:“性能的提升很明显,无法忽略。”

这一原则在虚拟现实研究中并不新鲜。卢克表示:“在虚拟现实研究中,这并不新鲜。实际上,通过Kickstarter展开众筹的Fove就采用了类似的系统。”卢克在这一领域的研究已有15年。最初,他是佛吉尼亚大学的一名教授,而目前则供职于英伟达。

在很长时间里,眼球追踪技术的速度跟不上人眼运动的速度,这导致画面显示总是存在时延,令用户感到不适。不过,来自SensoMotoric Instruments的最新眼球追踪虚拟现实显示屏已可以以250Hz的帧率实现准确、低时延的眼球追踪。卢克表示:“第一次,我们的眼球追踪设备能跟上你眼睛的运动速度。”

即使已掌握这样的技术,英伟达的团队仍需要花很多时间去准确计算,可以将焦外画面的分辨率降低至什么样的水平,避免被观众注意到。卢克表示:“焦外视觉很容易察觉到闪烁。人眼的这种机能帮助我们发现森林中的老虎。”

因此,在降低分辨率的过程中,任何闪烁都将带来干扰。类似地,如果焦外画面过于模糊,那么将会产生隧道视觉效应,观众会感觉通过双筒望远镜看画面。卢克指出:“即使无法触摸,你也可以发现有东西出了问题。”

为了解决这一问题,英伟达的研究员发现,如果增加焦外画面的对比度,同时降低分辨率,那么人眼将可以被骗过。

尽管英伟达还没有在任何产品中应用这一技术,但在向许多虚拟现实公司提供软硬件的过程中,该公司希望,这项发现能推动主流虚拟现实设备厂商将眼球追踪技术加入到产品中。卢克表示:“我们所做工作的一部分在于,协助定义虚拟现实发展道路的规则。”

这项技术不太可能出现在除虚拟现实以外的其他科技产品,例如笔记本电脑中,因为对于距离人脸较远的设备,眼球追踪技术的效果不是很好。虚拟现实设备距离人脸只有几厘米,因此适用于这项技术。该技术很可能会影响英伟达未来的显卡产品。这意味着,开发者可以选择优先处理某些像素,从而重新定义图像渲染算法。

发表
26906人 签到看排名