英伟达开发全新AI技能无需练习直接将2D画面转成3D

本文由腾讯数码独家发布

依据国外新闻媒体报道，英伟达公司最近开发出了一种全新的人工智能体系DIB-R，可以在不需求承受任何3D数据练习的情况下猜测出2D图画所具有的3D特性。据悉，这项研讨效果将在神经信息处理体系年会上正式宣布，在会上整个学术界和工业界的研讨人员将共享各种最前沿的机器学习技能最新效果。该大会本年已经是第33届。据悉，本次NIPS大会将于本周在加拿大温哥华举行，到时会有超越13000名与会者参与，而NeurIPS则是本年最大的人工智能研讨会议。这项作业是由来自多伦多大学向量研讨所、英伟达研讨中心和阿尔托大学的研讨人员联合进行，并且在主题为《学习运用依据插值的可微烘托器猜测3D物体》论文中有具体的介绍。其经过AI来获取2D信息，并将之精确地转化为3D方针。

下一步，英伟达公司的人工智能总监和论文合著者Sanja Fidler在承受电话采访时表明，未来英伟达公司可能会测验将可微分烘托结构(DIB-R)扩展到更杂乱的使命中，比方为多个方针或整个场景烘托3D模型，一起这样的作业可以被运用于游戏、增强实际、虚拟实际、机器人或方针盯梢体系等范畴。

“幻想一下，当咱们拍照一张相片之后，就可以主动切换成3D模型，这就从另一方面代表着咱们现在可以从各种不同的视点赏识自己拍下的场景。咱们还可以进入它的内部，从不同的视点调查它。还可以将之前的老相片进行3D转化，变成真实的3D场景，就像咱们其时真的在它的身边相同。”她表明。

DIB-R的全称是“依据可微分插值核算的烘托器”，底层由PyTorch机器学习结构构建。在本周于温哥华举行的年度神经信息处理体系会议上，英伟达研讨团队介绍了他们的最新进展。

该结构的作业原理，简直是与GPU的日常作业反过来干。它需求剖析2D图画，然后构成一个高保真的3D方针，包括形状、纹路、色彩和照明。编解码器的体系结构，会从多变球形开端，并运用2D图画中给定的信息，对其进行变形处理。值得一提的是，该流程仅需1/10秒。若运用单个英伟达V100 GPU进行练习，需求对神经网络打开为期2天的练习。若运用其它GPU进行练习，更需求消耗数周的时刻。

之前业界在3D模型中已经有了一些深度学习技能的运用，比方Facebook的人工智能研讨和谷歌DeepMind也成功研发了2D转3D的人工智能体系，但英伟达的DIB-R则是第一个神经体系或深度学习架构,可以对2D图画进行3D化猜测，尤其是针对几个要害然后猜测几个要害的三维特性，比方形状、3D几许数据以及方针的色彩和质地等。。

“尽管之前已经有许多相似的研讨，但没有哪个能真实猜测所有这些要害特点。它们不是专心于猜测几许形状，便是猜测色彩，而不是将形状、色彩、纹路和光线等多方面要素进行归纳。而这次咱们真的完结了这一方针，不只是是完结猜测，而是对场景中的物体有了更完好的了解。”她说道。

NeurIPS还有别的一项相关的作业是经过依据人们的声响来猜测方针的形状。

“我以为这是一个十分风趣的范畴，”Fidler表明。“咱们没有在这篇论文中处理这样的一个问题，但就深度学习技能而言，这是另一个比较风趣的输入信号源，并且可以供给给神经结构，完结更好的3D信息。现在来看，这项技能的研讨方向是比较正确的。”

在对其投喂了包括鸟类图片的多个数据集之后，DIB-R可以在给出单个图画时，精确地创立3D模型。

不过论文合著者Jun Gao表明，该体系还可将任何2D图画烘托为3D模型：“实际上，这是有史以来的第一次，您简直可以拍照任何2D图画，并猜测相关的3D特点”。

研讨人员以为，该体系可用于自主式机器人的深度感知运用，然后增强其在实际环境中作业时的安全性和精确性。经过这样的三维化处理，机器人可以更好地导航、以及操作其需求处理的方针。

DIB-R是在本年早些时候英伟达发布Kaolin之后发布的新技能。Kaolin是英伟达的3D深度学习库技能，借助于这个库，只需几步即可将3D模型迁移至神经网络的运用范畴。此外，Kaolin库还可以大幅度的下降为深度学习准备 3D 模型的作业量，代码可由300行锐减到只是5行。

作为一个旨在加快3D深度学习研讨的PyTorch库，Kaolin为用于深度学习体系中的可微 3D 模块供给了高效的完结。Kaolin不只可以加载和预处理盛行的3D数据集，并且具有操作网格、点云、符号间隔函数和体素栅格的本地功用，因此可以大大削减编写不必要的样本代码。

Kaolin 库包括烘托、高光、阴影和视图组成等几种不同的图形模块。此外，Kaolin 库还支撑一系列用于无缝联接点评的丢失函数和点评衡量，并供给可视化功用来烘托3D效果。重要的是，英伟达创立了包括许多当时最优3D深度学习架构的 model zoo，然后作为未来研讨的起点。

此类东西可以使得机器人、无人驾驶、医学成像和虚拟实际等许多范畴的研讨者获益。跟着时下人们对 3D 模型的爱好日益高涨，英伟达的 Kaolin 库可以在该范畴发生严重影响。在线存储库（repo）现已具有许多 3D 数据集，这在某些特定的程度上得益于世界各地所运用的、可以捕获 3D 图画的约 3000 万个深度摄像头。

据悉，英伟达将在NeurIPS大会上宣布合计五篇论文，并将在今日参与一些安排的联合主题研讨会，比方人工智能中的Queer、Latinx、Black以及极端学习中的女人效果等。