麻省理工学院的研究人员推出了第一个开源仿真引擎，该引擎能够为自动驾驶汽车的可部署训练和测试构建逼真的环境。

由于它们已被证明是安全尝试危险驾驶场景的高效测试台，因此超逼真的虚拟世界已被誉为自动驾驶汽车(AV)的最佳驾驶学校。特斯拉(Tesla)、Waymo和其他自动驾驶公司都严重依赖数据来实现昂贵且专有的照片级真实感模拟器，因为测试和收集细微差别的I几乎崩溃的数据通常不是最容易或最理想的重建方式。

VISTA 2.0 开源仿真引擎

VISTA 2.0是一个开源模拟引擎，可以为自动驾驶汽车的训练和测试创造逼真的环境。图片来源：图片由麻省理工学院CSAIL提供

考虑到这一点，麻省理工学院计算机科学与人工智能实验室(CSAIL)的科学家创建了“VISTA 2.0”，这是一个数据驱动的模拟引擎，车辆可以在其中学习在现实世界中驾驶并从近乎崩溃的场景中恢复过来。更重要的是，所有的代码都是开源地向公众发布的。

“今天，只有公司拥有像VISTA 2.0这样的模拟环境类型和功能的软件，而且这个软件是专有的。通过此次发布，研究界将获得一个强大的新工具，用于加速自动驾驶自适应鲁棒控制的研究和开发，“麻省理工学院教授兼CSAIL主任Daniela Rus在一篇关于该研究的论文的资深作者说。

VISTA是一款数据驱动的逼真模拟器，用于自动驾驶。它不仅可以模拟实时视频，还可以模拟LiDAR数据和事件摄像头，还可以结合其他模拟车辆来模拟复杂的驾驶情况。VISTA是开源的，代码可以在下面找到。

VISTA 2.0建立在团队以前的模型VISTA的基础上，与现有的AV模拟器有根本的不同，因为它是数据驱动的。这意味着它是从真实世界的数据构建和逼真的渲染的，从而实现直接传输到现实。虽然最初的迭代仅支持使用一个摄像头传感器跟踪单个车道，但要实现高保真数据驱动的仿真，需要重新思考如何合成不同传感器和行为交互的基础。

进入VISTA 2.0：一个数据驱动的系统，可以大规模模拟复杂的传感器类型和大规模交互式场景和交叉点。使用比以前的模型少得多的数据，该团队能够训练自动驾驶汽车，这些车辆可能比在大量真实世界数据上训练的车辆更强大。

“这是自动驾驶汽车数据驱动仿真能力的巨大飞跃，以及处理更大驾驶复杂性的规模和能力的提高，”CSAIL博士生兼两篇新论文的共同主要作者Alexander Amini与博士生Tsun-Hsuan Wang一起说。“VISTA 2.0展示了模拟传感器数据的能力远远超出了2D RGB摄像头，还有具有数百万个点的极高维3D激光雷达，基于事件的不规则定时摄像头，甚至与其他车辆的交互式和动态场景。

科学家团队能够扩展交互式驾驶任务的复杂性，例如超车，跟随和谈判，包括在高度逼真的环境中的多代理场景。

由于我们的大部分数据(值得庆幸的是)只是普通的日常驾驶，因此为自动驾驶汽车训练AI模型涉及不同种类的边缘情况和奇怪的危险场景的难以保护的素材。从逻辑上讲，我们不能仅仅为了教神经网络如何不撞到其他汽车而撞上其他汽车。

最近，人们已经从更经典的、人类设计的仿真环境转向了那些由真实世界数据构建的环境。后者具有巨大的照片级真实感，但前者可以轻松对虚拟相机和激光雷达进行建模。随着这种范式转变，一个关键问题出现了：自动驾驶汽车所需的所有传感器的丰富性和复杂性，例如激光雷达和更稀疏的基于事件的摄像头，能否准确地合成?

在数据驱动的世界中，激光雷达传感器数据更难解释 - 您实际上是在尝试生成具有数百万个点的全新3D点云，仅从稀疏的世界视图中。为了合成3D激光雷达点云，研究人员使用汽车收集的数据，将其投影到来自激光雷达数据的3D空间中，然后让新的虚拟车辆从原始车辆所在的位置本地行驶。最后，在神经网络的帮助下，他们将所有这些感官信息投射回这个新型虚拟车辆的视野中。

结合基于事件的相机的仿真，这些摄像头以大于每秒数千个事件的速度运行，该模拟器不仅能够模拟这种多模态信息，而且还能够实时地做到这一点。这使得离线训练神经网络成为可能，但也可以在增强现实设置中在汽车上在线测试以进行安全评估。“在这种复杂程度和照片级真实感的多传感器仿真中，在数据驱动仿真领域是否可行，这个问题在很大程度上是一个悬而未决的问题，”Amini说。

这样，驾驶学校就成了一个聚会。在模拟中，您可以四处走动，拥有不同类型的控制器，模拟不同类型的事件，创建交互式场景，然后放入原始数据中甚至没有的全新车辆。他们测试了车道跟踪，车道转弯，汽车跟随以及更多可怕的场景，如静态和动态超车(看到障碍物并四处移动，以免碰撞)。通过多代理，真实代理和模拟代理都可以交互，并且可以将新代理放入场景中并以任何方式进行控制。

将他们的全尺寸汽车带到“野外” - 又名马萨诸塞州的Devens - 该团队看到了结果的即时转移性，既有失败也有成功。他们还能够展示自动驾驶汽车模型中一个博大精悍的神奇词：“坚固”。他们表明，完全在VISTA 2.0中训练的AV在现实世界中非常强大，以至于它们可以处理难以捉摸的挑战性失败。

现在，人类所依赖的一个护栏是人类的情感，这还不能被模拟。这是友好的挥手，点头或眨眼的确认开关，这是团队希望在未来工作中实现的细微差别类型。

“这项研究的核心算法是我们如何获取数据集并建立一个完全合成的学习和自主世界，”Amini说。“我相信有一天，这个平台可以在机器人技术的许多不同轴上扩展。不仅仅是自动驾驶，还有许多依赖于视觉和复杂行为的领域。我们很高兴发布VISTA 2.0，以帮助社区收集自己的数据集并将其转换为虚拟世界，在那里他们可以直接模拟自己的虚拟自动驾驶汽车，在这些虚拟地形周围行驶，在这些世界中训练自动驾驶汽车，然后可以直接将它们转移到全尺寸，真正的自动驾驶汽车上。

参考：“VISTA 2.0：用于自动驾驶汽车多模态传感和政策学习的开放，数据驱动的模拟器”，作者：Alexander Amini，Tsun-Hsuan Wang，Igor Gilitschenski，Wilko Schwarting，Zhijian Liu，Song Han，Sertac Karaman和Daniela Rus，2021年11月23日，计算机科学>机器人。

arXiv：2111.12083

Amini和Wang与麻省理工学院CSAIL博士生Zhijian Liu一起撰写了这篇论文;Igor Gilitschenski，多伦多大学计算机科学助理教授;Wilko Schwarting，AI研究科学家和麻省理工学院CSAIL博士'20;宋涵，麻省理工学院电气工程与计算机科学系副教授;Sertac Karaman，麻省理工学院航空航天学副教授;和Daniela Rus，麻省理工学院教授和CSAIL主任。研究人员在费城举行的IEEE国际机器人与自动化会议(ICRA)上介绍了这项工作。

这项工作得到了国家科学基金会和丰田研究所的支持。该团队感谢 NVIDIA 对 Drive AGX Pegasus 捐赠的支持。