《自动驾驶汽车的“清算”危机：LLM技术能扭转局面吗？》

加入轩辕之学 成就新汽车人

撰文 / 马晓蕾

编辑 / 张    南

来源 / Techcrunch，作者：Kyle Wiggers

说自动驾驶汽车正在被 ” 清算 “，这一点都不夸张。

在10月底，加利福尼亚州车管局（DMV）对通用自动驾驶子公司的Robotaxi运营许可进行了暂停。这场意外事故的起因是自动驾驶汽车中的一辆卷入了行人的底部，然而这仅仅是一个表面现象，其背后则是公众和监管机构对频繁发生的事故已经失去了对自动驾驶技术的信任。

不久之前，Cruise公司决定召回其自动驾驶汽车车队进行调整。与此同时，旧金山的市民纷纷走上街头，表达对这项新技术试验的担忧，认为该市已经成为实验场。

一家初创公司近期宣称，其掌握了使自动驾驶更加安全的核心技术，并坚信这一突破性技术将改变反对者对自动驾驶的观念。

一家专注于为汽车制造商合作伙伴开发自动驾驶软件的公司名为 Ghost Autonomy，近日该公司公布将启动对多模态大型语言模型（LLM）在自动驾驶领域应用的研究。这种人工智能模型具备处理文本以及图像信息的能力，是当前最热门的人工智能助手 ChatGPT 的典型应用之一。

这个领域已经吸引了许多企业和创业者的关注。为了将 LLM 应用于自动驾驶领域，Ghost 和 ChatGPT 的制造商 OpenAI 选择了与它有密切合作关系的企业 Microsoft Azure 进行合作，借助 OpenAI 的初创企业基金，他们获得了早期访问 OpenAI 系统和 Microsoft Azure 资源的机会。除此之外，他们还获得了 500 万美元的 investment。

Ghost 联合创始人和首席执行官约翰·海耶斯（John Hayes）向媒体透露：“LLM 为我们提供了一种新途径来解析那些难以理解的场景，从而增强了模型的推理能力。然而，目前我们的模型在这方面仍有待改进。”随着 LLM 技术的不断提升，其在自动驾驶领域应用的分析案例将会日益增多，其速度的提升和能力的增强将使 LLM 在这个领域的应用范围更加广泛。

Ghost是一个专注于图像和生成文本的人工智能模型。那么，它是如何将其应用于控制自动驾驶汽车的？据海耶斯透露，Ghost目前正测试一款软件，该软件依赖多模态模型，以实现更复杂的场景解释。通过分析车载摄像头捕获的路面场景图片，该软件可以向汽车控制硬件提供道路决策建议，例如建议汽车行驶至右侧车道。

海耶斯表示：“在我们的项目中，我们将致力于对现有模型进行精细调整，同时构建我们自己的模型，以期在最程度上提升模型的可靠性和道路性能。举例来说，对于较为简单的模型而言，它们可能在应对施工区的复杂路况时显得力不从心，诸如临时车道、手持标志牌的交通协管员不断变动，以及与其他道路用户的复杂互动。然而，实践证明，我们的 LLM 技术具备类似于人类的推理能力，能够有效地处理这些繁复的变量。”

不过，专家对此持怀疑态度。

华盛顿大学专注于法律和数据伦理研究的博士生凯斯（Os Keyes）向媒体表示：”Ghost 只是把 LLM 作为营销流行语。事实上，你把这个宣传语换成区块链，并把它发回 2016 年同样说得通，显然这是一个骗局。”

凯斯认为，LLM 根本就不是自动驾驶的工具。他断言，LLM 并不是为此目的而设计或训练的。

伦敦国王学院高级讲师迈克 · 库克（Mike Cook）的研究重点是计算创造力，他同意凯耶斯的总体评价。他指出，多模态模型本身远没有搞清楚，OpenAI 的旗舰模型会凭空捏造事实并犯下人类不会犯的基本错误，比如错误地复制文本和弄错颜色。

库克说：” 我不相信计算机科学领域有什么灵丹妙药。我们根本没有理由让 LLM 处理像驾驶汽车这样危险而复杂的事情。世界各地的研究人员已经在努力寻找方法来验证 LLM 在写作文等相当普通的任务中的安全性，而将这种不可预测且不稳定的技术应用于自动驾驶，往好了说是不成熟，往坏了说是被误导。”

但是，海耶斯和 OpenAI 不会被劝退。

在一份新闻稿中，OpenAI 的首席运营官兼 OpenAI 初创基金经理 Brad Lightcap 说，多模态模型有可能将 LLM 的适用性扩展到许多新的用例，包括自动驾驶和汽车。他补充道：” 多模态模型能够通过结合视频、图像和声音来理解和得出结论，可能会创造出一种新的方式来理解场景，并在复杂或不寻常的环境中进行导航。”

至于海耶斯，他认为 LLM 可以让自动驾驶系统从整体上推理驾驶场景，并利用广泛的世界知识来驾驭复杂和不寻常的情况，甚至是它们以前从未见过的情况。他声称，Ghost 正在通过车队积极测试多模态模型驾驶决策，并与汽车制造商合作，共同验证并将新的大模型集成到 Ghost 的自动驾驶堆栈中。

海耶斯说：” 毫无疑问，目前的模型还不能完全用于汽车的商业用途。要提高它们的可靠性和性能，还有很多工作要做。但这正是特定应用公司在这些通用模型上进行研发的市场所在。像我们这样拥有大量训练数据和对应用有深刻理解的公司将极大地改进现有的通用模型。模型本身也将得到改进。最终，自动驾驶将需要一个完整的系统来提供安全性，其中包含许多不同的模型类型和功能。多模态模型只是帮助实现这一目标的工具之一。”

这是对一项未经验证的技术许下的承诺。Ghost 能做到吗？像 Cruise 和 Waymo 这样资金雄厚、资源充足的公司在测试自动驾驶汽车多年后仍遭遇滑铁卢，谁敢对此下定论？

点击阅读原文

▼