Waymo推出了一种名为“端到端多模态自动驾驶模型”（EMMA）的新模型，该模型基于谷歌的多模态大语言模型“Gemini”，旨在提高自动驾驶车辆在复杂环境中的决策能力。这一创新标志着MLLM技术在自动驾驶领域的应用，并可能为该行业带来突破。然而，EMMA仍存在局限性，例如无法处理3D传感器输入和可能存在的“幻觉”问题，因此仍需进一步研究以保障安全。
Waymo EMMA：多模态自动驾驶新突破与挑战
随着科技的发展，自动驾驶技术已经成为汽车工业和人工智能领域的热门话题。作为自动驾驶领域的领军企业，Waymo近期推出了一种名为“端到端多模态自动驾驶模型”（EMMA）的新技术，旨在推动自动驾驶技术的进一步发展。本文将深入探讨Waymo EMMA的多模态自动驾驶新突破及其面临的挑战。
一、Waymo EMMA：多模态自动驾驶新突破
1. 基于谷歌多模态大语言模型（MLLM）“Gemini”
Waymo的EMMA模型基于谷歌的多模态大语言模型“Gemini”开发，这意味着MLLM技术将被应用于自动驾驶领域。Gemini模型经过大量互联网数据训练，能够提供丰富的“世界知识”，并具备卓越的推理能力。
2. 解决传统自动驾驶系统的问题
传统的自动驾驶系统通常为感知、映射、预测和规划等功能开发特定的“模块”，但这种方式存在可扩展性问题和适应能力较差的问题。Waymo认为，Gemini模型可以解决这些问题，提高自动驾驶系统的适应性和准确性。
3. 应对复杂环境
Waymo表示，EMMA模型在帮助机器人出租车应对复杂环境方面表现良好。例如，在遇到动物或道路施工时，EMMA能够帮助无人驾驶汽车找到合适的行驶路线。
二、Waymo EMMA面临的挑战
1. 无法整合3D传感器输入
Waymo承认，EMMA模型无法整合来自激光雷达或雷达的3D传感器输入，这主要是由于计算开销太高，且一次只能处理少量图像帧。
2. MLLM存在“幻觉”风险
研究论文中未提及的另一个风险是，像Gemini这样的MLLM会存在“幻觉”，而无人驾驶汽车的容错率非常有限。因此，在这些模型能够大规模部署之前，还需要进行更多研究。
Waymo的EMMA模型在多模态自动驾驶领域取得了新的突破，但同时也面临着一些挑战。随着技术的不断发展，相信Waymo能够克服这些挑战，为自动驾驶技术带来更多可能性。而对于整个自动驾驶行业来说，Waymo EMMA的成功也将为其他企业提供宝贵的经验和启示。
