自动驾驶如何应对大模型的幻觉问题的？

[HarrisIce]

关注到最近车企都在推端到端的自动驾驶大模型了，但是目前的大模型不都是生成式的么，车企如何解决大模型的幻觉问题的？在道路上的大模型，一旦输出错误的结果，就非常危险了，车企如何应对这些问题的？

我现在推测可能是预训练的小参数量、多模态模型，在端侧 orinx 推理后，再由传统的 rule-base 的模型做一层验证 or 过滤？可能以前的 rule 是道路规则，现在的 rule 可能是违规规则，以实现对大模型输出的危险的结果的过滤？

有行业内的朋友科普一下吗

[murmur]

没解决幻觉问题啊，前几天哪家的车不是把广告牌上的汽车识别成障碍物然后刹停了

[MillaMaxwell]

应该是会一直迭代训练更新的吧
说起来，以前上班路上有一个路口，旁边是小山坡，每次路过的时候地图上都会识别出一个人在那站着（实际上那块是空气），差不多过了一个月，更新了一次系统之后就再没识别出来人了

[lDqe4OE6iOEUQNM7]

规则加端到端，不是完全端到端

[lDqe4OE6iOEUQNM7]

现在就特斯拉端到端实际落地了，其他家全部还是高清地图加不停地几十万行规则代码实现的，ads3.0,小鹏理想后面也会发端到端的

[lDqe4OE6iOEUQNM7]

没看到国内的都是不完全端到端的，你要相信你所想到的问题工程师早就想到了

[cheng6563]

为啥非要用大语言模型呢，让他读取交规更新吗...

[LandCruiser]

特斯拉是 30 帧的图片输入给 AI ，AI 生成了什么？好像什么都没生成啊，你意思特斯拉的模型生成了指令？

[cbythe434]

不可能解决，这么大的产业，不会考虑个体问题
百公里事故率<平均事故率就能强推，哪些人作为分子就交给系统吧

[sujin190]

大模型不是只有生成式这一种好吧，好像也没有人说自动驾驶的大模型和 gpt 是同一种好吧，再说自动驾驶每秒需要读取传感器很多次输出很多次结果，单次识别异常并不会造成致命结果

而且更重要的是高层级的大模型输出会受到低层级的传感器直接限制，比如就算大模型识别异常发出撞上去指令，但是雷达距离这种直接的物理规则可以非常直接的限制该指令无效啊

[sujin190]

好比就算是人也有脑子锈逗作死的时候，但是你的条件反射会直接纠正你的作死，自动驾驶也是同理，高层级大模型智能和低层里传感器条件反射防作死