广告位
首页 快讯 零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

感知模块作为智能驾驶模块之一,是将物理世界与车机大脑相连接的重要一环。如何让汽车像人类一样,将“眼前所看”转化为“脑中所想”,进一步变成“所作所为”,这对于算法模型有很大的考验,B…

感知模块作为智能驾驶模块之一,是将物理世界与车机大脑相连接的重要一环。如何让汽车像人类一样,将“眼前所看”转化为“脑中所想”,进一步变成“所作所为”,这对于算法模型有很大的考验,BEV(Birds Eye View)感知算法能够更好地融合多传感器的特征,提高感知和预测的准确率,成为当下智能驾驶解决方案的热门选择。零束科技凭借自主研发的BEV感知架构,设计基于Transformer技术的多任务模型训练和全感知链路,在有限计算资源下成功实现了动态静态障碍物感知、车道线感知、Freespace 、动态障碍物轨迹预测等多任务模型训练;同时,通过外参增强、BEV平面增强和多模态向量引导训练等技术,支持各极端场景泛化域的感知输出,在各种复杂场景下表现出高精度的感知结果;基于强大的数据训练平台和模型快速迭代能力,实现智能驾驶全场景精准感知与预测,为客户提供快速量产落地的智能驾驶解决方案。

基于Transformer技术的全场景精准感知BEV架构

零束科技BEV感知架构采用了部分共享网络和多任务检测网络结构,融合 6V图像融合网络、时空融合网络、BEV感知网络和多任务检测网络的设计思想,不仅实现了核心功能如障碍物检测、车道线检测等,而且通过BEV occupancy网络增强freespace感知,提升了对通用障碍物的感知精度。基于transformer技术建模agent与环境 ,输出agent未来轨迹长度明显超越传统rule-based方法。

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

BEV障碍物检测

采用多相机联合方案,将所有相机的图像输入到一个神经网络中,生成全局BEV视角特征图,减少额外的跨相机障碍物重识别步骤。

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

BEV车道线检测

基于GCN的道路拓扑预测网络架构设计,显著提升了车道线感知精度,可支持全场景 Mapless 。

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

BEV基于Transformer的轨迹预测

结合Transformer,设计车道线感知和动态障碍物的轨迹预测,显著提升了智能驾驶系统的感知能力和可靠性。

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

支持各极端场景泛化域的感知输出,精准提供感知结果

智能驾驶系统的可靠性在各种复杂的道路、气象条件和交通状况下至关重要。为解决不同车型传感器外参带来的感知输出偏移问题,零束科技采用了外参增强技术和BEV平面增强技术,准确适配各类极端和非常规场景挑战,增强智驾系统在各种复杂场景中的高鲁棒性和适应性,从而降低事故风险。此外,为进一步提升模型在极端环境下的输出精度,引入多模态向量引导训练技术,通过对不同模态数据的引导,使模型能够在各种复杂和极端情况下提供更准确感知结果,包括黑夜、雨天、雪天、雾霾等恶劣场景,以及密集车流中出穿梭的行人和非机动车(包括身穿雨衣的行人和非机动车)。

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

 BEV平面增强技术

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

黑夜场景

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

雨天场景

强大的数据训练平台和模型快速迭代能力

训练数据方面,零束科技采用了三个来源的数据作为车端模型的训练基础,包括数采自动标注和人工标注、仿真数据和长尾数据。通过引入大模型技术,生成各种类型的仿真数据和Corner Case数据,其中涵盖了黑夜、雨天、特殊装桶、特殊路牌、特殊红绿灯、车道线、交通路面标志、机动车、行人等各种场景和目标。在不同光照环境、遮挡环境和姿态下,实现了完整的合成链路和数据标注链路,成功克服了长尾场景的数据补充难题,确保车端模型的有效迭代 。

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

未利用黑夜生成数据训练,车辆漏检

零束科技基于BEV感知架构+Transformer技术赋能智驾全场景精准感知与预测

利用黑夜生成数据训练,车辆成功检出

模型迭代方面,引入互联网的敏捷开发流程和门径式管理,形成了零束科技自己独特的视觉感知管理体系。迭代速度达到了每月一个大版本,每周一个小版本,已实现了自动上下匝道、大曲率匝道无接管、自动变道超车等功能落地,为零束科技打造高性价比的感知和预测算法产品。

目前,零束科技已完成BEV架构的前融合网络构建,并积极拓展多模态的前融合架构,未来,零束科技将结合预测和规划,形成完备结构的端到端自动驾驶框架,不断扩展智驾场景“边界”,持续为用户带来新价值。

本文来自网络,不代表电动汽车车讯网立场。转载请注明出处: https://www.evcx.cn/2030/
上一篇
下一篇

为您推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

返回顶部