黑芝麻智能端到端算法参考模型公布 一文了解技术亮点 (黑芝麻智能端app)
最近一两年，“端到端”是自动驾驶领域最热门的话题，不管是整车企业还是自动驾驶公司，开发布会几乎言必提“端到端”，整个行业进一步拥抱AI技术。
自动驾驶系统是一个软、硬件高度耦合的系统，当软件算法跨入端到端的时代，如何在不同算力的芯片都能够发挥出足够好的性能？
作为智能汽车计算芯片的引领者，黑芝麻智能从成立之初就意识到了软硬一体的重要性，在开发芯片的同时也组建团队对智驾算法进行研究，保证产品能够满足当下和未来数年的算法发展需求。
黑芝麻智能计划推出支持华山及武当系列芯片的端到端算法参考方案。该方案采用ONE Model架构，并在决策规划单元引入了VLM视觉语言大模型和PRR行车规则的概率化表征子模块，进一步提升了智驾系统的决策规划能力。
该方案分为标准版和高阶版两个版本。前者在单颗武当C1200家族中算力平台上即可部署，而后则可在即将推出的华山A2000家族中发挥全部实力。
一、采用One Model架构 最大化信息传递
现阶段量产的端到端系统，相当一部分采用了分段式架构，即将端到端系统分成几个不同的模块级联而成。虽然这些模块也使用AI模型进行工作，但各模块之间仍存在人为定义的接口来传输数据，这就必然导致有一定的信息损失，加上不同模块经常采用独立训练的模式，其效果并非全局最优。
黑芝麻智能的端到端智驾系统，一步到位采用了One Model的架构。一端可输入摄像头、激光雷达、4D毫米波雷达、导航地图等信息，另一端直接输出驾驶决策所需要的信息，即本车的预期轨迹。
具体到模型内部，其可以分为BEV编码器和决策（轨迹预测）两个神经网络单元。
BEV编码的工作过程中，车外摄像头或 激光雷达、4D 毫米波雷达等各类传感器的数据进入 ResNet 和 FPN 等主干网络，提取并融合多层特征，生成多尺度特征金字塔。经过几何变换，特征图对齐成俯视视角（BEV），实现统一的空间表示。
随后，系统通过多尺度时序聚合将当前与历史 BEV特征融合，减少噪声干扰，增强动态物体感知精度和系统鲁棒性，最终生成特征图（Feature Maps）传递至决策单元，用于生成车辆的预期行驶轨迹。
BEV和决策两个神经网络单元之间传递的是特征图(Feature Maps)。由于这些基础特征图没有人为定义的接口和处理过程，所以信息可以更为原始和完整地传递，以便于网络进行优化和决策。
与此同时，用Feature Maps将两个单元进行连接，还可以以back-propagation反向传播的方式——即通过计算最终输出的轨迹与实际目标之间的误差，然后将该误差反向传播到决策和BEV单元——来进行两个神经网络单元的联合训练和参数调优。
通过前面的分析可以看出，黑芝麻智能的One Model架构既解决了多模块之间可能存在的信息传递损耗问题，又实现了感知和决策单元的联合训练，实际效果会更佳优秀。
二、决策单元引入多源输入 提升轨迹预测准确性
在此基础之上，黑芝麻智能团队还更进一步，通过引入VLM（视觉语言大模型）和规则的概率化表征（Probabilistic Representation of Rules，以下简称 PRR）两个模块，来进一步提升端到端系统决策的准确性和灵活性。
VLM 模型基于开源 VLM 模型改进而来，该模型可同时接收图像和语言输入信息（比如用户的导航指令），然后通过 Transformer 结构中的交叉注意力机制将视觉和语言两种模态的信息相互关联，从而让模型更深层地理解当前的场景，并以符号特征的形式，将对于场景的理解输入到决策单元中。
例如，当系统识别到行人在斑马线上移动的视觉信息，VLM 可以通过语言规则的匹配，理解这个场景是“行人在过马路”，并且知道此时应该停车或者减速——将这种信息传递给轨迹预测模块，显然能够帮助其做出更加正确的驾驶决策。
除了有 VLM 子模块的帮助，决策单元还有行车规则的概率化表征模块（PRR）提供信息。
规则的概率化表征模块
该模块用于将人类的驾驶常识和交通规则转化为自动驾驶系统可理解的概率分布，再通过概率化轨迹采样生成符合交通规则的候选轨迹，并为每个选项赋予相应的概率权重。例如，在交叉路口，系统可以生成“等待”“缓慢通过”等符合规则的选项，并赋予相应的优先级。
此外，该模块还包含规则的语言描述部分，将交通规则和驾驶指令编码为语义特征，使其能够被决策模块理解和应用。例如，红灯停车或右转让行的规则会生成特定语义向量。
PRR输出的两种信息均会进入到决策单元，与BEV单元输出的特征图、VLM输出的场景理解特征互相融合，最终生成一条最佳的目标行驶轨迹。
最后补充一点，VLM和PRR模块本质上是端到端系统的增强型“外挂”，它们额外引入了类人的对于场景的综合理解能力，以及常识和交规的语义表征，从而在扩展轨迹决策能力的同时维持了端到端系统的整体工作原理， 其本质上相当于一个功能增强了的One Model架构。
三、用扩散模型生成轨迹，应对不同环境
介绍完各个单元和模块后，我们再来重点看一下这套端到端系统的核心——决策部分，到底是如何进行轨迹预测的。
这里主要使用了扩散模型这种生成式模型。工作时，系统会首先生成多个可能的候选轨迹，然后通过逐层多次去噪筛选出最优轨迹。例如，在行驶过程中，如果系统预测到前方车辆可能变道，扩散模型会生成多个候选路径，并在去噪过程中逐步排除高风险的路径，确保最终选择一条安全的行驶路径。
基于扩散模型的轨迹预测模块
这种轨迹生成方法具备多种优势。首先，扩散模型采用逐步迭代的去噪过程，每一步都对预测进行细化，从而逐渐优化输出。相比于传统一次性生成结果的模型，扩散模型能够更精细地控制输出，使轨迹预测更加平滑和自然。这一特性尤其适用于动态环境中的轨迹预测，确保模型在复杂场景中生成的路径符合实际行驶需求。
其次，扩散模型的核心设计是去噪。这使其在面对噪声数据或带有随机扰动的输入时，依然能够稳定地生成合理的轨迹，让系统在应对复杂环境时具备更强的鲁棒性。
最后，该模型在处理长尾场景时表现出色，比如极端天气、异形障碍物、突然横穿的行人等，增加了智驾系统的泛化能力。
四、C1200可快速部署，A2000将大显身手
黑芝麻智能的端到端参考方案，以其创新的One Model架构和多模块协同设计，成功解决了传统分段式端到端系统中信息损耗、训练分离等核心问题。在决策单元引入VLM和PRR模块后，这套方案进一步提升了决策能力，无论在场景理解、轨迹规划，还是动态环境适应方面，都达到了新的高度。这种设计不仅提升了端到端系统的整体性能，也为行业开创了更智能、更高效的技术路径。
当然，再先进的算法也离不开芯片的支持。黑芝麻智能在设计端到端参考方案的同时，充分考虑了软硬件结合的实际需求，使其方案可以灵活适配不同性能的芯片平台。
不含 VLM 和 PRR 模块的标准版方案，可在黑芝麻智能现有的武当 C1200家族芯片上高效部署，满足车企和Tier1等合作伙伴基于算法的参考方案快速适配硬件并开发量产端到端系统的需求；而随着未来黑芝麻智能华山A2000家族芯片的推出，则可以用超高算力支持包括VLM和PRR模块的高阶版端到端系统的部署，为终端客户提供更高性能的智驾体验，并为L3和L4级自动驾驶做好准备。
未来，随着端到端架构的不断完善和芯片技术的迭代提升，黑芝麻智能将继续引领行业发展，为中国智能汽车产业的加速崛起贡献更多智慧与力量。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/3709a21263fa0d35ad27.html
招商银行信用卡中心，提供在线免费办理申请信用卡业务，满足网上办理信用卡的用户需求，避免他人代办信用卡带来的风险。现在办理招商银行信用卡可享受诸多生活特权，如低价电影票、美食五折优惠、分期购车0手续费、分期购物0手续费等，申请信用卡首选招行信用卡官方网站。
中钢网是钢材价格信息门户网站，包括钢材价格，钢材网价，钢铁新闻，今日钢材价格行情，钢材价格行情走势图，钢厂调价，钢材期货，钢材市场等信息，为涉钢企业提供专业及时的钢材价格资讯信息和钢铁现货交易电子商务服务，成为众多远期钢材买卖合同结算所依据的网价平台。中钢网网价，公开公平公正！
武汉市浅清环保科技有限公司是一家生产武汉化粪池,武汉玻璃钢化粪池,模压玻璃钢化粪池的武汉化粪池厂家,提供专业的湖北武汉玻璃钢化粪池施工方案,价格实惠,质量有保障.
西安商情网
福安新闻网是由福安市委宣传部主办，系宁德市四家重点网站之一。
叉车，又称叉式起重机，是一种用于搬运、装卸货物的机械设备。它主要由车架、起升升降装置、叉臂、液压系统等组成。叉车通过叉臂将货物抬起并悬挂在一定高度，使操作人员可以方便地将货物搬运至指定位置。叉车广泛应用于仓储、物流、生产线等领域，能够提高货物搬运效率，减轻劳动强度，是现代物流运输中不可或缺的重要设备。
云旅网是综合性文档网站,覆盖面广内容包括范文、作文写作、演讲稿、包括办公文档,职业范文,考试学习资料分享,工作计划,演讲稿,旅游方案下载等,ljzpw.com为用户提供优质的文档下载及知识服务!
FVFK官方网站-首页
硅云，全球领先的出海IaaS云计算基础设施服务提供商，为数百万中小微企业和开发者降低全球化上云成本，提供香港云服务器、云虚拟主机、域名注册、免备案海外服务器、外贸网站服务器、VPS空间租用等产品和服务。
家乡通，是城市联盟旗下生活信息门户品牌，为家乡网友提供招聘求职、买房租房、闲置二手、相亲交友、黄页114、同城优惠、热门活动等家乡互联网生活信息服务，关注本地人、身边事，让家乡更美好。
北方亚事资产评估有限责任公司
会计网-练习网是国内大型的会计远程教育网站，常年从事会计职称考试培训,管理会计师,初级会计职称,中级会计职称,注册会计师,注册税务师,注册资产评估师,高级会计师,经济师,初级会计职称,中级会计职称,注册会计师,注册税务师,高级会计师,经济师,会计考试辅导
家长们最担心自己的孩子以后无法融入社会、融入群体，这其实是个大麻烦，因为人毕竟是群体动物，这一点是一定要去提前学会的，因此可以来看看让小朋友学会分享的游戏哪些的内容，如此一来宝宝们能够从小知道他人的重要性，不至于以后总会只以自我为中心，所以家长们就赶快来了解一下吧，1、，快乐五子棋，之所以给大家说这款，快乐五子棋，手游能够学会分享，也...。
驾车在道路上驰骋是许多人的梦想，尽管有时不能在现实中做到，但仍可以在游戏中实现，那么类似公交车模拟游戏2022呢?今天小编就来为大家带来汽车驾驶模拟手游推荐，感兴趣的话就一起看下去吧，1、，超级驾驶，超级驾驶，是一款模拟经营游戏，玩家在游戏中可以成立一家属于自己的公交公司，通过自己的运营来让它成为世上最大的公交公司，游戏中有精美的画...。
随着微信上，跳一跳，的大火，H5小游戏的无穷潜力再次受到了业内的重视，同作为社交软件的QQ继微信之后，也上线测试了一个新功能，玩一玩，手机QQ发于近日开启了，玩一玩，的灰度内测，用户点击动态，即可在列表中看到，玩一玩，，位置在，游戏，的下方，进入，玩一玩，页面后，即可选择小游戏，点击，PLAY，即可开始游戏，还能查看、发出弹幕，目...。
Adobe官方宣布，4月9日起，AdobeShockwave将正式终结，退出历史舞台，Windows版本的ShockwavePlayer也不再提供官方下载，Shockwave是一个基于浏览器的多媒体平台，主要用于交互应用、视频游戏等，最初诞生于1995年，2005年随着Macromedia公司被收购而进入Adobe大家庭，但近年来使用...。
近几年市面上的各种鸭脖店都开始涌现出来，很多人都喜欢吃鸭脖，尤其是对于年轻人来说，眼下进入到夏天，鸭脖更是人们的下酒好菜，鸭脖的营收也就更高了，烤鸭脖是什么呢，烤鸭脖是什么呢，烤鸭脖就是精选上等鸭脖，72种中药材文火熬煮，浓缩古今医学秘典，将传统中药材转更换口味，形成具有个性化时代追求风味小吃，使用天然枣、桃、杏等质地坚硬的果木为燃料...。
6月14，16日，2023工业互联网大会在苏州太湖国际会议中心召开，来自政府、企业、高校、科研院所、行业组织等工业互联网领域领军代表，共商我国工业互联网高质量发展的未来，连日来，卡奥斯COSMOPlat深度参与本次大会，携手业界大咖专家共话工业互联网高质量发展未来，并全面展示平台的前沿技术成果、解决方案及行业精彩实践，卡奥斯物联科技股...。
发表在投影仪百科2019，12，209，35投影仪按照使用者、投影机和屏幕的相对位置可分为，前投影系统，简称前投，、背投影系统，简称背投，所谓前投，是指投影仪的放置位置与使用者处在屏幕的相同一侧，此时，投影仪投射到屏幕的图像反射到观众眼睛里，背投指投影仪的放置位置与使用者分别位于屏幕的两侧，投影仪的光线从另外一侧投射到屏幕上，然后穿...。
新疆伊犁河畔，一群锡伯族猎手在纵马围猎，夜幕下，篝火旁，猎手们在弹琴高歌中品味着香美的猎物，这时收音机中传来了锡伯族青年锡林在自治区国内摔跤提拔赛中荣获冠军的信息，大家纷繁向锡林的父亲发林保老爹祝贺，一年后，锡林缺席全国冠军赛，在火车上，他严厉依照闵山教练的指点启动意志考验，在北京，他与花招滑冰静止员何慧邂逅相识，锡林的姐姐、射箭名手...。
蝰蛇鼠标宏是一款专门针对雷蛇旗下蝰蛇鼠标打造的鼠标宏驱动文件，该驱动专门为FPS电竞玩家量身定制
快商通网络营销应用系统医疗版是一款十分不错的网站在线营销软件，软件操作简单、界面灵动，提供售前售后服务，更是提升企业品牌、营业额的生存利器，感兴趣的赶快下载试试吧！软件特色
8月30日起来华入境无需新冠核酸或抗原检测,汪文斌,新冠病毒,新冠核酸,抗原检测,公共卫生事件
Opera浏览器,Opera浏览器是一款来自挪威的功能强大的浏览器，具有网络同步、密码管理、快速拨号、网络加速等特色功能,您可以免费下载。
随着近几年技术的不断演进和传播渠道的愈发多元，通过多种终端观看电视节目已经成为非常便利的行为，但在便捷的背后，电视内容的网络侵权行为也在与日俱增，尤其是对于各省的广播电视台而言，他们的自办直播频道的内容如今正面临着被诸多的智能电视、网络盒子、OTT、以及视频平台未经授权的转播、盗播、盗链的风险，成为被侵权的，重灾区，，极大的侵犯了广播...。
作者，朱可轩编辑，陈彩娴近日，IEEE奖励委员会官网，https，corporate，awards.ieee.org，正式公布了2025年度，IEEE技术领域奖，IEEETechnicalFieldAwards，获奖名单，中国工程院院士、北京大学博雅讲席教授、鹏城实验室主任、数字音视频编解码技术标准，AVS，工作组组长高文因其...。
昨日，2021年度第十一届吴文俊人工智能科学技术奖获奖名单在其官网公示！今年仅对项成果授奖，较去年有大幅度减少，值得一提的是，今年增加了优秀博士学位论文获奖论文和优秀博士学位论文提名论文两项荣誉，具体包括最高成就奖1项、杰出贡献奖3项、自然科学奖8项、技术发明奖6项、科技进步奖11项、专项奖芯片项目3项、科技进步奖科普项目1项、科技进...。
近日，百度网盘正式通过中国网络安全审查认证和市场监管大数据中心，CCRC，认证，获颁个人信息保护认证证书，PIP，，意味着百度网盘在数据安全和个人信息保护领域再次获得国家级权威认可，2022年11月18日，国家市场监督管理总局、国家互联网信息办公室联合发布，个人信息保护认证实施规则，，指定由中国网络安全审查认证和市场监管大数据中心，C...。
近日，雷锋网医疗科技·未来投资云峰会揭幕，本次峰会邀请到红杉中国、软银中国、高榕资本、联想创投、点石资本、磐霖资本、启明创投、国科嘉和、远毅资本的多位顶级观察者，以云峰会形式，从专业投资人的角度剖析医疗大数据、药企创新服务、医疗机器人等多个医疗科技新领域的投资逻辑和项目经验，联想创投董事总经理梁颖以，数据智能赋能医疗产业链的机会探讨，...。
