从人脑和蛙眼得到的启示 自动驾驶 的革新 感知 (人从蛙眼身上得到了什么启示)
需要处理的图像像素过多与芯片算力不足的矛盾，已经成为了当前制约自动驾驶发展的瓶颈之一。
为了解决上述问题，事件相机与脉冲神经网络的结合或许会是一个可行的解决方案。
卷积神经网络是目前图像目标检测算法的重要手段。以ResNet-152为例，一个152层的卷积神经网络，处理一张224*224大小的图像所需的计算量大约是226亿次，如果这个网络要处理一个1080P的30帧的摄像头，那么它所需要的计算量将高达每秒33万亿次，十分庞大。
以当前典型的百度的无人车为例，计算平台约为800TOPS，其中1TOPS代表处理器可以每秒钟进行一万亿次操作。
假设一个摄像头所需要的算力为33TOPS，更遑论无人车动辄配置十余个摄像头，以及多个激光雷达和毫米波雷达。
为了准确检测行人并预测其路径，芯片往往需要多帧处理，至少是10帧，也就是330毫秒。这意味着相关系统可能需要数百毫秒才能实现有效探测，而对于一辆以60公里每小时行进中的车辆来说，330毫秒的时间就能行驶5.61米。
如果为了保证足够的安全，将帧数增加到每秒30帧，图像数据很可能让自动驾驶芯片不堪重负。
针对算力不足的问题，提高算力是业内玩家最容易想到的方法。然而，目前芯片的制程正在不断压缩，在极小尺寸下，量子遂穿效应逐渐显著，摩尔定律逐渐失效，芯片算力的提升也在面临巨大挑战。
同时，算力的提高也伴随着功耗的提高，但在新能源的大背景下，分配给芯片的能量越多，续航能力就会受到越大的影响。
算力与能耗正在逐渐成为自动驾驶发展的一对矛盾。
那么我们能不能另辟蹊径呢？仿生学也许能给我们带来新的思路。
对于人类来讲，在静止的画面中注意到运动物体并不难。对于青蛙来说，它甚至只能看到运动的物体，对静止的背景画面视而不见。
针对生物这一特性，研究者们设计出一种事件相机。
传统相机以固定帧率重复扫描整个场景，无论场景中是否有目标活动，均忠实的输出由一帧帧图片组成的视频流。毫无疑问，这种连续的视频流存在高度的信息冗余，大量无用的背景图片也被送入卷积神经网络进行运算。
事件相机则不同，事件相机仅记录亮度“变化”的像素点。
传统帧相机与事件相机输出的效果对比如下图所示，即传统的帧相机输出为整个视场的全部信息（左图），而事件相机只捕捉场景中运动的手臂，如（右图）所示。
基于重点关注运动目标这一特点，事件相机也许能在自动驾驶领域大展身手。
由于事件相机剔除了静止的背景图片，所以每帧产生的数据量大大减少，达到几十kb的级别。
相对于传统相机，事件相机还有高帧率、低功耗、高动态范围等优点：
下面两张图展现了事件相机的关注运动物体和高动态范围的特性。传统相机在光线较暗的情况下，难以辨识图片中右边的行人。然而事件相机却能够十分清晰的捕捉到右边的行人，并同时滤出图像右下静止的车辆信息。
传统相机
在自动驾驶领域，事件相机相对于传统相机具有巨大的优势，不过需要注意的是，事件相机无法提取出距离信息，需要激光雷达配合判断目标距离。
或许会有人感到疑惑：事件相机这么好，为什么没有大量应用在自动驾驶领域呢？
实际上，相机获取信息仅仅是第一步，后续事件相机信息的处理则是更为关键的一环。
如下图所示，传统相机的输出是一帧帧的静止图片，而事件相机则是一个个事件（Event）流。
一般来说，目前的神经网络都专注于如何提取每帧静止图片中的行人、汽车等目标，如YOLO，resnet等算法。针对基于时间戳的事件流，目前尚无有效的算法进行目标识别。
而事件流处理算法的缺失，与当前的神经网络结构是分不开的。
当前主流的神经网络被称为第二代人工神经网络，以精确的浮点运算为基础，缺失了在自然界中最重要的一个因素：时间。对于神经网络而言，输出的结果会和输入一一对应，任何时候输入相同的图片，神经网络都会输出一样的结果。
然而真实的大脑，是以这种浮点运算为基础的吗？显然不是，真实的大脑是以脉冲为基础的，以脉冲传递和处理信息。
这种以脉冲传递为基础的神经网络是脉冲神经网络（spiking neural network，SNN），被誉为第三代人工神经网络。基于脉冲神经网络结构设计的芯片也被称为类脑芯片。
脉冲发生的时刻携带着重要信息，脉冲神经网络天然具备对时序信息处理的能力，这与事件相机基于时间戳的事件流输出十分吻合。
此外，脉冲神经网络还具有事件驱动、异步运算、极低功耗等特性。
总的来说，事件相机和脉冲神经网络的结合，正如人类用眼睛和大脑观察四周：自动忽略周围静止的事物，对突然出现的运动物体予以重点关注和运算。
当前学术界已经掀起了对脉冲神经网络研究的热潮，但由于神经态硬件的发展正处于起步阶段，并且人们对于大脑的工作机理认识还不够全面，目前尚无基于脉冲神经网络在商业上的应用。
随着人们对大脑认识的深入，以及国外的TrueNorth、SpiNNaker、Loihi和国内清华的天机芯（Tianjic）和浙大的达尔文等类脑芯片的研发。我们也期待，事件相机与脉冲神经网络的结合能够给自动驾驶行业带来新的突破。
参考文献：
桑永胜,李仁昊,李耀仟,王蔷薇,毛耀.神经形态视觉传感器及其应用研究[J].物联网学报,2019,3(04):63-71.
Kim S , Park S , Na B , et al. Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7):11270-11277.
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/f277ab0d16210db0af32.html
php中文网下载站为网站开发和前端人员提供最专业，最全的建站资源。包含各种最新的网站源码，前端模板，JS特效代码，图片素材，实用的在线工具等。并且一切资源免费！欢迎下载！
巩义世邦（厂家电话：15286809888）主要生产自保温加气块设备圆盘锯,陶粒自保温砌块设备抱砖机,免蒸加气块切割机码垛机械手,大型粉土机打土机,尾矿干湿两用粉碎机,污泥煤泥粉碎机,固废垃圾破碎机,尾矿固废压砖机。
FUJI手表FALECE手表FALECE梵力时手表FUJIMATE富士手表FUJITIME手表FUJIMATE手表富士机械表世界名表进口手表创意手表订制手表经典手表十大名表品牌名表劳力士手表欧米茄帝驼飞亚达天王表浪琴手表天梭手表百达翡丽江诗丹顿
烟台一新专注于生产磁性分离器,纸带过滤机,排屑器,甩干机,刮油机以及切屑综合处理设备，与国内众多机床厂、轴承厂、钢铁厂、汽车零部件和制造厂等保持密切的长期合作。公司以解决客户问题为己任，切合实际的设计刮油机、制造出满足客户需求的机床甩干机
嘉祥县丁玉龙苗圃专于国槐的繁育、推广、及景观园林的应用，成为国槐生产、交易集散地。本基地常年供应【国槐小苗3、4、5、公分、国槐树苗6、8、10公分、国槐树12、15、18公分、大国槐20、30、40公分，】等大小规格国槐，金枝国槐、龙爪槐、千头椿、法桐，合欢，白蜡，垂柳等绿化苗木，国槐，质量好，发货快，种植好成活。
琪琪影院(szghkyj.com)提供2025免费在线观看电影电视剧的影视平台,提供优质高清热播影视综艺在线观看,致力于给广大的影视剧爱好者带来最丰富的精彩影视内容,每日实时更新,电影、电视剧、动漫、综艺应有尽有。
北京中工华盾安全技术有限公司北京中工华盾安全技术有限公司成立于2014年，公司坐落于北京科技和创新能力发达的中关村科技园上地园区。公司自成立以来依托于强大的研发和集成能力，始终致力于为工业、建筑、市业提供供配电方向的专业电气火灾灭火方案，帮助用户实现安全、节能的高质量供配电环境。
沈阳敏丝瑞科技有限公司
范芳勇的个人主页，汇集大量建站教程与免费网站源码，提供pbootcms模板、pboot网站模板、pbootcms源码、pboot网站源码、pb模板，助新手站长个人快速搭建自己的网站。
乐玩手机游戏代理公司，包含多款时下热门手机游戏，电话：18372019116，提供手游平台搭建，手游联运sdk源码，游戏推广代理加盟相关资讯等信息，是国内知名的手游联运公司
苏州冷镦机厂家常熟市宇峰标准件机械制造有限公司专业生产冷镦机,多工位冷镦机,想要了解冷镦机大修,冷镦机改装,多工位冷镦机价格,冷镦机维修,产品质量好,价格实惠.
游戏世界真是丰富多彩，特别是那些适合四人一起玩的游戏，更是增添了无数欢笑，想象一下，跟朋友们一起，沉浸在各自喜欢的游戏中，是不是觉得特别有意思，那么适合四人一起玩的游戏有什么，小编特地帮大家找到了一些，这些游戏各有各的亮点，每次玩都让人觉得新鲜有趣，1、，部落冲突，皇室战争，在这里玩家会遇到不同的文明，和他们交流，玩家可以组建自己的部...。
联想笔记本怎么清理c盘垃圾?联想笔记本深度清理C盘垃圾步骤
如果通报内容属实，该女性乘客行为涉嫌违反，西安市城市轨道交通条例，第四十六条中，禁止大声喧哗等影响轨道交通运营秩序和安全的行为，根据上述规定，实施影响城市轨道交通运营秩序行为的，由西安市城市轨道交通管理机构对个人处二十元以上一百元以下罚款；造成损害的，依法承担赔偿责任；违反，治安管理处罚法，的，由公安机关给予处罚；构成犯罪的，依法追究...。
发表在联想投影仪2022，11，815，01联想小新520是一款新近推出的家用智能投影仪产品，联想携手代言人王一博，打造出这款以，自然，为主题的投影仪，那么联想小新520王一博定制版到底怎么样，各方面性能表现又如何呢，我们在下文通过详细参数的解读来加以了解，1.外观参数联想小新520拥有着十分轻薄的机身，195*195*48.5mm的...。
2024年6月24日在无锡苏南硕放国内机场自助操持登机牌时，翔宇管家上班人员宣传操持会员卡可享用极速安检和贵宾室经常使用权，并称充值1998元即可用于购置机票经常使用，全程未提及只用于抵扣基建费，不时在重复强调用于购置机票的钱，实在状况与上班人员所宣传活动状况和卡内余额经常使用用途实属不符！实在状况，咨询过翔宇管家客服......。
以360N6手机为例，须要借助第三方软件ROOT巨匠开启手机中的root配置，步骤如下，1、关上电脑中的root巨匠软件，而后将360手机用数据线衔接到电脑中，而后点击软件右下角的，衔接设施，2、等手机与电脑衔接成功后会有揭示，而后再点击右下角的，一键root，选项，3、接上去root巨匠就会对手机启动root，如下，4、期待ROO...。
观音灵签第八签的姻缘解读，强调了耐烦期待与贵人相助的关键性，签文形容了松柏在风雨中仍能茁壮生长，意味着未来的成功，功成名就似乎栋梁之材，待到关键时辰，贵人产生，便是成功飞跃之时，这是一支上之签，预示着踊跃向上、有望取得美妙姻缘的时机，求签者应坚持忠诚与无求之心，一心向善，置信观音菩萨的指引，而非适度依赖签文求取，关于观音灵签第八签征询...。
不须要这么久！前三个月也就是试用期，重要看你体现，踊跃被动、激情好学、机敏灵敏、勤快不懈怠等等体现，而后还会派你进来跑开售，很苦，很累，压力很大，熬上来就好了！其详细上班蕴含，客户开发、客户跟踪、开售导购、开售洽谈、开售成交等基本环节，还或者触及到汽车保险、上牌、装潢、交车、理赔、年检等业务的引见、成交或代办，在4S店内，其上班范围普...。
明锐和速腾都属于A级车，虽然它们的平台有所不同，但多少钱相差不大，两款车的消费线都是PQ35，同属南北公众的同级别车型，因此，您可以依据自己的喜好和需求来选用，斯柯达明锐和速腾不时是购车人比拟的对象，两款车虽然平台不同，但都是A级车，从安保性和性能方面来看，速腾比明锐多了ASR和双侧气囊，因此更安保，而明锐则比速腾多了胎压监测和1.6...。
7月2日，，刑辩女团，群众号颁布，何智娟律师关于被法警暴力执法的申明，一文，称休庭时期遭法警阻止拍摄等，引发关注，同日下午，何志娟律师助理称此事失实，何律师正在公安机关做笔录，对此，贵阳市云岩区法院上班人员示意，倡导关注后续通报，法官和书记员正在庭长办公室散会，需散会完结后选择能否回应，网络申明——休庭后放开复制新出庭检察官关系文书遭...。
公众途安7座的落地价为16.98万，它在性能方面有大幅度优化，包含允许AndroidAuto和CarPlay的6.5英寸MIB系统、ESP车身稳固管理系统、EPB电子手刹、AUTOHOLD智能驻车系统、变道辅佐系统、碰撞预警系统、智能胎压监测系统、全景天窗、分区智能空调、智能防眩目后视镜、头部安保气帘、LED尾灯、智能泊车等，车身尺寸...。
U盘检测工具是指用于检测和修复U盘，USB闪存驱动器，中或许存在的疑问的软件程序，这些工具可以协助用户诊断和处置U盘产生的各种疑问，例如格局化失误、文件系统损坏、病毒感化等，以下是一些罕用的U盘检测工具，1.DiskGenius，这是一款配置弱小的磁盘治理工具，它不只允许U盘的检测和修复，还可以启动数据恢复、分区治理等操作，2.HPU...。
想挑战一下自己吗，2022烧脑的智力游戏有哪些，来看这一篇就够了，解谜游戏，通关游戏，剥丝抽茧，从重重线索中找出游戏线索，蛛丝马迹中判断下一步的走向，来吧，一起烧脑，试试自己脑容量够不够，1、，未上锁的房间，质量非常高的解谜游戏来了，本年度烧脑游戏top榜必须有它一个，此款游戏将带玩家进入一段古怪、离奇和充满挑战的旅程，旅途里有唯美的...。
现在的父母大都是80，90后，因此在育儿方面是非常重视的，从学龄前教育开始，就会选择一家有前景、教学模式先进的早教机构，能够从多个方面对孩子的潜能与智力深层开发，为今后学习奠定基础，爱贝素质成长中心采用寓教于乐教学模式，个性化教学体系制定，受到众多家长给予的高度评价与认可，那爱贝素质成长中心有什么课程，教学专业吗，爱贝素质成长中心在教...。
又到了一年年底，按照惯例，所有专业或不专业的组织，个人都在忙着发表，2019年总结，和，2020年前瞻，我对于总结历史没有兴趣，尽管我对历史很感兴趣，，对前瞻未来有那么一点兴趣，2020年对于互联网行业，以及其他所有行业来说，将是非常艰难的一年——基数更高了，经济更不景气了，流量红利更少了，竞争更激烈了，但是，照样会有新生事物，照样...。
QQ影音，支持格式多，占用资源少，无广告，无弹窗，无强制安装，一直都是小编首选的本地播放器，今天发现连官网都被关闭了，用户访问该网站会提示，400BadRequest，，这个视频播放器目前长期不进行更新，在Windows10下无法关联视频文件，QQ旋风云播放功能也被关闭，目前看来，这个产品已经完了，吓得我赶快无找了个安装包丢硬盘里，免...。
这两天，朋友圈都被科比退役的最后一战的信息给刷爆了，不仅男士发，连女士也发，更有网友故作认真，张冠李戴，相互吐槽，引发了全民娱乐，今天我们不感伤，不怀旧，不搞笑，不吐槽，今天我们仅仅就科比的品牌价值的打造进行一点探讨，关于科比的励志故事很多，最著名的莫过于洛杉矶，凌晨四点，的故事，这句话出现之后，我可以肯定，洛杉矶凌晨四点的故事就是科...。
