从人脑和蛙眼得到的启示 自动驾驶 的革新 感知 (人从蛙眼身上得到了什么启示)
需要处理的图像像素过多与芯片算力不足的矛盾，已经成为了当前制约自动驾驶发展的瓶颈之一。
为了解决上述问题，事件相机与脉冲神经网络的结合或许会是一个可行的解决方案。
卷积神经网络是目前图像目标检测算法的重要手段。以ResNet-152为例，一个152层的卷积神经网络，处理一张224*224大小的图像所需的计算量大约是226亿次，如果这个网络要处理一个1080P的30帧的摄像头，那么它所需要的计算量将高达每秒33万亿次，十分庞大。
以当前典型的百度的无人车为例，计算平台约为800TOPS，其中1TOPS代表处理器可以每秒钟进行一万亿次操作。
假设一个摄像头所需要的算力为33TOPS，更遑论无人车动辄配置十余个摄像头，以及多个激光雷达和毫米波雷达。
为了准确检测行人并预测其路径，芯片往往需要多帧处理，至少是10帧，也就是330毫秒。这意味着相关系统可能需要数百毫秒才能实现有效探测，而对于一辆以60公里每小时行进中的车辆来说，330毫秒的时间就能行驶5.61米。
如果为了保证足够的安全，将帧数增加到每秒30帧，图像数据很可能让自动驾驶芯片不堪重负。
针对算力不足的问题，提高算力是业内玩家最容易想到的方法。然而，目前芯片的制程正在不断压缩，在极小尺寸下，量子遂穿效应逐渐显著，摩尔定律逐渐失效，芯片算力的提升也在面临巨大挑战。
同时，算力的提高也伴随着功耗的提高，但在新能源的大背景下，分配给芯片的能量越多，续航能力就会受到越大的影响。
算力与能耗正在逐渐成为自动驾驶发展的一对矛盾。
那么我们能不能另辟蹊径呢？仿生学也许能给我们带来新的思路。
对于人类来讲，在静止的画面中注意到运动物体并不难。对于青蛙来说，它甚至只能看到运动的物体，对静止的背景画面视而不见。
针对生物这一特性，研究者们设计出一种事件相机。
传统相机以固定帧率重复扫描整个场景，无论场景中是否有目标活动，均忠实的输出由一帧帧图片组成的视频流。毫无疑问，这种连续的视频流存在高度的信息冗余，大量无用的背景图片也被送入卷积神经网络进行运算。
事件相机则不同，事件相机仅记录亮度“变化”的像素点。
传统帧相机与事件相机输出的效果对比如下图所示，即传统的帧相机输出为整个视场的全部信息（左图），而事件相机只捕捉场景中运动的手臂，如（右图）所示。
基于重点关注运动目标这一特点，事件相机也许能在自动驾驶领域大展身手。
由于事件相机剔除了静止的背景图片，所以每帧产生的数据量大大减少，达到几十kb的级别。
相对于传统相机，事件相机还有高帧率、低功耗、高动态范围等优点：
下面两张图展现了事件相机的关注运动物体和高动态范围的特性。传统相机在光线较暗的情况下，难以辨识图片中右边的行人。然而事件相机却能够十分清晰的捕捉到右边的行人，并同时滤出图像右下静止的车辆信息。
传统相机
在自动驾驶领域，事件相机相对于传统相机具有巨大的优势，不过需要注意的是，事件相机无法提取出距离信息，需要激光雷达配合判断目标距离。
或许会有人感到疑惑：事件相机这么好，为什么没有大量应用在自动驾驶领域呢？
实际上，相机获取信息仅仅是第一步，后续事件相机信息的处理则是更为关键的一环。
如下图所示，传统相机的输出是一帧帧的静止图片，而事件相机则是一个个事件（Event）流。
一般来说，目前的神经网络都专注于如何提取每帧静止图片中的行人、汽车等目标，如YOLO，resnet等算法。针对基于时间戳的事件流，目前尚无有效的算法进行目标识别。
而事件流处理算法的缺失，与当前的神经网络结构是分不开的。
当前主流的神经网络被称为第二代人工神经网络，以精确的浮点运算为基础，缺失了在自然界中最重要的一个因素：时间。对于神经网络而言，输出的结果会和输入一一对应，任何时候输入相同的图片，神经网络都会输出一样的结果。
然而真实的大脑，是以这种浮点运算为基础的吗？显然不是，真实的大脑是以脉冲为基础的，以脉冲传递和处理信息。
这种以脉冲传递为基础的神经网络是脉冲神经网络（spiking neural network，SNN），被誉为第三代人工神经网络。基于脉冲神经网络结构设计的芯片也被称为类脑芯片。
脉冲发生的时刻携带着重要信息，脉冲神经网络天然具备对时序信息处理的能力，这与事件相机基于时间戳的事件流输出十分吻合。
此外，脉冲神经网络还具有事件驱动、异步运算、极低功耗等特性。
总的来说，事件相机和脉冲神经网络的结合，正如人类用眼睛和大脑观察四周：自动忽略周围静止的事物，对突然出现的运动物体予以重点关注和运算。
当前学术界已经掀起了对脉冲神经网络研究的热潮，但由于神经态硬件的发展正处于起步阶段，并且人们对于大脑的工作机理认识还不够全面，目前尚无基于脉冲神经网络在商业上的应用。
随着人们对大脑认识的深入，以及国外的TrueNorth、SpiNNaker、Loihi和国内清华的天机芯（Tianjic）和浙大的达尔文等类脑芯片的研发。我们也期待，事件相机与脉冲神经网络的结合能够给自动驾驶行业带来新的突破。
参考文献：
桑永胜,李仁昊,李耀仟,王蔷薇,毛耀.神经形态视觉传感器及其应用研究[J].物联网学报,2019,3(04):63-71.
Kim S , Park S , Na B , et al. Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection[J]. Proceedings of the AAAI Conference on Artificial intelligence, 2020, 34(7):11270-11277.
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/f277ab0d16210db0af32.html
湛江驰宇网络(原天亿互联)提供专业的云服务器,云虚拟主机,香港VPS,独立服务器,IDC租用托管,面向全球客户提供基于云计算的IT解决方案与客户服务,是国内专业的云服务器,云虚拟主机,香港VPS,独立服务器,IDC租用托管,基础设施服务提供商。
爱拍酷免费提供大众日常生活实用查询工具服务。
统计事务所,求真统计,台州市求真统计事务所,求真统计事务所,台州市求真统计事务所主页,台州市求真统计事务所官网
宜兴寅磊陶瓷有限公司从事焊接用技术陶瓷生产的主要厂家之一，公司主要提供：螺柱焊陶瓷保护套、焊接用陶瓷衬垫、氩弧焊陶瓷喷嘴、等离子切割陶瓷保护套、高温炉用陶瓷件
山东华博动力设备有限公司——潍坊柴油机、柴油发电机组和柴油水泵机组专业生产制造商！潍柴、康明斯、上柴、玉柴系列品牌发电机组优势供应，静音、移动拖车、全自动等特殊配置任您选择！
艾科迅（ACX）专业真空钎焊炉厂家，PCD、CBN、PCBN、CVD、PDC、陶瓷等硬质合金刀具真空钎焊炉。金刚石砂轮、金刚石滚轮、金刚石磨轮、金刚石磨头、金刚石铣刀、金刚石锯片等金刚石工具真空钎焊炉。服务于上海、广东、福建、江苏、浙江、河南、北京、河北、西安、山西、四川等地区的真空钎焊炉。
服务范围：北京、上海、重庆、广州、深圳、天津、成都、南宁、南京、苏州、无锡、温州、西安、杭州、绵阳、合肥、武汉、太原、常州、太湖县、绍兴、嘉兴、舟山、台州、金华、昆明、沈阳、佛山、福州、宁波、湖州、长沙、柳州、扬州、洛阳、青岛、昆山、张家港、济南、南通、安康、怀化、黄石、景德镇、安庆、昆明、哈尔滨等全国各市区均设有维修点。专业上门维修空调不启动,不开机,自动关机,不制冷,加氟,不制热,清洗拆装保养
提供档案数字化加工服务,档案扫描录入服务,档案整理业务,金档档案管理系统,档案管理软件研发
%=SEORs(
漯河花花牛乳业有是一家致力于专业研发、生产、销售乳酸菌饮料、植物蛋白饮料和果蔬汁饮料为一体的现代化食品企业。
融跃教育是专业的FRM培训机构，为考生提供FRM考试、FRM报名、备考辅导等服务。为考生量身定制FRM培训课程，提供专业的学习平台，帮助考生顺利通过FRM考试！
安徽泾县天和泵阀拥有近二十多年氟塑料泵阀的生产经验，主要生产各种氟塑料离心泵、化工磁力泵、自吸泵、耐磨耐腐砂浆泵、不锈钢泵耐酸泵及阀门。产品型号有CQB型磁力泵、新型CQTH系列衬氟磁力泵、IHF型离心泵、FSB型离心泵、FZB型自吸泵、UHB-ZK型砂浆泵、FYH型液下泵、CQ型磁力泵、ZCQ型磁力自吸泵及氟塑料球阀截止阀放料阀等系列产品。
在探讨2025年近视矫正加盟哪个品牌更好一些时，易视界品牌无疑是一个值得深入考虑和选择的选项，以下是对易视界品牌的详细分析，以阐述其为何成为加盟的优选，一、品牌背景与实力丰富的行业经验，易视界作为视力矫正行业的大品牌，拥有多年的行业经验和丰富的成功案例，为加盟商提供了稳定的技术支持和市场，市场布局，易视界在全国范围内拥有众多直营店和加...。
烤鸡作为中餐菜肴，经常会出现在餐桌上，现有不同的烤鸡品牌，北京灵芝烤鸡便是其中一个，很多人品尝过店内的烤鸡产品后，产生了加盟的想法，这部分创业者想先知道北京灵芝烤鸡加盟费多少钱，那么，就继续往下看吧，北京灵芝烤鸡正式成立于2009年，其经过了长达11年的发展历程，形成了属于自己的优势，现今，很多消费者都会主动到店来购买并品尝，总部人员...。
雷锋网按；2019年6月6日，工信部正式向中国电信、中国移动、中国联通、中国广电发放5G商用牌照，这表明中国正式进入了5G商用的阶段，一时间关于5G的讨论更加热烈，那么对于普通用户而言，5G相比4G到底有何不一样，从三星GalaxyS105G手机到OnePlus7Pro5G手机以及更高版本，首批5G手机现已上市，5G网络时代的开启是从...。
编者按，随着技术的进化，制造业对工业机器人的要求也从，完成某项特定工序，简化人类操作，变成了，协同工作，，面对制造业自动化的新思维，工业机器人的风险评估也随之改变，在最近的50年，工业机器人在全球制造业应用越来越广泛，技术一直在进化，适应用户的需要，这么多年，人们一直在研究使用机器人的安全问题，当然，意外会发生，风险评估变得至关重要，...。
作者，肖漫英国政治家丘吉尔的这句话，适用于描述政治利益，同样适用商业世界——苹果与高通之间纷繁复杂、变幻无常的商业竞合关系，恰如其分地体现出这句话的涵义，如今，苹果和高通互相瞄准了彼此的，技术高地，一方面，苹果选择自研基带芯片正在进行中，它与高通之间的基带合作协议关系就已进入分崩离析的倒计时——苹果推出自研基带的时间，剑指2023年...。
很多的人群心中均是有一定的信仰，围绕着这个信仰，给予生活增长了很多的动力，鸿达旺运作为一家，以弘扬中华传统文化为己任的品牌，与传递大爱作为核心的运营理念，同时顺应时代的需求进行文化和信仰的传承，在这个过程中，不断去满足了大家对信仰上的追求，由此吸引了诸多的关注和信任，发展红火的市场，也是加深了诸多创业人士对其加盟开店的想法，那么鸿达旺...。
小约瑟夫·罗比内特·拜登小约瑟夫·罗比内特·拜登，英语，JosephRobinetteBidenJr.，，男，1942年11月20日出世于美国宾夕法尼亚州斯克兰顿，通称，乔·拜登，...焦尔吉娅·梅洛尼焦尔吉娅·梅洛尼，意大利语，GiorgiaMeloni，1977年1月15日—，，出世在意大利罗马，2006年起成为意大利众议院议员，...。
1.提早备案所需期间，10—15天，2.布置中检，4，5天，3.放开出口容许证，约15个上班天4.驳船，2个天，5.申报，在单证和审价没有疑问的状况下，约3—7天，6.指定港口清关后内陆陆运配送至厂家，2，3天，以上操作期间共约25，30个上班日，以上旧印刷机出口的关键环节，二手旧印刷机设施可以出口吗二手设施出口的思绪，...。
[全球网报道]据美国有线电视资讯网，CNN，外地时期7月2日报道，一名知情人士通知该媒体，估量几周后美国总统拜登将在华盛顿同到访的以色列总理内塔尼亚胡举办会见，CNN提到，估量内塔尼亚胡将访问美国，并于7月24日向美国国会宣布演讲，报道称，一名知情人士说，估量拜登会与到访的内塔尼亚胡在华盛顿会见，此次会见或者会在白宫举办，美国和以色列...。
新华社北京8月17日电中共中央政治局常务委员会8月17日召散会议，钻研部署防汛抗洪救灾和灾后复原重建上班，中共中央总书记习近平掌管会议并宣布关键讲话，会议指出，，七下八上，是防汛关键期，在以习近平同志为外围的党中央坚强指导下，各级党委和政府增强组织指导、严厉落实责任，国度防总、各无关部门和单位履职尽责、通力单干，国度综合性消防接济队伍...。
uhd770显卡驱动是由Intel官方推出的一款非常给力的驱动程序，该程序可以用来修复显卡在使用过程中可能会遇到了所有问题
洛克王国东哥辅助是广大洛克王国玩家认为是最好用的辅助工具之一，在2013年度洛克王国外挂大评比中获第一的殊荣，覆盖范围0.11%的洛克王国玩家，33.33%的外挂洛克王国玩家。
随着教育现代化的发展，儿童早教也从传统的儿童智力教育改进为对儿童好生活习惯的学习；儿童对世界的正确认识，从小树立正确的人生价值观；儿童健康心理、健康情感、情绪的成长；儿童想象力和创造力和培养和实践等等，恩吉拉早教品牌多个方面的早教课程，使得该品牌在如今广阔的早教市场中赢得了不错的市场口碑，让很多创业商加快了加盟该品牌的脚步，那么恩吉拉...。
驴肉餐饮，要长寿，吃驴肉；要健康，喝驴汤，主营特色驴肉包子、滋补驴骨汤以及酱驴肉、驴板肠等驴肉制品，历史沉淀做地道味传承历久弥新驴肉的历史源远流长，据史志记载，起源于公元1696年，清朝圣祖康熙三十五年，距今已有三的历史，享有，天上龙肉，地上驴肉，之美誉，山东驴帮是生态驴肉的正宗继承者、驴帮驴肉鲜包品牌合法持有者，驴肉历史悠久，世代传...。
11月22日，浙江省2023年度科学技术进步奖公布，支付宝联合浙江大学、谐云科技、阿里云共同研发的，基于云原生的大规模云边协同关键技术及应用，获得科学技术进步一等奖，基于云原生的大规模云边协同关键技术及应用，是一套大规模的云边协同计算技术，是分布式计算、云计算等领域的底层核心关键技术，它核心解决云边海量异构设备的资源统一纳管调度，提...。
12月1日，全球领先的IT市场研究和咨询公司IDC发布了，IDCMarketScape，中国分布式关系型数据库2023年厂商评估，以下简称，报告，报告，指出，在当前的分布式关系型数据领域，头部厂商的优势正在扩大，其中，蚂蚁集团旗下的自研原生分布式数据库OceanBase，位列，领导者，类别，作为一款原生分布式数据库，Ocean...。
发表在专业问答2023，1，2816，05展示机型信息，品牌型号，索尼X80J系统版本，当贝OS定制版电视不能下载抖音，因为抖音目前主要还是移动端软件，并没有进行TV端的适配，因此无法在电视上下载安装，电视能下载抖音吗电视上是不能下载安装抖音的，因为目前抖音并没有针对电视和投影仪这类TV端设备进行适配，主要还是作用于手机类的移动端软件...。
