从人脑和蛙眼得到的启示 自动驾驶 的革新 感知 (人从蛙眼身上得到了什么启示)
需要处理的图像像素过多与芯片算力不足的矛盾，已经成为了当前制约自动驾驶发展的瓶颈之一。
为了解决上述问题，事件相机与脉冲神经网络的结合或许会是一个可行的解决方案。
卷积神经网络是目前图像目标检测算法的重要手段。以ResNet-152为例，一个152层的卷积神经网络，处理一张224*224大小的图像所需的计算量大约是226亿次，如果这个网络要处理一个1080P的30帧的摄像头，那么它所需要的计算量将高达每秒33万亿次，十分庞大。
以当前典型的百度的无人车为例，计算平台约为800TOPS，其中1TOPS代表处理器可以每秒钟进行一万亿次操作。
假设一个摄像头所需要的算力为33TOPS，更遑论无人车动辄配置十余个摄像头，以及多个激光雷达和毫米波雷达。
为了准确检测行人并预测其路径，芯片往往需要多帧处理，至少是10帧，也就是330毫秒。这意味着相关系统可能需要数百毫秒才能实现有效探测，而对于一辆以60公里每小时行进中的车辆来说，330毫秒的时间就能行驶5.61米。
如果为了保证足够的安全，将帧数增加到每秒30帧，图像数据很可能让自动驾驶芯片不堪重负。
针对算力不足的问题，提高算力是业内玩家最容易想到的方法。然而，目前芯片的制程正在不断压缩，在极小尺寸下，量子遂穿效应逐渐显著，摩尔定律逐渐失效，芯片算力的提升也在面临巨大挑战。
同时，算力的提高也伴随着功耗的提高，但在新能源的大背景下，分配给芯片的能量越多，续航能力就会受到越大的影响。
算力与能耗正在逐渐成为自动驾驶发展的一对矛盾。
那么我们能不能另辟蹊径呢？仿生学也许能给我们带来新的思路。
对于人类来讲，在静止的画面中注意到运动物体并不难。对于青蛙来说，它甚至只能看到运动的物体，对静止的背景画面视而不见。
针对生物这一特性，研究者们设计出一种事件相机。
传统相机以固定帧率重复扫描整个场景，无论场景中是否有目标活动，均忠实的输出由一帧帧图片组成的视频流。毫无疑问，这种连续的视频流存在高度的信息冗余，大量无用的背景图片也被送入卷积神经网络进行运算。
事件相机则不同，事件相机仅记录亮度“变化”的像素点。
传统帧相机与事件相机输出的效果对比如下图所示，即传统的帧相机输出为整个视场的全部信息（左图），而事件相机只捕捉场景中运动的手臂，如（右图）所示。
基于重点关注运动目标这一特点，事件相机也许能在自动驾驶领域大展身手。
由于事件相机剔除了静止的背景图片，所以每帧产生的数据量大大减少，达到几十kb的级别。
相对于传统相机，事件相机还有高帧率、低功耗、高动态范围等优点：
下面两张图展现了事件相机的关注运动物体和高动态范围的特性。传统相机在光线较暗的情况下，难以辨识图片中右边的行人。然而事件相机却能够十分清晰的捕捉到右边的行人，并同时滤出图像右下静止的车辆信息。
传统相机
在自动驾驶领域，事件相机相对于传统相机具有巨大的优势，不过需要注意的是，事件相机无法提取出距离信息，需要激光雷达配合判断目标距离。
或许会有人感到疑惑：事件相机这么好，为什么没有大量应用在自动驾驶领域呢？
实际上，相机获取信息仅仅是第一步，后续事件相机信息的处理则是更为关键的一环。
如下图所示，传统相机的输出是一帧帧的静止图片，而事件相机则是一个个事件（Event）流。
一般来说，目前的神经网络都专注于如何提取每帧静止图片中的行人、汽车等目标，如YOLO，resnet等算法。针对基于时间戳的事件流，目前尚无有效的算法进行目标识别。
而事件流处理算法的缺失，与当前的神经网络结构是分不开的。
当前主流的神经网络被称为第二代人工神经网络，以精确的浮点运算为基础，缺失了在自然界中最重要的一个因素：时间。对于神经网络而言，输出的结果会和输入一一对应，任何时候输入相同的图片，神经网络都会输出一样的结果。
然而真实的大脑，是以这种浮点运算为基础的吗？显然不是，真实的大脑是以脉冲为基础的，以脉冲传递和处理信息。
这种以脉冲传递为基础的神经网络是脉冲神经网络（spiking neural network，SNN），被誉为第三代人工神经网络。基于脉冲神经网络结构设计的芯片也被称为类脑芯片。
脉冲发生的时刻携带着重要信息，脉冲神经网络天然具备对时序信息处理的能力，这与事件相机基于时间戳的事件流输出十分吻合。
此外，脉冲神经网络还具有事件驱动、异步运算、极低功耗等特性。
总的来说，事件相机和脉冲神经网络的结合，正如人类用眼睛和大脑观察四周：自动忽略周围静止的事物，对突然出现的运动物体予以重点关注和运算。
当前学术界已经掀起了对脉冲神经网络研究的热潮，但由于神经态硬件的发展正处于起步阶段，并且人们对于大脑的工作机理认识还不够全面，目前尚无基于脉冲神经网络在商业上的应用。
随着人们对大脑认识的深入，以及国外的TrueNorth、SpiNNaker、Loihi和国内清华的天机芯（Tianjic）和浙大的达尔文等类脑芯片的研发。我们也期待，事件相机与脉冲神经网络的结合能够给自动驾驶行业带来新的突破。
参考文献：
桑永胜,李仁昊,李耀仟,王蔷薇,毛耀.神经形态视觉传感器及其应用研究[J].物联网学报,2019,3(04):63-71.
Kim S , Park S , Na B , et al. Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection[J]. Proceedings of the aaai Conference on Artificial Intelligence, 2020, 34(7):11270-11277.
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/f277ab0d16210db0af32.html
阴阳五行、五运六气、藏象等听着就感觉很深奥的知识都是组成中医学的知识，民福康健康中医理论栏目将带您更系统而深入的了解中医，从病因学说开始为您解读中医理论信息，在这里您可以学到中医系统知识!
获嘉县溪文网络科技有限公司
中国美术网是一个弘扬中国美术文化，展现中国美术作品，传递中国美术事业资讯，提供美术展览会议前沿信息，打造美术艺术人才的专业艺术推广服务平台。
临沂五金网由江北 实体五金市场万宝集团运营，属于河东区郁九曲村办企业，集各类五金工具、金属材料、电工电料、木工五金、电动工具、日用五金等，属于专业官方电商平台
中华慈善总会特罗凯慈善援助项目
俭俭软件是广州专业的ERP系统服务商，提供AI智能ERP和工作流自动化解决方案。为制造业企业提供进销存、财务、生产管理、AI自动化一体化平台，助力企业降本增效。
常州源美金属制品有限公司主要产品为CNC切削液过滤装置,各通讯类、医疗设备类、射频电源、匹配器外壳类、高铁零部件等同时公司对外承接各类钣金加工业务(标准钣金件与非标钣金件)。公司根据客户的需要代为设计方案，尤其对精度、外观要求高的产品有丰富的生产经验。
招标采购导航网深耕招投标行业23年，日发布招标采购项目信息260000条，招投标就上招标采购导航网，商机与服务及时、可靠、有保障！
珠海思格特智能系统有限公司,提供智能印章机、智能印章柜等全系列产品,搭配印章卫士软件、智能印章app等强大管理系统。实现人章分离、远程授权、精准监控,保障企业公章、电子章安全使用。广泛适用于央国企、金融、建筑等多行业，为60000多家企业保驾护航,量身定制智能印章管理方案,开启高效安全用章新时代。
山东西域种业有限责任公司
在21世纪的今天，网络科技已经成为推动社会进步和经济发展的核心动力。从互联网的普及到物联网的兴起，从大数据的应用到人工智能的发展，网络科技正在深刻地改变着我们的生活方式、工作模式和社会结构。本文将深入探讨网络科技的基本概念、发展历程、应用领域及其对未来社会的深远影响。
U8国际光电为一家以技术为动力、充满热忱的公司，致力将创新推至极致，提供显示科技、系统解决方案、智慧制造、医疗照护与绿色能源等领域具有先进技术含量的产品和解决方案服务。
我们终于发现，互联网最大的投资大亨，不是中国人，也不是美国人，竟然是一个俄罗斯人，就在我们感叹滴滴、优步、神州都是姓，柳一家人的时候，我们却不知道，其实早就有人下了更大的一盘棋，资本是不分国界的，这个叫尤里·米尔纳的俄罗斯男人，他投的公司中已经出现了两家千亿美元级的巨头，阿里巴巴和Facebook，，和五六家百亿级的，京东、Twitt...。
微软官方发布通知从今天，2020年1月14日，起，微软将正式停止对Windows7系统，以下简称Win7，的外延支持，意味着除了个别付费用户之外，微软不会再给Win7系统提供安全补丁，并在最后微软不忘提醒用户尽快升级到Windows10，以下简称Win10，系统，Windows7停止更新2008年10月22日微软正式发布Win7操作系...。
开一家美容院是一个不错的想法，美容院所面向的消费者类型十分的丰富，而且在国内诸多城市地区都能够有着较大的市场发展空间以及丰富的资源，选择一个出色的美容院进行加盟发展是很多创业人士的目标，百莲凯美容院作为业内的实力品牌，拥有着星光力量的加持，而且核心的产品以及服务备受关注和信赖，在业内的发展排名靠前，受到了很多加盟商的认可，那么，加盟百...。
百度世界大会，百度一年一度最大盛会，在这里，可以看到百度过去一年以及未来一年，最重要的决定，到今年，已经是第13次，今年的主题是，YesAIDo，，响亮，温暖，还有一种笃定的回应，百度世界大会以，AI，为主题，这是第3次，重要的事情，讲三遍，7月的AI开发者大会上的消息已经足够重磅，时间过去仅仅3个月，同样以AI为主题的百度世界大会...。
在接受DCD采访时，爱立信UDN部门的YvesBoudreau解释说，你要求50个人定义边缘计算，你会得到50个不同的答案，雷锋网认为，这可能与边缘计算还未真正落地有关，近日，DCD发布一项报告，指出边缘将与云无关，并且以与云类似的方式运行，边缘在带宽、延迟、可靠性、可用性、安全性以及使用专业或高密度硬件的可能性方面提供优势，但核心...。
大家除了浏览或者参与论文推荐，还可以一键打包下载论文合集，针对长期更新的论文合集，你能通过系统消息第一时间收到更新的通知，让你的科研的道路上，绝不慢人一步！点击链接迅速跳转论文集下载界面，https，paper.yanxishe.com，library?from=leiphonecolumn#线性回归模型##计算机图形技术#基于计...。
上海，2022年9月1日，—9月1日，2022世界人工智能大会在上海正式开幕，全球领先的时空智能基础设施公司——千寻位置网络有限公司，以下简称，千寻位置，首次展示了具备精准时空能力的数字孪生产品在城市数字化、新基建建设等领域的应用，包括城市道路智能巡检和养护、高速公路高精度地图采集、智能矿山三维可视化管理等，今年的世界人工智能大会...。
发表在综合交流大区2023，4，2111，11为了博用户眼球，投影行业亮度虚标现象严重，为了杜绝这一现象，中国电子视像行业协会联合当贝等多家投影厂商制定全新亮度标准——CVIA亮度，CVIA亮度以严格的测量和标准来确定投影实际亮度，避免亮度虚标的出现，可以有效解决亮度虚标现象，一、什么是投影机的CVIA亮度CVIA亮度标准全称，投影机...。
铃木SUV车型的种类铃木SUV车型有长安铃木维特拉小途吉姆尼出口超级维特拉出口Ingenis出口其中吉姆尼小途Ingenis都定位于小型SUV，超级维特拉出口定位为紧凑型SUV铃木吉姆尼是一款硬派越野车，易车讯1月12日，铃木吉姆尼五门版车型启动了首发亮相，新车比现款的轴距更长，车内的乘坐空间更大作为越野型SUV，吉姆尼五门版领有36...。
Sedan，美，Saloon，英，轿车，、，三厢车，，无忌别名，傻蛋，，形状上由分别的发起机舱、乘员舱和后备箱三局部导致的轿车，最为经常出现，Hatchback，掀背车，，轿车的一种，后备箱门连同后玻璃向上掀起，但不包括有些相似的游览车、SUV，CrossSUV和多性能车，Coupé，Coupe，双门轿跑，，轿车的一种，双...。
图怪兽是一款图片编辑软件，是一款好用的平面设计图片制作工具，内含丰富的素材及模板，可以帮助用户设计不同风格的海报及图片
欢迎来到pc6,我们有提供游戏平台、游戏盒子、游戏加速器等游戏辅助软件教程，游戏加速、游戏高分使用技巧等资讯。
欢迎来到pc6,我们有提供游戏平台、游戏盒子、游戏加速器等游戏辅助软件教程，游戏加速、游戏高分使用技巧等资讯。
小番茄C盘清理是一款非常专业的C盘清理软件，软件操作简单，支持一键扫描，快速实现C盘垃圾清理、内存清理、隐私清理、系统大文件清理，系统大文件搬家，有效解决因C盘储存空间不足导致电脑卡顿等问题，同时提升
图怪兽是一款图片编辑软件，是一款好用的平面设计图片制作工具，内含丰富的素材及模板，可以帮助用户设计不同风格的海报及图片
PerfectlyClearVideo是一款非常好用的视频画面增强软件，这款软件可以帮助用户提高视频的质量，调整画面的亮度，逐帧处理保证用户的视频质量。
抖音直播录制工具是专门为抖音直播录制需求而制作的一款简单好用的录制软件。它的录制功能强大而且又可以简单使用，通过将抖音直播完整链接添加到工具就可以直接对其直播进行录制
