视频图像智能化 澎思科技首席科学家申省梅 打造完善有效的智慧安防局面 (视频图像智能识别)
雷锋网AI科技评论按：10月17日至19日，由CCF主办、苏州工业园区管委会、苏州大学承办的CNCC 2019在苏州成功召开。今年大会以「智能+引领社会发展」为主题，选址苏州金鸡湖国际会议中心召开。雷锋网AI科技评论作为战略合作媒体对会议进行了全程跟踪报道。
在《 CNCC爆款技术论坛，申省梅、陈熙霖主持，西湖李子青、阿里王刚多视角讲解CV赋能智慧城市 》一文中，雷锋网AI科技评论提到，由澎思科技承办的「计算机视觉技术赋能智慧城市」技术论坛尽管在大会第三天举办，仍然人满为患，成为今年CNCC的爆款技术论坛之一。
澎思科技首席科学家、新加坡研究院院长申省梅作为该技术论坛的主席兼演讲嘉宾，带来了主题为《视频图像智能化助力智慧安防建设》的演讲，她认为当前由于巨量摄像头的存在并不断生产出海量的监控视频，如果想要更好地利用、存储和检索视频图像，必须把视频图像智能化，将视频结构化和智能压缩，只有这样才能做到事前预警、事中处置、事后分析。
个人简介：申省梅，澎思科技（PENSEES）首席科学家、新加坡研究院院长，前松下新加坡研究院副院长。作为计算机视觉与深度学习领域顶级科学家，领导超40人的算法研究团队，获得十余项计算机视觉领域国际顶级竞赛冠军，累计专利300余项，致力于监控与安全、智慧城市、自动驾驶、智能机器人以及AI工厂自动化解决方案等领域的相关技术的开发部署和落地。曾联合新加坡国立大学LV组参加PASCAL VOC（视觉物体分类）连续三年获奖，在美国国家技术标准局（NIST）主办的非受限条件下人脸识别竞赛IJB-A获得了人脸验证 （verification）与人脸辨认（identification）的双项冠军，在微软百万名人识别竞赛MS-Cele-1M人脸挑战赛获双项冠军。
以下为申省梅演讲全文，AI科技评论进行了不改变原意的编辑。
申省梅：
视频图像是从摄像头而来，就像我们的眼睛，我们看到了东西，但如果我们没有大脑来分析，图像就等于是没有意义的东西。
智慧城市包含着方方面面，从最近的落地来看，智慧安防、智慧交通、智慧社区远远走在了前面。那视频图像智能化能如何助力于智慧安防建设？
纵观整个安防行业的发展历程，AI的发挥空间还有很多。我相信大家也熟悉整个安防行业的发展，在座年轻人可能不太清楚，最早监控用的都是模拟摄像头，在中国模拟摄像头可能都不见了，但在其它国家还在大量地被使用。下一个阶段，当数字相机出现以后，就出现了DVR；接着网络监控阶段出现了，那时候我们就叫NVR+网络软件数字相机；今天我们看到的高清摄像头、以及智能监控已经出现在各个应用场景中了。
据英伟达预测，到2020年全世界会有10亿个视频摄像头在使用，另一个统计说中国现在已经有1.76亿个摄像头，3年之后可能会有6亿摄像头，也就是说平均两个人一个摄像头。
对大量的视频，尽管我们有压缩手段（视频流），但怎样存储、怎样观看越来越成为一个难题？假如我们想从大量视频当中快速地侦破一个事件，或检索一件事都变得非常困难。那是不是可以用人工智能来帮忙解决这个问题，做到事前预警、事中处置、事后分析呢？
数据压缩，事实上是一种不做内容分析的压缩，包括MPEG1/2、H.264、H.265，甚至现在的H.266，以及中国的压缩标准AVS2/3。即使有这样的压缩，但现在摄像头的像素越来越高，摄像头的数目越来越多，即使有5G的出现，有云端的存储，我们最后的DVR、NVR（即使是云端的存储）也都是一种物理的存储。这不像我们大脑，从来没有一个人说“我们的大脑放不下东西了，我的记忆力满了”这样的话。因此我们就问，什么时候人工智能能做到代替物理的存储？物理存储是一个空间，它是有局限性的。目前的一种做法就是视频图像智能化。
视频图像智能化
对视频图像智能化我们要做好几件事，都是基于图像的分析理解。
第一，视频图像的恢复增强，即在恢复过程中如何提高图像质量。
第二，视频图像的目标检测、跟踪、识别。这个我们可以做到事前预警、事中处置。
第三，视频结构化，它包括人脸属性、行人属性、车辆属性、非机动车属性、以及各种物体的属性，每一个东西都有它的ID（都有它的属性），这些结构化的信息就会使事后检索分析变得更为方便。
第四，在智能化的时代，我们除了普通的图片和视频压缩以外，能不能在视频内容理解的基础上做智能压缩。目前我们也在做智能压缩，也在做视频摘要，这会让我们进一步节省存储的空间和传输的带宽。
1、视频图像恢复增强
刚才讲到图像压缩会造成图像模糊，其实还有很多方面都会造成图像的质量下降，比如设备用的不正当，例如你用了高清的摄像头，但你的lens用的不匹配，或者我们拍摄的时候，环境条件（比如灯光或天气）不太好。李子青老师讲过光线对人脸造成非常大的影响，这几个问题都会让我们看到视频图像恢复增强是非常重要的一关。
分享一下我们最近的成果，对非常小的脸用的是“深度超分辨率技术”。传统的人脸识别在40×40以下就不行了；用上深度学习后可能会提高到30×30。
而我们的工作可以做到12×14（这是一个很小的脸），中间的结果是我们用深度学习的超分辨率方法恢复了他的人脸识别，我们在人脸识别的库上检测发现，用了深度超分辨率以后，我们的人脸识别性能从0.75提高到0.97。
当然还有其他各种各样的模糊问题，我们也都在做，例如运动模糊、defocus的模糊等，我们希望将来能够用单一的模块覆盖不同的模糊。
其次是背光、低光的处理。这里有两个图，右边这张图很黑，什么都看不清，当我们用低光处理后（如左图），内容就可以看到了。第二张图是做人脸识别的时候，如果你背后光线非常亮，你站在那边拍照，常常会出现脸部漆黑一片。我们用了背光处理，背光处理有不同的方法——传统的、深度学习的方法，在不同的硬件上、不同的场景下，我们会选择不同的算法。
图像增强也包括去抖动，比如刮风时抖动引起来的图像模糊，以及去雾、去云、去雨的处理。
2、视频图像识目标检测、跟踪、识别
澎思科技的人脸识别和行人识别、车辆识别，以及非车辆（自行车、摩托车等）的识别都是我们的关键产品，在技术上面，我们要求是非常高的。
这是过去我带领的团队取得的成绩，关于人脸识别，取得了NIST奖，以及微软百万名人脸识别挑战赛的冠军。目标跟踪、行人检测、行人再识别也分别打破了世界记录。此外在PASCAL VOC（ImageNet前身），我们当时连着3年参加比赛，并且连续3年拿到冠军。交通异常检测、自动驾驶、以及智能机器人，我们都有参加比赛拿到过冠军，计算机视觉其实面特别广，它也用在智能机器人，自动驾驶方面。
我们最近在做跨摄像机的行人再识别ReID。在不同的摄像头里，有时候有人脸出现、有时候没有人脸出现，通过ReID的技术，即使在看不到人脸的情况下，我们仍可以通过行人的身体特征去判断这个人是谁。
这是我们做的一些测试，黄色框中这个人根本连脸都看不到，他出现在不同的角落，但我们通过他身体的特征，会知道这是同一个人，ID是55，另外一个人是ID25。
7、8月份左右，我们在行人再识别三大数据集Market1501、DukeMTMC-reID、CUHK03，视频行人再识别三大数据集PRID-2011，iLIDS-VID，MARS，以及行人属性上都打破了世界记录。
人脸识别，澎思更专注于动态捕捉下的人脸识别。监控相机没有办法约束条件，人脸的姿态、灯光的变化各种各样，还有模糊的情况。在这方面，最近澎思的模型在IJB-B和IJB-C下刷新了记录。我们的客户也拿我们的模型去跟友商做了比对，可以看出性能远远超过友商的性能。
李子青老师刚刚提到的ICCV的人脸识别比赛，我们在ICCV LFR挑战赛的轻量级图像识别、大型图像识别和轻量级视频图像识别三项竞赛中成绩第一，一个竞赛成绩第二。
3、视频结构化
视频结构化刚才也讲到了。当你事后想要从视频中检索一件事的时候，可以用视频的属性来检索。
这是公安的需求。原来公安想要从一天的视频中找到想要的东西，要用肉眼来看视频，找一个东西，确定一件事是什么时候发生的，至少要把整个录像看完才行；然而将视频结构化以后，几秒钟就可以找到想要的东西。
澎思科技的视频结构化属性与目标参考了国标，比如对行人结构来讲，我们支持27大项、128小项，这是属于业界第一的。9月份，澎思在行人属性三个数据库上也刷新了世界记录。
当然，在做的过程中也有很多困难，比如数据采集、以及数据长尾问题。长尾问题我们用了各种方法来解决，甚至用一些传统的图像处理方法，比如雨伞我们可以生成不同颜色的，其中也用了一些很inpainting的技术，也用了GAN来生产，比如最下面这个人脸的数据库不平衡，这个文章已经发表。
澎思也可以做到实时结构化预览、综合检索，以及以图搜图，甚至以图搜视频。
在人脸属性上，除了性别、年龄以外，澎思的算法还包括有没有戴口罩、有没有眼镜等，共支持其它40多个不同的属性描述。
结构化也包括人、车一些行为的异常检测。异常包括交通的异常、打架、抢劫、聚集、事故、抽烟等。2018年我们也在CVPR上的AI CITY CHALLENGE拿到了冠军。
4、视频内容的智能压缩、视频摘要
最后一个内容，讲一下视频内容的智能压缩，视频摘要。鲁继文老师提到深度强化学习怎么来帮助我们的例子，在这个问题上，我们知道很难用强化学习来做视频摘要和内容压缩，因为你不知道视频中哪一个行为是最关键、最重要的。
所以，一个策略就是在不同的情况下要有不同的考量，不仅仅是从一帧上去考量，它是在时空域上的一个分析，所以我们采用时空域的特征，并且做到关键内容的保留、压缩和摘要，根据不同的情况，有的时候可以做到10倍、100倍、甚至1000倍的压缩。我们在压缩的过程中属性同时会被记载下来，当将压缩后的这一段视频存下来以后，会不断地将重要的场景和行为存下来，而且对它的属性都有描述。
视频图像智能化，事实上还取决于图像质量的好坏，而图像质量的好坏又取决于整个软硬件系统的构成。比如说拍摄距离是多少、相机的像素是多少、镜头怎么选择、传输的方式是怎么样的、视频图像压缩的方式等，这些都会影响到图像质量的好坏。所以我们说完美体现技术的优势还在于一个很SMART的解决方案，以及系统人员的培训。
在AI产业图谱中的技术层，澎思科技一直走在前面。我们的立场是坚持应用驱动的解决方案，商业驱动的算法研究，用最有效的算法和最经济的软硬体来解决客户的刚需。
因此我的结论就是， 视频图像的智能化非常重要。现在很多人都在用深度学习，如果是视频图像数据，就一定要进行结构化分析，这是一个前提。这个方面包括了很多技术，如果把这些技术都用好，我们就可以实现事前预警、事中处置、事后检索分析。我个人更想追求的一个方向是节省存储空间、传输带宽、智能化的方式。 这个方面我相信接下来大家会往这个方面多考虑，我们会有更好的发挥空间，谢谢大家。
雷锋网报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/9311ea58a2798e39cfc0.html
C++、Java、前端、产品、运营技能学习/备考/求职题库，在线进行阿里腾讯网易等互联网名企笔试面试模拟考试练习，赛码网-智能在线考试专家，互联网大厂都在用，AI人工智能防作弊技术，系统功能强大，多题型支持，AI智能监考，系统支持高并发，在线测评、专业大题库，大数据统计分析，广泛应用于微信小程序、校园招聘、社招考试、员工培训、培训认证、专业知识竞赛、随堂测、高校招生测评等场景。系统历时6年，8千万考生的市场检验，已经达到业内领先水平。
欢迎登录支付宝，支付宝-全球领先的独立第三方支付平台，致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验以及转账收款/水电煤缴费/信用卡还款等生活服务应用；为广大为从事电子商务的网站提供支付产品/支付服务的在线订购和技术支持等服务，帮助商家快速接入支付工具，高效、安全、快捷地开展电子商务。
北京58联合办公网为您提供北京写字楼,办公楼出租租赁价格信息，北京联合办公，共享办公信息，查找北京联合办公室出租租赁信息，服务式办公室，共享办公位出租信息，就上北京58联合办公网
问道1月9日经典联运数字大服“2026”，来新服天君献瑞抽全新神兽马天君，预充值还有数码奖品京东卡！
玩玩游戏网专注提供安卓游戏下载、游戏攻略、绿色软件，这是提供安全可靠的游戏和软件下载中心，汇集了2024年最新热门的游戏软件资源，可以在玩玩游戏网放心下载使用。
理财资讯网是一个汇集了个人理财、理财产品、理财风险、投资理财的网站，为想要了解理财的你提供更多有关理财的信息资讯。
重庆中专招生网为中职中专生提供重庆中专学校、重庆技工学校、重庆职业中专学校、重庆中专卫校、重庆中专升大专、重庆中专升本科、重庆中职升本科，涵盖|三加二五年制大专、中高职一体化、职教高考等招生专业、报名条件、报名时间、录取分数线等中专招生报名考试资讯。
安平县兴鑫金属筛网有限公司专业生产金刚网,不锈钢网布,不锈钢过滤网等产品，公司集生产加工于一体，产品齐全、品质优良，欢迎新老顾客咨询合作。
六久阁是一家专业提供织梦dedecms免费模板下载的网站,包括织梦企业网站模板,织梦博客模板,织梦图片模板,织梦下载站模板,织梦原创网站模板等
满电-新能源汽车频道——为你带来最全的新能源汽车，电动车、插电式混合动力车、混合动力车的资讯、评测、导购信息。
威海市鸿安建筑集团有限公司成立于一九七五年八月一日，是以建筑业为主、兼营房地产开发、水产养殖、铝塑门窗加工、商品砼生产及商业贸易的国家二级资质企业。
专业防雷检测，广州本地甲级防雷检测资质020-87530852是广东省内第一家甲级防雷检测资质民营企业已在省内各地市气象局备案，具备省内一、二、三类新建建筑物防雷检测、年度定期防雷检、小区、厂房、学校、医院、国营单位大厦建筑物和其它需要防雷检测的检测能力，欢迎需要检测服务的广大朋友来电咨询，我们会全心全意为您提供服务！
近年来国内服装行业还是很有发展潜力的，不少国内或国外的品牌纷纷涌入市场，为整个行业增添了活力，也让不少创业者看到了商机，尤其是女装更具开店价值，其实创业成败与否，与品牌的选择直接相关，不仅要看它的竞争优势，更要看能力，那么服装加盟什么品牌好?加盟品牌女装好吗?，服装加盟品牌推荐――乐町女装，服装加盟什么品牌好?太平鸟乐町女装在服饰行业...。
俗话云，三个臭皮匠顶个诸葛亮，，那么三个臭皮匠加个诸葛亮呢，他们会制造出一个智能多功能鞋架，孔文聪、马伟杰、王子瑞这三个，臭皮匠，并不是做鞋的手艺人，而是北京理工大学珠海学院，北理珠，的大一学生，而他们口中的，诸葛亮，，则是同为大一新生的队长吴金锴，从左至右，孔文聪、导师龙承辉、马伟杰、王子瑞、吴金锴说起为什么会参加创马比赛，其中还...。
消息，近日，医药营销技术，PharmaMarTech，整体解决方案提供商北京医百科技有限公司，以下简称，医百科技，宣布完成数千万美元B轮融资，由惠每资本领投，KIP资本跟投，光源资本担任本轮融资独家财务顾问，据悉，本轮融资完成后，医百科技将进一步加大技术研发投入，加速新业务拓展，医百科技成立于2016年，为药械企业提供数字化转...。
黑马早报，钟睒睒，看不起直播带货的企业家；苹果首次曝光中国开发者收入；柔宇科技及两家全资子公司正式宣告破产；字节跳...播报文章i黑马关注作者获得积分关注2024，11，2008，38来自北京今日头条国家发改委，将研究提出继续加力支持，两新，的举措11月19日上午，国家发展改革委举行11月份新闻发布会，相关负责人表示，将研究提出未来...。
[全球网报道]据法新社9日报道，印度总理莫迪在莫斯科访问时期宣布讲话，称敌对，至关关键，，，抗争不能处置疑问，法新社称，莫迪在莫斯科访问时期宣布讲话，称自己与俄罗斯总统普京探讨了俄乌抵触，作为真正的好友，咱们一同探讨了一系列疑问，莫迪称，，我很快乐在乌克兰疑问上，咱们都能地下、具体地表白自己的观念，报道称，莫迪讲话时普京也在场...。
据央视资讯信息，尼日尔与美国国防部7日发表，美军今日已从尼日尔首都尼亚美101空军基地撤出，并将在往年9月15日前片面撤退尼日尔，依据两国联结公报，美军从尼亚美101空军基地撤出部队和设施的上班现已实现，下一步是从位于阿加德兹的201空军基地撤出，美国担任协调撤军执行的空军少将埃克曼5日说，撤出201基地的执行或将于8月实现，7月7日...。
十二星座依次是，白羊座、金牛座、双子座、巨蟹座、狮子座、处女座、天秤座、天蝎座、射手座、摩羯座、水瓶座、双鱼座，十二星座星象图片如下，每个星座中的主星，衔接起来，像这个星座名字中的生物或东西，星座符号是星座与人之间的图腾，诠释星座的意义和传递星座的能量，裁减资料，在西方占星学上，黄道12星座是宇宙方位的代名词，一团体出世时，各星体落入...。
10年，豹奇兵是一款中国汽车品牌猎豹汽车消费的SUV车型，猎豹奇兵汽车具备先进的安保配置、高效的燃油经济性、牢靠的发起机和先进的车载技术等，启动良好的保养和保养，并且在反常驾驶条件下经常使用，猎豹奇兵的经常使用寿命可以到达10年，猎豹黑金刚和猎豹奇兵哪个好各有好处，依据网络有驾查问可知，猎豹黑金刚和猎豹奇兵各有好处，详细可参考以下几点...。
提起给孩子起名字大全收费，大家都知道，有人问给孩子起个名字大全，另外，还有人想问收费100分取名，你知道这是怎样回事，其实倾家荡产，请高手取个99.5分的名字，起名，取名，100分，上方就一同来看看给孩子起个名字大全，宿愿能够协助到大家！给孩子起名字大全收费倾家荡产，请高手取个99.5分的名字，起名，取名，100分1、给孩子起名字大全...。
封面资讯记者7月2日上午11时许，重庆火车北站北广场负一层内，一辆出租车内行驶环节中高速追尾了一辆反常行驶的彩色轿车，被撞轿车又失控冲向旁边的立柱，目击者称，意外出现后，一名男性被撞侧躺在地上，而出租车女司机的腿部受伤，被善意人抱出驾驶室，追随在出租车后的一辆车上的行车记载仪显示，彩色轿车正颠簸行驶在路线上，突然间，出租车疾驰而来，撞...。
卢锋：“新三样”出海——评我国高科技产业对外投资新动向,新三样,能源,卢锋
越来越多的企业用电话作为销售的工具已经成为了销售工作中必不可少的的一部分电话天天打但对于通话结束后怎么挂电话很多人并不会多加注意并且大部份人会这样想谁先打电话的就谁先挂电话其实不然懂得如何把握好挂电话这个小小的细节通过细节提升自己的个人修养养成良好的挂电话习惯更有助于提升你的个人魅力完美的挂电话礼仪给客户留下好印象挂电...
360手机助手iPad版是一款平板应用管理软件，360手机助手iOS版支持瞬间下软件，畅玩编辑精选游戏，通过360手机助手iPad版可随时管理iPad应用，360手机助手，您iPad上的软件管家;您可以免费下载。
越来越多的企业用电话作为销售的工具已经成为了销售工作中必不可少的的一部分电话天天打但对于通话结束后怎么挂电话很多人并不会多加注意并且大部份人会这样想谁先打电话的就谁先挂电话其实不然懂得如何把握好挂电话这个小小的细节通过细节提升自己的个人修养养成良好的挂电话习惯更有助于提升你的个人魅力完美的挂电话礼仪给客户留下好印象挂电...
K线需要搭建的时候重新对接
卢锋：“新三样”出海——评我国高科技产业对外投资新动向,新三样,能源,卢锋
腾讯软件中心提供2023年最新6.90.66官方正式版LogitechSetPoint高速下载，本正式版LogitechSetPoint软件安全认证，免费无插件。
