情绪识别如何拯救你的生命 (情绪识别如何实现)

上海交通大学人工智能博士,前WiseNut研究中心算法负责人,前阿里北京算法研究中心负责人、高级算法专家。阅面科技专注于深度学习和计算机视觉,为消费级智能机器提供最前沿的视觉算法和解决方案。其技术应用领域包括服务机器人、智能家电、智能手机、无人机和其他消费电子产品行业。

情绪识别如何拯救你的生命? |雷锋网公开课

随着最近ADAS的火热,不少人开始注意到人脸识别在实际应用中有了更细分的场景——情绪识别,它可以在检测到驾驶员的愤怒情绪后,命令驾驶员勒紧安全带,提高制动器的反应响应性,也可以通过方向盘振动及警告声,将情绪状态告知驾驶员。从而让我们远离80%由驾驶员精神不集中及愤怒情绪所导致的交通事故。(据美国国家公路交通安全管理局NHTSA介绍,美国的交通事故有80%是由驾驶员精神不集中及愤怒情绪所导致的。)

那这个关乎生命的检测过程是如何实现的呢? 本期硬创公开课邀请了人工智能算法专家赵京雷从人脸识别和情绪识别区别开始,循序渐进到情绪识别原理,情绪识别的应用场景,最后为我们揭秘这个过程是如何实现的。

人脸识别和情绪识别不一样

首先我先说下情绪识别这个叫法。 情绪识别广义上可以通过表情、语音语调或者脑电捕捉等进行。目前技术上最成熟、得到广泛应用的是表情识别技术,也就是基于计算机视觉算法,识别人脸的表情动作和推断喜怒哀乐等基本情绪。

接下来,我们讲的“情绪识别”技术,都是指的狭义上的“表情识别”技术。 人脸识别大家都比较熟悉,表情识别可能接触较少,两者之间有很多的联系,又有很大的差别。

首先,我们看两者的不同。

上面说的是不同,当然,另一方面,两者都是对面部进行视觉处理,又有很强的联系。 两者的联系有以下方面。

另外,从总体的业界发展来看,从识别的难度上来讲,相对于人脸识别,表情识别在技术难度的挑战要更大一些,这和数据以及动态不确定性等因素有关。

能不能识别虚假表情

目前表情识别主要识别的是人类的基本情绪。根据心理学的基本情绪理论,人类的基本情绪包括:喜悦、悲伤、愤怒、讨厌、害怕、惊奇和中性。

著名心理学家Paul Ekman教授(美剧lie to me的角色原型)提出了一套面部动作编码理论(FACS),把人类的表情分解为多个面部动作单元(Action Units)。 这些面部单元单独并不能够代表任何的情感,但是它们的组合理论上可以表达人类的任何面部表情。

这一理论在心理学多年的研究中得到了验证,并在过去成功应用于动画角色的表情建模中。 比如阿凡达之类电影中的动画角色建模时。动画师不是对每一个动画帧的表情都进行单独刻画,而是首先对一些代表局部表情动作的Blend Shape进行建模。

比如代表眉毛升起或者嘴角上扬的 Blend Shape。这些Blend Shape就是某种意义上的面部表情单元。在这基础上,每一幅动画帧的丰富表情变化都可以通过这些基本帧加权来得到。

近些年,随着机器学习的发展,表情单元的编码系统也被成功的应用于表情识别。这个自动表情识别过程是这样的。 首先,机器学习算法会从很多的表情照片中习得特定的表情单元是否出现。不同的表情单元组合代表了不同的表情。

比如表情单元12代表嘴角上扬,表情单元6代表面颊上升,两者的结合在一顶程度上表示了人类喜悦的情绪。

情绪识别如何拯救你的生命? |雷锋网公开课

基于表情单元进行表情识别,理论上就可以捕捉人类上千种的不同的情绪。进一步可以做到表情映射和迁移,即把人的表情变化实时迁移另外一个人物模型上面去。

情绪识别如何拯救你的生命? |雷锋网公开课

上面是对表情识别原理的基本解释,下面回答“假笑”是否可以识别。

我们看美剧《Lie to me》,经常看到Ekman教授通过识别人的表情来判断一个人是不是在说谎。 在心理学理论上,真笑和假笑在一定程度上可以通过动作所涉及到动作单元的强度和动态过程来区分。

比如上面讲的,如果只是出现了动作单元12,没有出现动作单元6,再加上持续时间,那么是有可能判断是否为假笑的。

但关于这方面,我们将其称为微表情研究领域。

虽然学术届有些研究,但在应用中,目前这种“微表情”的识别还没有较成熟的商用系统,实用性不强。所以,计算机领域的“表情识别”主要还是指对人类基本情绪的识别,而不是微表情识别。

让计算机或者人工智能技术通过表情识别去做《Lie to me》中的微表情测谎, 目前是不太现实的,这可能会让大家失望哈。

主要的原因,不是因为现在的计算技术达不到,而是因为这方面的心理学理论还缺乏对“微表情”的清晰定义,从而构建相关数据来指导计算机认知就非常困难。

情绪识别会在哪些场景爆发

(目前情绪识别的应用场景主要在哪几个领域呢?你认为哪几个领域市场化的速度会比较快?)

嗯,这个是人工智能领域的从业者比较关心的问题。 情绪识别的应用场景,典型的有广告效果评估、产品评测、视频分析、医疗康复、安全驾驶和情感机器人等。

个人认为“情绪识别” 在人机交互领域会发展的比较快。包括安全驾驶、情感机器人。 让机器更好的理解人、更加智能和人性化的为人类服务是近期人工智能革命的根本。 机器慢慢的习得足够的情感认知能力以后,就可以在人机交互中对用户体验进行一系列的升级。

终于到了拯救生命这茬

(最近将情绪识别技术应用于ADAS的概念很火,从技术角度来说,这个过程具体是如何实现的呢?)

关于ADAS的应用。比较典型的场景有疲劳驾驶和路怒驾驶的检测和预警。 发现驾驶员有疲劳驾驶和路怒驾驶的状况后,可以触发干预。从技术角度,比如疲劳驾驶可以通过若干动作单元以及面部特征的组合来识别。比如闭眼超时、眉头下垂、睁眼被动等。

这个里面,比较大的技术挑战在于, 要考虑对人脸的捕捉角度以及计算效率

这种情况下,云服务不是好的选择。需要让计算机视觉的识别算法能够高精度、高效率的运算在本地的adas嵌入式系统上。

(热心观众:想问一下本地做识别往往受到数据库和算法的限制,为什么说云服务不是一个很好的选择的?)

主要看应用场景,在应用于诸如机器人和ADAS等系统中,系统需要实时计算,并且不能受到网络连接的影响,这个时候从产品用户体验和安全等考虑,云服务是不太现实的。需要本地的潜入sdk或者硬件乃至芯片方案。

(热心观众:它对本地ADAS的系统有什么样的要求?需要什么样的硬件配置?)

目前,举例来讲,阅面科技这边,基于深度学习的表情识别已经可以做到在小米3之类的手机上,1.6GCPU,不依赖于gpu, 每秒钟40帧以上。所以理论上,本地ADAS如果具有类似于一个普通智能手机的运算能力都可以跑。在一般的实际情况中,ADAS系统还会结合行人检测等算法,所以一般配置会高些。当然,如果有gpu,也可以进一步提速。

目前我们阅面科技在这方面也做了很多的工作。让深度学习在嵌入式系统中高精度和高效的运转会是接下来一些年计算机视觉的一个主题之一。

(如果情绪识别普及,不可避免地会触犯到每个人的隐私。如何在隐私保护和商业应用之间找到平衡。?

大家都知道,深度学习是和大数据紧密绑定的。 只有有了数据,才能利用机器学习的能力去从数据中自动习得知识

从这种意义上讲,情绪识别技术和其他计算机视觉技术或者说更广义的人工智能技术都依赖于数据的采集和处理。 当然,只要有数据采集,就有可能触犯个人的隐私。

数据的隐私问题可以说和互联网相伴而生。 我们每天浏览网页、搜索信息和在线购物过程中,我们的偏好数据都在网络中曝光。而也正是这些数据,让我们更加准确搜索到信息,更加快速的发现自己喜欢的商品

如何最大限度的保护个人的隐私,同时合理的利用个人数据,是个两难问题。 我们目前在这方面,可以让我们的客户选择只是回传服务端关键点等数据,而不是原始图像,是一种折中的方案吧。

原创文章,未经授权禁止转载。详情见 转载须知 。

情绪识别如何拯救你的生命? |雷锋网公开课

全局中部横幅
亿方云企业网盘

亿方云网盘是360旗下一款专业的协同办公企业网盘(企业云盘),强大的在线文档编辑功能为企业提供文件管理、文件存储、共享文件、协同办公、移动办公等便捷服务,亿方云网盘满足企业团队协作和高效办公需求。

享购车

中国最可信的汽车以租代购交易市场,在线提供以租代购市场信息,二手车估价、二手车出售、二手车以租代购、转让、求购等服务。

【金商港】

【金商港】是一个免费发布产品信息的平台,注册简单,所有发布信息的商家都需要经过邮箱、短信、营业执照热证,信息真实可靠,发信息,找产品,做推广就上【金商港】!

飞机小游戏,直升机小游戏,飞机小游戏大全,4399小游戏

4399飞机小游戏大全收录国内外飞机游戏,直升机小游戏,飞机大战小游戏,街机飞机游戏,双人飞机小游戏,双人直升机小游戏,好玩就拉朋友们一起来玩吧!

TOTO马桶

TOTO作为一个生产、销售民用及商业设施用卫浴及相关设备品牌。始终追求高品质、高工艺水平,使用户享受卫生、健康、舒适的生活是TOTO一贯追求的目标。

无锡宏瑞机器制造有限公司

无锡宏瑞机器制造有限公司创建于80年代初,是一家专业生产软包装成套设备、新材料涂布设备、水处理膜设备以及提供技术培训与调试服务的综合性企业。

华丽家族

华丽家族股份有限公司(上海证券交易所股票代码:600503)是上海著名房地产开发集团之一,拥有国家建设部颁发的一级开发资质,2010年获上海市著名商标。公司以地产开发为核心业务,同时涉足建筑装饰(国家一级资质)、绿化环保等相关产业,并正在拓展商业地产、旅游地产、城市基础设施建设等业务。目前正积极开辟第二主业、涉及金融投资、生物制药、新能源、节能环保等股权运作投资,从而逐步培育公司新的业务增长点。

奥克斯集团有限公司

始创于1986年的奥克斯集团,产业涵盖家电、电能设备、医疗、地产、投资等领域,连续多年位列中国企业500强。

浙江谷地机械科技有限公司

浙江谷地机械科技有限公司拥有十五年以上工作经验的真空乳化机设计研发团队,公司服务于制药、化妆品、生物、食品等行业,产品从设计、采购、生产、总装和调试整个流程完全受控,致力于为客户提供高品质的产品,欢迎来电洽谈。

老铁十三水

正宗十三水,原汁原味,特色十足!随心畅玩,超级刺激,还原线下游戏玩法!更公平、更透明、结算界面一目了然!游戏操作简单,超快上手无压力!

全局底部横幅