知识图谱 搜狗同传3.0 引入视觉能力 构建语境引擎 (知识图谱搜索功能)
2019年，距李世石与AlphGO的“人机大战”已有三年，似乎没有人再怀疑，在“下棋”这件事儿上，人类确实已经输给了AI，人类与AI下一个较量会在哪里？
同传（同声传译）将很可能是下一个面临挑战的应用场景。
12月21日，基于语境引擎的搜狗同传3.0以多模态和自主学习为核心，加入视觉和思维能力，这是AI同传在加入诸如视觉AI、知识图谱等能力后的再度进化。
从人到机器：困于行业知识的AI同传，破局定制化难题
多模态同传，顾名思义，聚合多种交互形式实现同传的能力。
据雷锋网了解，搜狗在多模态领域的探索和应用早已有之，包括此前在AI合成主播上的应用，结合了语音、唇语、表情动作等交互形式，最终形成的AI合成主播参与了2019年全国的两会报道，甚至还走出国门，与阿布扎比媒体集团达成合作，将推出全球首个阿拉伯语AI合成主播。
为什么经过两代迭代后，搜狗会在同传系统中引入图像识别的能力？
这要从搜狗此前两代同传系统，以及此前对数千场会议的同传支持的痛苦经历上谈起。
2016年，搜狗在「第三届乌镇互联网大会」上发布了行业第一个商用AI同传产品——搜狗同传1.0。这是搜狗同传的第一代产品，同时也是搜狗进入同传这一领域的第一次商业尝试。
“1.0阶段我们提供的是通用的同传能力，在实际应用过程中遇到的最大的问题是：每一位讲者在演讲时的背景信息和语义信息不一样，可能今天我们需要支持医疗会议，明天需要支持航空会议，我们很难获取这类专业会议的‘语义词’。”
回看最初的搜狗同传1.0时，搜狗AI交互技术部总经理陈伟认为当时实际应用中遇到最大的问题是难以获取各专业领域的“语义词”，这也影响了最初这一产品的识别及翻译的准确度。
如何获取这些专业的“语义词”，以此来训练专用的模型，改进通用的1.0版本？
这是搜狗同传研发团队当时在进行版本迭代时主要考虑的问题，也是最终搜狗同传2.0试图去解决的问题。
这也就有了2018年发布的搜狗同传2.0的几点重要能力的升级：通过行业深度定制和专属模型训练（例如事先上传演讲稿或给出重点词汇进行训练），输出行业方案。
“在迭代到2.0版本后，我们一般会投很多人针对演讲者要讲的内容做优化，但是我们往往很难拿到演讲稿，所以只能在网上找与这个人相关的背景知识，以前讲过的内容，基于此做模型优化。”
尽管2.0版本考虑到了专业化内容的优化，但是在具体应用过程中，由于难以会前获取实际演讲者的演讲内容，并未能用这些专业内容进行定制模型优化。
其实在这样的升级迭代过程中，搜狗同传的通用能力从2016年的搜狗同传1.0到2018年搜狗同传2.0已经有了明显的提升，“但是就通用能力和个性化能力上，在嘉宾演讲的PPT内容的识别和翻译效果仍有较大提升空间，这是一定存在的。”
也因此，搜狗仍在继续优化个性化能力，也就是搜狗同传的定制化能力，“我们希望让机器自己定制一个好的语境。”
这样的能力最终在搜狗同传3.0上得以实现。
搜狗同传3.0：引入视觉能力、知识图谱，构建语境引擎
12月21日，基于语境引擎的搜狗同传3.0以多模态和自主学习为核心，加入视觉和思维能力，这是AI同传在加入诸如视觉AI、知识图谱等能力后的再度进化。
据陈伟介绍，搜狗同传3.0相对于上一代产品主要有三方面能力的提升：
“语境引擎能够真正做到对PPT内容的理解和推理，”陈伟点出搜狗同传3.0的核心能力所在。
具体搜狗同传3.0技术框图如下图所示：
从搜狗同传3.0技术框图中可以看到，语境引擎主要由「PPT文本理解」和「搜狗知识图谱」两部分组成。
语境引擎整个工作过程具体可以理解为：
这其中，搜狗还在同传系统中加入了识别翻译协同模块，对翻译模型的输入文本进行优化，这一模块的作用在两次迭代中也从最初、最基本的标点断句，逐渐升级为拥有标点断句、文本顺滑、语义单元三大能力。
在这个过程中，搜狗的机器翻译模块也从1.0系统的RNN模型、2.0系统的Transformer模型，升级为3.0多模态翻译系统，3.0系统是在Transformer模型基础上，将搜狗百科知识图谱和翻译历史融合到翻译系统中，并实现了流式解码。
据搜狗官方公布信息来看，通过构建语境引擎升级后的搜狗同传3.0系统的实测数据如下图所示：
这样现场识别PPT内容，结合搜狗百度百科知识图谱，构建语境引擎，是否对算力和硬件有特殊要求呢？
陈伟解释称，现场做PPT内容识别的时候可以直接通过截屏（本机播放PPT）或笔记本电脑上的摄像头来完成，语音训练用英伟达常规的P40或V100进行训练，训练推理方面没有额外增加负担。
AI同传尚难取代人类同传，多模态成趋势
引入视觉能力、加入知识图谱后的搜狗同传3.0，能够完全取代人类同传吗？
据搜狗官方在发布会上公布的信息显示：
在实际测评中，搜狗同传3.0的评测得分为3.82分，人工同传的评测得分为4.08分。
显然，就目前而言，AI同传还无法完全取代人类同传。
就此，陈伟也指出，
回归到语言本身时，各类传感器越来越多，设备能够收集到的数据及数据种类越来越多，亦即越来越多的多模态数据逐渐可以获得，当有了多模态数据后，相关模型和算法也逐渐开始受到业界所关注。
“但是大家一开始还是把多模态这件事想得太简单了，多模态的实现过程不是简单把模态融合在一起，从我们这些年在上面的认知来看，是一个蛮复杂的过程。”
当提到搜狗在多模态语音方面的技术发展，陈伟表示：
“我们是第一个在技术上主张多模态的公司，此次搜狗同传3.0也是从语音跨到了多模态，在这种多模态下将我们对于知识的理解、对语音的理解放进去，我们的同传就也开始具备一定的认知能力。”
“我们公司的终极目标是走向做VPA，即一个软件形态的AI助理，可能以硬件为载体，也可能放在搜狗输入法、搜狗的搜索引擎上。搜狗VPA的形态，是一个任务导向，中间会看到以对话为主的形象。同传这个场景下，我认为搜狗同传就是一种形态的VPA，是具备了同传能力的VPA，它可以与人做同传交互。”
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/50477676b6c08dae9c76.html
百度PC排名API数据接口根据域名和关键词返回百度PC关键词收录量、抓取时间、关键词排名（页数-第几条）、页面标题、页面链接地址。
在线工具大全提供和收集各种简单方便的在线工具，无需注册和下载安装就能使用各种各样优秀的在线工具。
爱站网为您提供中文网站排行榜，收集了国内各行各业排名的知名网站，按照百度爱好度、alexa等进行排名。爱站网中文网站排行榜是国内最专业、最权威的中文网站排行榜。
中科正奇（北京）科技有限公司专业从事防爆气象站,粉尘检测仪,气象站,扬尘监测系统,负氧离子监测系统,油烟监测系统等环保监测设备的生产研发和销售,详询4008-675-585征招全国代理
古诗词是一种有特殊格式及韵律的文体，它以古体诗、近体诗为代表。按音律分，可分为古体诗和近体诗两类。按内容可分为叙事诗、抒情诗、送别诗、边塞诗、山水田园诗、怀古诗（咏史诗）、悼亡诗，咏物诗，军旅诗等。
绿色节能环保网是绿色节能环保行业B2B电子商务平台、电子商务网站，是企业寻求节能环保设备的销售、采购、使用管理和节能环保设备技术服务的行业门户。
Actguidebrand领驱品牌设计（上海）有限公司（www.actguide.com），是一家极具前瞻性与实效性的品牌设计咨询机构，我们提供品牌设计、包装设计、标志设计、logo设计、vi设计、品牌咨询、品牌规划、品牌策划、营销策划、商业空间设计、产品创新服务。
伊津政电线电缆（上海）有限公司伊津政电线电缆（上海）有限公司-伊津政电线电缆（上海）有限公司是日本株式会社IZUMASA100%投资设立的外商独资企业，成立于2008年。我公司作为专业销售电线电缆的商社，与日本各大电线厂家间建立了良好的合作和信赖关系。我公司主要提供目前国内无法生产的日本及德国品牌的高端电线电缆产品伊津政电线电缆（上海）有限公司于2008年1月28日设立，是日本IZUMASA在中国100%出资的企业。总公司在日本大阪，已有75年的历史的电线电缆公司。我司是日本进口电缆代理商，主业务是日本进口机器人电缆/移动橡胶电缆、进口补偿导线，拖链电缆，UL认证电缆，PSE认证电缆，多连复合拖链电缆等代理。提供机器人线缆定制生产。大电ロボトップ机器人电缆起订量10米为单位切断销售；专业的日本工程师提供电线电缆的技术支持。伊津政电线电缆（上海）有限公司-伊津政电线电缆（上海）有限公司是日本株式会社IZUMASA100%投资设立的外商独资企业，成立于2008年。我公司作为专业销售电线电缆的商社，与日本各大电线厂家间建立了良好的合作和信赖关系
圣思模切|网纱模切|泡棉模切|双面胶模切|保护膜模切|导热材料模切|散热材料模切|导电屏蔽材料模切|其他材料模切|东莞市圣思电子有限公司
欢迎来到以用户体验为优先的雨云，我们提供稳定高速的国际虚拟主机，云服务器产品，强大的功能，高效率的客户支持，简洁易用的面板，值得您的信赖
工地网为您免费提供大量建筑工程公司黄页、模型幕墙企业名录、园林景观企业联系电话、建筑设计公司大全、工业模型设计制作价格，同时您也可以免费发布花卉公司产品信息，查找建筑幕墙供应商联系方式、工程租赁公司联系电话，优质的工程企业信息就在工地网。
品牌全案;区域公用品牌策划设计;农产品/食品/餐饮/酒店/服饰品牌服务
春节假期即将到来，跨境游双向升温，为满足用户假期出国游的打车需求，1月20日，滴滴宣布滴滴出行App升级至7.0版本，开通试行，海外出行，功能，支持中文界面、线上支付和中文客服，方便用户在当地打车，即日起，滴滴海外出行首期试行服务覆盖韩国、新加坡、马来西亚、印度尼西亚、越南等共建，一带一路，国家的超80个旅游热门城市，陌生的城市，熟悉...。
雷锋网·新智驾消息，9月26日，自动驾驶技术公司景驰科技宣布完成5200万美元Pre，A轮融资，启明创投领投，华创资本跟投，另外，英伟达GPUVentures和部分机构与个人也参与了本轮投资，此次融资将主要用于景驰在中美两地的团队扩展，以快速完成公司设定的2017年年底在中国的无人驾驶车队部署规划，实际上，这轮5200万美元的融资是早...。
英特尔量子计算项目有了新进展，英特尔实验室首席工程师StefanoPellerano称新的低温控制芯片将加速全堆栈量子计算系统的发展，标志着商业上可行的量子计算机的发展的一个里程碑，雷锋网2月19日消息，据外媒报道，在旧金山举行的国际固态电话会议上，英特尔和QuTech称正在为新的低温控制芯片马岭的设计技术揭秘，英特尔实验室和QuTe...。
雷锋网按，11月15日，，全球AI，智适应教育峰会，在北京嘉里中心大酒店盛大开幕，峰会由雷锋网联合乂学教育松鼠AI，以及IEEE，美国电气电子工程师学会，教育工程和自适应教育标准工作组共同举办，汇聚国内外顶尖阵容，本次峰会邀请了美国三院院士、机器学习泰斗MichaelJordan、全球公认的机器学习之父、卡耐基梅隆大学计算机学院院长、...。
日前，在首届数字中国建设峰会上，浙江，最多跑一次，再获认可，入选，数字中国，建设最佳实践，在今年的全国两会上，，最多跑一次，首次写入了政府工作报告，从优化政府审批流程切入，从理念、制度到作风的全方位深层次变革，贯穿到政府依法履职、规范权力运用的各个方面各个环节，成为我国深化行政体制改革内在的强大推进器，浙江是较早推进，互联网，政务服务...。
发表在神画投影仪2018，12，413，19在智能手机领域，苹果毋庸置疑是一家出色的领军企业，其产品一直定位于高端，在为消费者制造惊喜的同时，也一贯成为同行争相模仿的对象，从最早的产品设计、UI交互设计、到指纹识别，再到后来的3DTunch技术，甚至包括天线等产品细节，都被友商广泛模仿，在目前新兴的智能微型投影领域，也有这么一家公司，...。
指经过健康的饮食，良好的睡眠，平和的心态加上适量的运动来达到减少身体脂肪堆积的一种现象，设法纠正肥胖者异常反应造成的不当行为，即用行为科学分析肥胖者摄食行为的特征和运动类型，以此为基础，合理修正导致肥胖的行动，目前市面上分为代餐法、运动法、行为矫正法、药物法、手术法、运动等多种方法，...。
南方电视台、广东电视台、广州电视台、商界、经营报、连锁经营、连锁时代、广州日报、羊城晚报、南方都市报、新快报、深圳商报、深圳特区报、广州连锁、民营经济报、华南商业周刊、信息时报、致富时代、今日财富、大众商务、争取进一步拓展市场指南、创富时代、致富钥匙、财富经、好财路、经营报、创业周刊、商业新闻发布平台、和谐铁路杂志、地纬商机网、连锁、...。
11月7日上午，十二届人大常委会第二十四次会议审议了关于修改民办教育促进法的决定，正式表决了关于修改民办教育促进法的决定，本次民促法修法的核心是，民办教育机构的营利性和非营利性的分类管理，本次民促法修订了哪些关键内容，1、非营利性民办学校的举办者不得取得办学经营，学校的办学结余全部用于办学，2、营利性民办学校的举办者可以取得办学经营，...。
你好，答案是猴，猴在十二地支中以，申，为代表，在一年中申月就是七月，是秋高气爽节令的开局，秋风渐起，开局秋收预备冬藏了，方向是西南偏西方，属坤宫，在一日中，申时指下午三时至五时，是忙于实现一天上班的最后阶段，宿愿我的回答可以帮到你二0一四年属什么生肖，2014年是甲午年，生肖属马，14年属什么14年是什么生肖1、14年出世的属马，2、...。
在泛滥的磁力下载软件中，挑选出真正适用的那几款并非易事，但是，经过细心挑选，咱们为您带来了七款备受推崇的磁力下载工具，它们区分是蟒蛇下载、BitComet比特彗星、Motrix、qBittorrent、uTorrent、文件蜈蚣和磁力空间，这些软件不只配置弱小，而且易于操作，能够满足您对ed2k下载的需求，1.专业装置指南首先，下载B...。
抖音是现在市面上最火的短视频平台，平台上有各种不同的风格视频可以看，也有一些直播等内容，深受广大用户喜欢！用户在使用多了以后难免会碰到不少问题，比如抖音直播伴侣怎么设置电脑屏幕捕捉？接下来和我们一起看
#净网护网，有你有我#，7月三大网络诈骗典型案例，来了，速看！，#网警说#今天，蜀黍带你盘点7月三大网络高发诈骗类型，分别为，网络兼职，、，网络投资，、，冒充客服，这些骗子的套路，你周围有人中招吗，快来和蜀黍学习避坑指南，不再被骗！来源，松松科技QQ，微信，lusongsong7本文地址，https，down.lusongso...。
万殿壹煲酸菜鱼米饭开店怎么样，万殿壹煲酸菜鱼米饭它选自好的原生态深海龙利鱼，高蛋白、低脂肪，老少皆宜，四季创收，是一个深受欢迎的好项目，看懂商机就行动起来加盟吧，万殿壹煲酸菜鱼米饭严格把控食材品质及制作工艺，制成的酸菜鱼肉质细嫩，汤酸鲜美，口感令人回味，时尚的品牌形象、舒适的格调氛围，符合现代消费群体审美需求，万殿壹煲致力于打造出立体...。
2020年刚开年，各大手机品牌已经竞相发布了旗下新款旗舰智能手机，外观惊艳、性能强大、影像出色、游戏极致、5G和Wi，Fi6助力……每一款手机都刷新了我们对于旗舰的定义，一个观察是，所有5G旗舰手机的核心共性就是几乎都搭载了高通骁龙865移动平台，根据高通官方公布的信息，已有超过70款采用骁龙865的5G终端设计已发布或正在开发中，据...。
雷锋网AI科技评论按，本文作者为阿德莱德大学助理教授吴琦，他在为雷锋网AI科技评论投递的独家稿件中回顾了他从跨领域图像识别到Vision，to，Language相关的研究思路，如今正将研究领域延伸到与Action相关的工作，雷锋网AI科技评论对文章做了不改动原意的编辑，大家好，我叫吴琦，目前在阿德莱德大学担任讲师，助理教授，2014...。
雷锋网按，本周，人工智能产、学两界的资深人士纷纷在顶级会议AAAI中亮相，分享了他们在各自研究方向的体会与心得，本期雷锋网AI科技评论周刊整理了清华大学朱小燕教授、麻省理工学院RosalindPicard教授、百度副总裁王海峰、亚马逊AWS机器学习总监AlexSmola的分享，独家，清华大学朱小燕教授做客AI科技评论，分享NLP和AI...。
