知识图谱 搜狗同传3.0 引入视觉能力 构建语境引擎 (知识图谱搜索功能)
2019年，距李世石与AlphGO的“人机大战”已有三年，似乎没有人再怀疑，在“下棋”这件事儿上，人类确实已经输给了AI，人类与AI下一个较量会在哪里？
同传（同声传译）将很可能是下一个面临挑战的应用场景。
12月21日，基于语境引擎的搜狗同传3.0以多模态和自主学习为核心，加入视觉和思维能力，这是AI同传在加入诸如视觉AI、知识图谱等能力后的再度进化。
从人到机器：困于行业知识的AI同传，破局定制化难题
多模态同传，顾名思义，聚合多种交互形式实现同传的能力。
据雷锋网了解，搜狗在多模态领域的探索和应用早已有之，包括此前在AI合成主播上的应用，结合了语音、唇语、表情动作等交互形式，最终形成的AI合成主播参与了2019年全国的两会报道，甚至还走出国门，与阿布扎比媒体集团达成合作，将推出全球首个阿拉伯语AI合成主播。
为什么经过两代迭代后，搜狗会在同传系统中引入图像识别的能力？
这要从搜狗此前两代同传系统，以及此前对数千场会议的同传支持的痛苦经历上谈起。
2016年，搜狗在「第三届乌镇互联网大会」上发布了行业第一个商用AI同传产品——搜狗同传1.0。这是搜狗同传的第一代产品，同时也是搜狗进入同传这一领域的第一次商业尝试。
“1.0阶段我们提供的是通用的同传能力，在实际应用过程中遇到的最大的问题是：每一位讲者在演讲时的背景信息和语义信息不一样，可能今天我们需要支持医疗会议，明天需要支持航空会议，我们很难获取这类专业会议的‘语义词’。”
回看最初的搜狗同传1.0时，搜狗AI交互技术部总经理陈伟认为当时实际应用中遇到最大的问题是难以获取各专业领域的“语义词”，这也影响了最初这一产品的识别及翻译的准确度。
如何获取这些专业的“语义词”，以此来训练专用的模型，改进通用的1.0版本？
这是搜狗同传研发团队当时在进行版本迭代时主要考虑的问题，也是最终搜狗同传2.0试图去解决的问题。
这也就有了2018年发布的搜狗同传2.0的几点重要能力的升级：通过行业深度定制和专属模型训练（例如事先上传演讲稿或给出重点词汇进行训练），输出行业方案。
“在迭代到2.0版本后，我们一般会投很多人针对演讲者要讲的内容做优化，但是我们往往很难拿到演讲稿，所以只能在网上找与这个人相关的背景知识，以前讲过的内容，基于此做模型优化。”
尽管2.0版本考虑到了专业化内容的优化，但是在具体应用过程中，由于难以会前获取实际演讲者的演讲内容，并未能用这些专业内容进行定制模型优化。
其实在这样的升级迭代过程中，搜狗同传的通用能力从2016年的搜狗同传1.0到2018年搜狗同传2.0已经有了明显的提升，“但是就通用能力和个性化能力上，在嘉宾演讲的PPT内容的识别和翻译效果仍有较大提升空间，这是一定存在的。”
也因此，搜狗仍在继续优化个性化能力，也就是搜狗同传的定制化能力，“我们希望让机器自己定制一个好的语境。”
这样的能力最终在搜狗同传3.0上得以实现。
搜狗同传3.0：引入视觉能力、知识图谱，构建语境引擎
12月21日，基于语境引擎的搜狗同传3.0以多模态和自主学习为核心，加入视觉和思维能力，这是AI同传在加入诸如视觉AI、知识图谱等能力后的再度进化。
据陈伟介绍，搜狗同传3.0相对于上一代产品主要有三方面能力的提升：
“语境引擎能够真正做到对PPT内容的理解和推理，”陈伟点出搜狗同传3.0的核心能力所在。
具体搜狗同传3.0技术框图如下图所示：
从搜狗同传3.0技术框图中可以看到，语境引擎主要由「PPT文本理解」和「搜狗知识图谱」两部分组成。
语境引擎整个工作过程具体可以理解为：
这其中，搜狗还在同传系统中加入了识别翻译协同模块，对翻译模型的输入文本进行优化，这一模块的作用在两次迭代中也从最初、最基本的标点断句，逐渐升级为拥有标点断句、文本顺滑、语义单元三大能力。
在这个过程中，搜狗的机器翻译模块也从1.0系统的RNN模型、2.0系统的Transformer模型，升级为3.0多模态翻译系统，3.0系统是在Transformer模型基础上，将搜狗百科知识图谱和翻译历史融合到翻译系统中，并实现了流式解码。
据搜狗官方公布信息来看，通过构建语境引擎升级后的搜狗同传3.0系统的实测数据如下图所示：
这样现场识别PPT内容，结合搜狗百度百科知识图谱，构建语境引擎，是否对算力和硬件有特殊要求呢？
陈伟解释称，现场做PPT内容识别的时候可以直接通过截屏（本机播放PPT）或笔记本电脑上的摄像头来完成，语音训练用英伟达常规的P40或V100进行训练，训练推理方面没有额外增加负担。
AI同传尚难取代人类同传，多模态成趋势
引入视觉能力、加入知识图谱后的搜狗同传3.0，能够完全取代人类同传吗？
据搜狗官方在发布会上公布的信息显示：
在实际测评中，搜狗同传3.0的评测得分为3.82分，人工同传的评测得分为4.08分。
显然，就目前而言，AI同传还无法完全取代人类同传。
就此，陈伟也指出，
回归到语言本身时，各类传感器越来越多，设备能够收集到的数据及数据种类越来越多，亦即越来越多的多模态数据逐渐可以获得，当有了多模态数据后，相关模型和算法也逐渐开始受到业界所关注。
“但是大家一开始还是把多模态这件事想得太简单了，多模态的实现过程不是简单把模态融合在一起，从我们这些年在上面的认知来看，是一个蛮复杂的过程。”
当提到搜狗在多模态语音方面的技术发展，陈伟表示：
“我们是第一个在技术上主张多模态的公司，此次搜狗同传3.0也是从语音跨到了多模态，在这种多模态下将我们对于知识的理解、对语音的理解放进去，我们的同传就也开始具备一定的认知能力。”
“我们公司的终极目标是走向做VPA，即一个软件形态的AI助理，可能以硬件为载体，也可能放在搜狗输入法、搜狗的搜索引擎上。搜狗VPA的形态，是一个任务导向，中间会看到以对话为主的形象。同传这个场景下，我认为搜狗同传就是一种形态的VPA，是具备了同传能力的VPA，它可以与人做同传交互。”
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/50477676b6c08dae9c76.html
-商贸-招商加盟网址
宁波市房产交易信息服务网是集房源信息搜索、产品研发、大数据处理、服务标准建立为一体的以数据驱动的全价值链房产服务平台。宁波市房产交易信息服务网的前身为中国宁波住宅和房地产网。
“诚信可靠，服务先行”是软银财务一直来奉行的经营理念。目前软银财务凭借专业的知识、丰富的实战经验和优质的服务，赢得了客户的信赖
若邻精英家教是师大学生和一线教师联合创立的深圳家教中心,高校勤工助学协会指定深圳大学生家教合作平台，汇聚一线优秀中小学老师及深圳重点高校大学生研究生，提供深圳同城上门家教一对一中小学全科家教辅导。小学，初中，高中，中考，高考语文，数学，英语，物理，化学，生物等附近一对一上门家教在线补课辅导普学零五网答案家教114平台官网
新湖南，湖南新闻第一端。是湖南日报社的全新融合，是湖南15家省市州党委机关报全媒体合作平台。党报底色，湖湘基因，是全球湖南人的精神家园。
佛山水务环保股份有限公司(佛水环保）是一家业务范围覆盖佛山城镇和农村的自来水供给、佛山水质监测、污水处理、佛山市政工程、河涌修复、污泥处理、生活垃圾处理等水务环保领域的集团企业，提供投资、建设、运营、管理及相关增值服务，客服热线：0757-96968。
朗道质控山东代理
轨道运输机-单轨运输机-浙江大井机械有限公司浙江大井机械公司主营：轨道运输机、单轨运输机，是浙江省一家集科研、生产、销售为一体的专门生产农业机械设备、园林机械、渔业机械、清淤机械等产品的企业。现有员工26人。自制有农用搬运机械生产流水线。主要用于单轨运输机的生产。
衢州市顺风广告标识标牌制造有限公司是一家标识标牌生产厂家，主营雕塑、金属标牌、制作标牌、标识标牌制作、标牌标识制作、标识牌制作、LED发光字制作、迷你发光字等，产品价格优惠，广受客户好评，业务覆盖全国，主要覆盖浙江衢州、杭州、金华、丽水、上海、安徽、江西等地。
江苏悦达智能农业装备有限公司（以下简称悦达智能农装）是江苏悦达投资股份有限公司（股票代码600805）控股企业，江苏悦达集团有限公司核心企业，注册资本5.14亿元，公司拥有资产8.27亿元人民币，职工1000余人，占地面积500余亩。公司主导产品有近百个品种，产品功率覆盖16-250马力，产品销售区域遍及国内三十多个省、市和自治区，并外销北美洲、欧洲、南美洲、非洲、东南亚及中东等九十多个国家和地区，出口交货值多年位居全国同行业前茅。
天津注册地址|天津税收筹划|天津资质代办|天津代理记账|星河(天津)财税服务有限公司|星河企业服务集团
宛如待人探索的隐秘堡垒是迷宫游戏的一大亮点，2024耐玩的迷宫游戏排行榜分享迷雾重重的秘境等待着揭秘，敞开大门迎接着勇敢的探险者，同时在这类游戏里往往夹杂着极为奇妙的挑战，那种独特的神秘感挑战性另迷宫游戏也风靡一时，巧妙至极的设计令人情不自禁的为之震撼，1、，英雄迷宫冒险，英雄迷宫冒险，玩家将扮演着经营者以及冒险者双重的游戏身份，游...。
本期针对适合一个人长期玩的单机手游主题收录了五款耐玩的游戏，可供玩家一个人没事的时候来进行体验，即使在网络质量不好或者缺少流量的情况下，都能够随时的来消磨时间，完全不受任何限制的来进行体验，接下来的游戏都各具特色，等着玩家来尝试哦，1、，滑雪大冒险，滑雪大冒险，是一款惊险刺激的滑雪跑酷类游戏，拥有的画风特别的精美，而且对人物的角色进...。
8月25日，凭借在解决云网络转发性能和成本问题上的优异表现，腾讯云可编程网络项目，成功入选第六届未来网络发展大会，2022未来网络领先创新科技成果，作为大会发布的15项领先创新科技成果之一，腾讯云在可编程网络领域的产品技术实力再获业界权威认可，近年来，云计算行业爆发式增长，也使传统网络方式难以应对大规模云应用阶段的网络诉求，在此背景...。
12月5日，，2023新一代人工智能，深圳，创业大赛，颁奖典礼在深圳举办，大赛最终角逐出一等奖1名，二等奖3名，三等奖6名，深圳市委常委、宣传部部长张玲，宝安区委副书记、区政府党组书记、区长王立德，深圳市委宣传部副部长、市委网信办主任、市委互联网企业工委书记王楚宏、网易传媒CEO李黎等出席了颁奖典礼并给获奖项目颁奖，在颁奖典礼上，为促...。
在AI与各行各业相融合的行业大背景下，AI，视频可以碰撞出什么样的火花，7月8日，在由中国计算机学会，CCF，主办、雷锋网与香港中文大学，深圳，承办的第二届CCF，GAIR全球人工智能与机器人峰会AI，专场上，慧川智能CEO康洪文重点介绍了AI在视频的创作以及内容理解两方面的技术，希望能让视频创作者、以及其他视频领域从业人员的工作更加...。
在IVD企业扎堆上市的大潮下，一家股东尚未成年、被划为批发业的生物技术公司也走到了大众台前，近日，深圳市达科为生物技术股份有限公司通过创业板上市委会议，根据招股书，达科为成立于1999年，是一家生命科学研究服务及病理诊断领域的专业提供商，主要从事科研试剂及仪器的代理销售，以及部分科研试剂、病理诊断设备及试剂的自主研发、生产及销售，达科...。
发表在投影仪评测2020，9，1815，43导读，今天我们开箱的是一款天猫精灵的微型投影仪—天猫精灵小红盒，天猫精灵小红盒是一款发布快一年的便携式投影仪，因机身由红色作为主色，所以有被称为小红盒投影仪，往下一起看看天猫精灵小红盒怎么样吧，外观赏析天猫精灵小红盒外观以红色为主，外观洋溢着喜庆的气息；机身使用了PC材质，PC是一种聚碳酸酯...。
犟骨头排骨饭是销售营养快餐的餐饮品牌，公司推出的餐品具有分量足、食材搭配均衡、老少皆宜的特点，在市场中相当畅销，受到广大消费者的强烈热捧，随着时间的推移，犟骨头排骨饭的影响力得到逐步深化，其进而成为大众熟悉且青睐的餐饮品牌，为向各位读者推荐该项目，本文将对犟骨头排骨饭加盟费多少的话题展开解析，给有需要的读者提供帮助，经编者走访市场后得...。
一二九静止地下告发了日本帝国主义侵略中国，吞并华北的诡计，打击了国民党政府的妥协投诚政策，大大地促成了中国人民的醒悟，它配合了红军北上抗日，促成了国际和温和对日抗战，它标记着中国人民抗日独裁静止新高潮的来到，正如毛泽东所指出的，一二九静止，是抗战发动的静止，是预备思维和干部的静止，是发动全民族的静止，，，有着严重的历史意义，精气，谋...。
可以经过网络投递，操作步骤如下，如何做一份，完美，简历众所周之，简历是求职的，敲门砖，，那如何从海量的求职简历中锋芒毕露呢，简历服务机构，简历前沿，担任人林锦添提了几点倡导，想从事二手车评价然而没有阅历怎样办谈到二手车评价师，咱们都知道这是一个薪资高、待遇好、开展后劲大的职业；想要从事这一职业的人也相当多，除了高薪的诱惑之外，更多的人...。
近年来，随着汽车行业的飞速开展和人民生存水平的提高，越来越多的人开局关注汽车，而购置一辆汽车恰恰也成为了许多人谋求的幻想，如今，有许多品牌和型号的汽车选用，其中起亚K5无疑是一个值得关注的选用，起亚K5作为韩国品牌汽车，领有较好的质量与乘用温馨性，并且外型柔美、性价比也十分不错，令人印象深入，近期起亚公司对该系列车型启动了降级，新增性...。
Although的意思是，虽然，、，虽然，具体解释，1.，Although，的基本含意，Although，是一个罕用的连词，用于疏导退让状语从句，示意对比或转机相关，其关键作用是标明前面所述的状况虽然与前面所形容的状况有所抵触或不同，但两者在逻辑上存在必定的关联，2.，Although，的用法在句子中，，Although，理论位于句...。
方正善春屏写,善春屏写体是一套相当出色的字体，由方正官方倾情打造，方正善春屏写体适合于广告和网络应用，并能胜任个性化文本的排版，欢迎下载使用,您可以免费下载。
重庆分类目录网站将2020年12月共240个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
荒原疗者修改器是该同名游戏的一款修改工具，具有无限生命、无限法力、无限水等修改功能，使用后可以帮助玩家快速升级游戏任务。
DetectitEasy(查壳工具)是一个多功能的PE-DIY工具，主要用于壳侦测。功能正日益完善，是不可多得的破解利器！支持文件直接拖放，可添加到右键菜单，非常方便！
DataLoader是一款功能强大的数据库导入导出工具，能够在许多常见数据库格式之间导出和导入数据。如果您希望将MSSQLServer、CSV
