知识图谱 搜狗同传3.0 引入视觉能力 构建语境引擎 (知识图谱搜索功能)
2019年，距李世石与AlphGO的“人机大战”已有三年，似乎没有人再怀疑，在“下棋”这件事儿上，人类确实已经输给了AI，人类与AI下一个较量会在哪里？
同传（同声传译）将很可能是下一个面临挑战的应用场景。
12月21日，基于语境引擎的搜狗同传3.0以多模态和自主学习为核心，加入视觉和思维能力，这是AI同传在加入诸如视觉AI、知识图谱等能力后的再度进化。
从人到机器：困于行业知识的AI同传，破局定制化难题
多模态同传，顾名思义，聚合多种交互形式实现同传的能力。
据雷锋网了解，搜狗在多模态领域的探索和应用早已有之，包括此前在AI合成主播上的应用，结合了语音、唇语、表情动作等交互形式，最终形成的AI合成主播参与了2019年全国的两会报道，甚至还走出国门，与阿布扎比媒体集团达成合作，将推出全球首个阿拉伯语AI合成主播。
为什么经过两代迭代后，搜狗会在同传系统中引入图像识别的能力？
这要从搜狗此前两代同传系统，以及此前对数千场会议的同传支持的痛苦经历上谈起。
2016年，搜狗在「第三届乌镇互联网大会」上发布了行业第一个商用AI同传产品——搜狗同传1.0。这是搜狗同传的第一代产品，同时也是搜狗进入同传这一领域的第一次商业尝试。
“1.0阶段我们提供的是通用的同传能力，在实际应用过程中遇到的最大的问题是：每一位讲者在演讲时的背景信息和语义信息不一样，可能今天我们需要支持医疗会议，明天需要支持航空会议，我们很难获取这类专业会议的‘语义词’。”
回看最初的搜狗同传1.0时，搜狗AI交互技术部总经理陈伟认为当时实际应用中遇到最大的问题是难以获取各专业领域的“语义词”，这也影响了最初这一产品的识别及翻译的准确度。
如何获取这些专业的“语义词”，以此来训练专用的模型，改进通用的1.0版本？
这是搜狗同传研发团队当时在进行版本迭代时主要考虑的问题，也是最终搜狗同传2.0试图去解决的问题。
这也就有了2018年发布的搜狗同传2.0的几点重要能力的升级：通过行业深度定制和专属模型训练（例如事先上传演讲稿或给出重点词汇进行训练），输出行业方案。
“在迭代到2.0版本后，我们一般会投很多人针对演讲者要讲的内容做优化，但是我们往往很难拿到演讲稿，所以只能在网上找与这个人相关的背景知识，以前讲过的内容，基于此做模型优化。”
尽管2.0版本考虑到了专业化内容的优化，但是在具体应用过程中，由于难以会前获取实际演讲者的演讲内容，并未能用这些专业内容进行定制模型优化。
其实在这样的升级迭代过程中，搜狗同传的通用能力从2016年的搜狗同传1.0到2018年搜狗同传2.0已经有了明显的提升，“但是就通用能力和个性化能力上，在嘉宾演讲的PPT内容的识别和翻译效果仍有较大提升空间，这是一定存在的。”
也因此，搜狗仍在继续优化个性化能力，也就是搜狗同传的定制化能力，“我们希望让机器自己定制一个好的语境。”
这样的能力最终在搜狗同传3.0上得以实现。
10011814_59607.jpg" loading="lazy">
搜狗同传3.0：引入视觉能力、知识图谱，构建语境引擎
12月21日，基于语境引擎的搜狗同传3.0以多模态和自主学习为核心，加入视觉和思维能力，这是AI同传在加入诸如视觉AI、知识图谱等能力后的再度进化。
据陈伟介绍，搜狗同传3.0相对于上一代产品主要有三方面能力的提升：
“语境引擎能够真正做到对PPT内容的理解和推理，”陈伟点出搜狗同传3.0的核心能力所在。
具体搜狗同传3.0技术框图如下图所示：
从搜狗同传3.0技术框图中可以看到，语境引擎主要由「PPT文本理解」和「搜狗知识图谱」两部分组成。
语境引擎整个工作过程具体可以理解为：
这其中，搜狗还在同传系统中加入了识别翻译协同模块，对翻译模型的输入文本进行优化，这一模块的作用在两次迭代中也从最初、最基本的标点断句，逐渐升级为拥有标点断句、文本顺滑、语义单元三大能力。
在这个过程中，搜狗的机器翻译模块也从1.0系统的RNN模型、2.0系统的Transformer模型，升级为3.0多模态翻译系统，3.0系统是在Transformer模型基础上，将搜狗百科知识图谱和翻译历史融合到翻译系统中，并实现了流式解码。
据搜狗官方公布信息来看，通过构建语境引擎升级后的搜狗同传3.0系统的实测数据如下图所示：
这样现场识别PPT内容，结合搜狗百度百科知识图谱，构建语境引擎，是否对算力和硬件有特殊要求呢？
陈伟解释称，现场做PPT内容识别的时候可以直接通过截屏（本机播放PPT）或笔记本电脑上的摄像头来完成，语音训练用英伟达常规的P40或V100进行训练，训练推理方面没有额外增加负担。
AI同传尚难取代人类同传，多模态成趋势
引入视觉能力、加入知识图谱后的搜狗同传3.0，能够完全取代人类同传吗？
据搜狗官方在发布会上公布的信息显示：
在实际测评中，搜狗同传3.0的评测得分为3.82分，人工同传的评测得分为4.08分。
显然，就目前而言，AI同传还无法完全取代人类同传。
就此，陈伟也指出，
回归到语言本身时，各类传感器越来越多，设备能够收集到的数据及数据种类越来越多，亦即越来越多的多模态数据逐渐可以获得，当有了多模态数据后，相关模型和算法也逐渐开始受到业界所关注。
“但是大家一开始还是把多模态这件事想得太简单了，多模态的实现过程不是简单把模态融合在一起，从我们这些年在上面的认知来看，是一个蛮复杂的过程。”
当提到搜狗在多模态语音方面的技术发展，陈伟表示：
“我们是第一个在技术上主张多模态的公司，此次搜狗同传3.0也是从语音跨到了多模态，在这种多模态下将我们对于知识的理解、对语音的理解放进去，我们的同传就也开始具备一定的认知能力。”
“我们公司的终极目标是走向做VPA，即一个软件形态的AI助理，可能以硬件为载体，也可能放在搜狗输入法、搜狗的搜索引擎上。搜狗VPA的形态，是一个任务导向，中间会看到以对话为主的形象。同传这个场景下，我认为搜狗同传就是一种形态的VPA，是具备了同传能力的VPA，它可以与人做同传交互。”
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/50477676b6c08dae9c76.html
丹阳旭铃精密零部件有限公司（由日本株式会社旭工业所投资成立的独资企业）我公司专业打造优质汽车零部件70年，对应所有金属加工都能提供日本的品质和具有市场竞争力的价格。
公司主要生产系列化的钢制板式散热器，钢铝复合，钢铝复合柱型散热器，钢制高频焊翅片管散热器，卫浴散热器，钢管柱型散热器，钢制扁管散热器等百余种规格散热器
易企秀-免费H5页面制作工具-微信H5页面,微信朋友圈会议邀请函,电子贺卡,动态音乐相册,电子微杂志,节日贺卡等,易企秀提供海量H5微场景模板,轻松制作一键生成H5页面,为您助力移动自营销,酷炫展示H5企业自营销页面-易企秀官网
慧行渔乐无限——专业垂钓一站式购物与交流平台，承包你的钓鱼乐趣！精选高品质钓鱼竿、饵料、路亚装备、垂钓服饰等全品类用品，严选靠谱货源，助力轻松上鱼。同步分享实用钓鱼技巧、野钓钓点推荐、新手入门指南，还有钓鱼爱好者交流社区。无论你是新手小白还是资深钓手，这里都能满足你的垂钓需求，让每一次抛竿都充满
安溪灵动电脑，是一家专业的电脑维修维护公司，向广大企业和个人客户，提供电脑维修，笔记本维修，芯片级维修，打印机维修，数据恢复，监控工程，布线工程，企业工厂电脑维修维护，局域网维护，打印机维修维护等多项服务。销售各种品牌笔记本电脑，台式电脑，DIY组装机，电脑配件，网络设备，办公设备及耗材等产品。
专业航拍，路桥、大疆、全景、360°、无人机巡检、激光建模、义乌航拍/金华航拍/浙江航拍/工地航拍/项目巡检/专业路桥航拍/720VR全景航拍/无人机巡检/专业航拍/无人机航拍报价
慧社交网是一站式社群营销代运营,SNS营销,社交营销服务商,专业的技术支持和运营服务;从引流,增量,裂变,筛选,识别,管理一个系统全搞定,助力构建私域流量,助力客户成功.
江苏路耐德交通科技有限公司
太原鼎诺是一家专业生产销售仓储货架、托盘、钢平台、自动化立体库的山西货架厂。位于。咨询热线:18736081699。我们为不同厂家提供不同的仓储方案，来满足不同仓库的需求。在仓储货架生产销售安装等方面，我们有丰富的经验。希望与您建立长久的合作。
河南红星机器专业生产多种型号烘干机[矿粉、烘干土，烘干粘土、烘干有机肥]、回转窑、原料磨、水泥磨、冷却机等建材设备，可为您量身定做生产线，选购电话：0371-67772626。
【配修之家】在2024年12月9日19时更新，成立于2015年,国内专业的空调维修平台,成立至今已服务数万家电维修客户,深受商家好评,任何人都可搜索“配修之家”进入本站。3Yi
河北鼎卓安防设备科技有限公司为您提供防爆墙、抗爆墙、泄爆墙、防爆门、抗爆门的设计、安装、施工、维护、更换等；并批发销售防爆墙板、泄爆墙板等建筑板材,我们的产品选材严格，加工精细，外观精美，施工及时。
以前大家钱丢失的可能只有两种情况，一是银行卡丢了，二是钱包丢了，如果大家遇到了都知道怎么处理，但是现在随着互联网的发展，场景支付的普及，大家通过移动支付的方式主要就是支付宝或者是微信，但是这两个产品都是和手机相关的，如果手机丢了，我们该怎么办?我相信很多人都不知道怎么做才是最正确、最快捷的止损方式，正确的姿势应该是，一、先找朋友借下手...。
曾经有人采访比尔盖茨，问其成功的秘诀是什么，比尔盖茨说，因为有很多成功人士在为我工作，成功学中也有提到先为成功的人工作，再与成功的人合作，之后就是让成功的人为你工作，成功的人很多，但我可能不认识他们，也没有办法去为他工作；而让成功的人为我工作，现阶段我还没有这样的实力，只有合作，是我比较喜欢和欣赏的，我也在努力借助一个宽松的环境和积极...。
多年以来，芯片巨头英特尔在服务器CPU领域一直占据绝对优势，即使AMD在服务器、数据中心等高性能计算进行针对性的加强和优化设计，推出了服务器CPU产品EPYC，但英特尔仍然占据大约94%的数据中心市场份额，堪称，数据中心之王，如今，情况发生了变化，除了AMD在服务器CPU市场上卷土重来，以GPU闻名的芯片公司英伟达也于今年9月宣布以...。
雷锋网消息，刚刚，吴恩达在博客平台Medium以及Twitter上公布了自己离开百度后创立的第三个项目——AIFund基金，他表示自己一直希望开发出，一个具有可重复性的系统性程序，，来，开发和追逐新的AI机遇，，翻译过来就是通过这个基金提供资本来资助各类新AI公司的成立，并推动AI创业公司的发展，此前他在去年6月和12月宣布了自己的前...。
丘成桐先生致辞图源清华大学新闻网清华大学宣布，，菲尔兹奖，首位华人得主丘成桐受聘清华大学讲席教授，这则消息简直重磅得不能再重磅，丘成桐有着，数学国王，的美名，他于1966年入读香港中文大学数学系，大三时获推荐前往美国加州大学伯克利分校深造，师从陈省身，两年，1971年，即获得博士学位，他的执教之路更可谓一路生辉，1974年，博士毕业仅...。
装饰画，DecorativePainting，是一种起源于战国时期的帛画艺术，并不强调很高的艺术性，但非常讲究与环境的协调和美化效果的特殊艺术类型作品，一般分为具象题材、意象题材、花卉题材、人物肖像题材抽象题材和综合题材等等，装饰画的历史非常的久远，早在远古时代.我们的祖先放在岩壁、洞穴和简易的泥屋中绘制狂热的舞蹈动作；在石器时代，人...。
刘强东痛批京东中高层拿PPT欺骗自己，明年或参与京东更多日常工作12月26日，据虎嗅报道，刘强东在近日京东内部管理培训会上痛批部分高管，称，拿PPT和假大空词汇忽悠自己的人就是骗子，，表示部分高管醉心于PPT和奇妙词汇，或吹得天花乱坠但是执行一塌糊涂，他举例说在一次京东零售战略会上，整个京东零售，只有1.5个人在会上说真话、提问题，...。
雷锋网消息，9月26日，在联想创新科技大会2018上，联想集团董事长兼CEO杨元庆就现在联想在IoT及AI领域的布局进行了介绍，并宣布与NetApp成立合资公司联想凌拓，智能化变革是我们正在经历的由人工智能驱动的第四次工业革命，杨元庆表示，在人工智能三要素，数据、计算力和算法，联合作用下，一个人工智能变革的新架构正在形成，智能化变革，...。
，近日，大模型独角兽零一万物又开发布会了！上次零一万物，以下简称，零一，开发布会还是在2023年11月，宣布成立后的模型首秀，发布中英双语大模型，Yi，，并将其开源，这一次，时隔半年，零一不仅将基座模型卷到千亿量级，甚至还直接拿出一款C端新品，万知，，零一万物创始人李开复称其为，AI，First版office，在模型层，零...。
以上就是绿色先锋小编整理的小宇宙播客怎样查看22年终总结的内容了，希望可以帮助到大家！我们会持续为您更新精彩资讯，欢迎持续关注我们哦！...。
并购重组，一天两单注册生效！,股权,证监会,上市公司,重大资产
qq空间克隆器可以极速将他人的qq空间装扮克隆到自己的空间里，从此再也不用艳羡他人美丽的空间装扮了，qq空间克隆器2013最新版的经常使用方法也十分繁难，没有任何的复杂操作，任何人都能一看即会的傻瓜式操作，小编上方以图文的方式为大家展现一下这款神奇的软件是如何迅速实现克隆的吧！一、装置qq空间克隆器2013最新版1、首先下载完qq空间...。
近日，在中关村论坛系列活动第12届数字金融与科技金融大会上，蚂蚁数科的Deepfake检测方案入选大会，金融科技技术创新与应用案例，蚂蚁数科依托旗下天玑实验室，业界首次构建了大规模、高质量、多模态的Deepfake数据集，其合成超过百万级多媒体内容，充分地模拟了真实世界金融风控环境中的Deepfake攻击样本，成为评测现有金融领域D...。
能在创新上把传统企业甩开多远，，这是很多业内人眼中，AI安防芯片企业能否作为独立势力存活下去的关键，业内的普遍观点是，如果AI芯片企业只是，微微领先，，那么待风口渐过，他们很有可能会被传统企业反超，而决定他们能走多远的，恰恰还是其创新实力本身，AI芯片算力的提高、架构的创新、软硬一体化，以及商业模式的探索，都在互相交融，共同塑造着一...。
在今年的CES上，来自全球155个国家、约3600家科技企业齐聚美国拉斯维加斯，向世界展示尖端电子技术和现代生活的前沿科技产品，在众多的面板厂商的展台及展品中，不难发现越来越多的显示厂商从LCD面板转向更轻、更薄、色彩更为艳丽的OLED面板，并将OLED面板作为主要发展方向，其中，柔性OLED显示作为高性能的新型显示技术，被行业认为是...。
MIT科技评论的作者RachelMetz最近体验了一种不同寻常的无线耳机，它能让人以一种从未有过的方式方式聆听一些声音，耳塞由可穿戴技术创业公司DopplerLabs研发，通体白色，看上去有点像大号薄荷糖，每只耳朵中都佩戴耳塞即可使用，这个在体验过程中，该公司CEONoahKraft一直坐在Metz的斜对面与她聊天，并使用一个iPho...。
发表在米家投影仪2018，12，616，38原装米家激光投影5000ANSI流明激光投影仪几年前，智能电视占据了市场，但它们有一些缺点，例如由于屏幕较大而难以在小型低天花板房间移动，如今，投影仪是您的最佳选择，它们很轻巧，您可以将它们放在任何地方，它们为您提供与智能电视相同甚至更好的质量，在这个机会中，小米推出了新设备，米家激光投影超...。
