多种高难度乐器信手拈来！ 就能完美复现音乐 MIT联合沃森实验室团队推出最新AI 只看手势动作 (多种高难度乐谱图片)
会玩乐器的人在生活中简直自带光环！
不过，学会一门乐器也真的很难，多少人陷入过从入门到放弃的死循环。
但是，不会玩乐器，就真的不能演奏出好听的音乐了吗？
最近，麻省理工（MIT）联合沃森人工智能实验室（MIT-IBM Watson AI Lab）共同开发出了一款AI模型 Foley Music ，它可以根据演奏手势完美还原乐曲原声！
而且还是不分乐器的那种，小提琴、钢琴、尤克里里、吉他，统统都可以。
只要拿起乐器，就是一场专业演奏会！如果喜欢不同音调，还可以对音乐风格进行编辑，A调、F调、G调均可。
这项名为《Foley Music：Learning to GenerateMusic from Videos》的技术论文已被ECCV2020收录。
接下来，我们看看AI模型是如何还原音乐的？
会玩多种乐器的Foley Music
如同为一段舞蹈配乐需要了解肢体动作、舞蹈风格一样，为乐器演奏者配乐，同样需要知道其手势、动作以及所用乐器。
如果给定一段演奏视频，AI会自动锁定目标对象的身体关键点（Body Keypoints），以及演奏的乐器和声音。
身体关键点：由AI系统中的 视觉感知模块 （Visual Perception Model）来完成。它会通过身体姿势和手势的两项指标来反馈。一般身体会提取25个关2D点，手指提起21个2D点。
乐器声音提取：采用 音频表征模块 （Audio Representation Model），该模块研究人员提出了一种乐器数字化接口（Musical Instrument Digital Interface，简称MIDI）的音频表征形式。它是Foley Music区别于其他模型的关键。
研究人员介绍，对于一个6秒中的演奏视频，通常会生成大约500个MIDI事件，这些MIDI事件可以轻松导入到标准音乐合成器以生成音乐波形。
在完成信息提取和处理后，接下来， 视-听模块 （Visual-Audio Model）将整合所有信息并转化，生成最终相匹配的音乐。
我们先来看一下它完整架构图：主要由视觉编码，MIDI解码和MIDI波形图输出三个部分构成。
视觉编码： 将视觉信息进行编码化处理，并传递给转换器MIDI解码器。从视频帧中提取关键坐标点，使用GCN（Graph-CNN）捕获人体动态随时间变化产生的潜在表示。
MIDI解码器： 通过Graph-Transfomers完成人体姿态特征和MIDI事件之间的相关性进行建模。Transfomers是基于编解码器的自回归生成模型，主要用于机器翻译。在这里，它可以根据人体特征准确的预测MIDI事件的序列。
MIDI输出： 使用标准音频合成器将MIDI事件转换为最终的波形。
实验结果
研究人员证实Foley Music远优于现有其他模型。在对比试验中，他们采用了三种数据集对Foley Music进行了训练，并选择了9中乐器，与其它GAN-based、SampleRNN和WaveNet三种模型进行了对比评估。
其中，数据集分别为AtinPiano、MUSIC及URMP，涵盖了超过11个类别的大约1000个高质量的音乐演奏视频。乐器则为风琴，贝斯，巴松管，大提琴，吉他，钢琴，大号，夏威夷四弦琴和小提琴，其视频长度均为6秒。以下为定量评估结果：
可见，Foley Music模型在贝斯（Bass）乐器演奏的预测性能最高达到了72%，而其他模型最高仅为8%。
另外，从以下四个指标来看，结果更为突出：
黄色为Foley Music模型，它在各项指标上的性能表现远远超过了其他模型，在正确性、噪音和同步性三项指标上最高均超过了0.6，其他最高不足0.4，且9种乐器均是如此。
另外，研究人员还发现，与其他基准系统相比，MIDI事件有助于改善声音质量，语义对齐和时间同步。
说明
另外，该模型的优势还在于它的可扩展性。MIDI表示是完全可解释和透明的，因此可以对预测的MIDI序列进行编辑，以生成A\G\F调不同风格音乐。如果使用波形或者频谱图作为音频表示形式的模型，这个功能是不可实现的。
最后研究人员在论文中表明，此项研究通过人体关键点和MIDI表示很好地建立视觉和音乐信号之间的相关性，实现了音乐风格的可拓展性。为当前研究视频和音乐联系拓展出了一种更好的研究路径。
以下为Youtobe视频，一起来感受下AI音乐!
引用链接：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/4f0720f5312059e52bd2.html
阿里邮箱个人版为用户提供高效稳定便捷的电子邮箱服务，免费注册邮箱送2G超大附件，60G容量，您可以在电脑网页、手机端注册、登录阿里邮箱个人版。
衢州及时修管道疏通水电维修专业从事衢州马桶疏通,衢州管道疏通,衢州水管维修,衢州水电改造,衢州水电维修,衢州洗菜盆疏通,衢州管道维修漏水,衢州灯具安装插座,衢州空调维修清洗等水电管道维修服务,欢迎您电话来电咨询详情。
康宇达医疗器械(400-886-8873)是一家专业产销优质医用洗肠机.肠道水疗机厂家,广东肠道水疗仪多少钱,结肠途径治疗机怎么样,结肠水疗仪复用机功能,结肠水疗仪复用机效果,医用透析器复用机系统,透析器复用系统系统等高新型医疗器械的民营科技企业,详情请来电咨询
山东淄博千盛化工设备有限公司是专业的不锈钢冷凝器，冷凝器生产厂家，生产的不锈钢冷凝器、反应釜系列化工设备产品质量可靠,欢迎来电咨询:13853359538
管阀智造网
本站专注于网络攻击防御，提供多种防御策略，以及自研智防系统，能够帮助各大中小站长轻松防御各种网络攻击
全国免费咨询：400-895-6679。北京联合乐文翻译有限公司，多语种翻译公司第一品牌，二十年老店实体专业的翻译机构，[高效率]、[高质量]、[高保密]，智能AI人工翻译平台，北京翻译公司,上海翻译公司,广州翻译公司,深圳翻译公司及青岛翻译公司均设有翻译公司。更专注于多语种多领域的同传租赁、笔译翻译、口译翻译、各类证件驾照翻译、视频听译、翻译标书、专业图纸翻译、字幕翻译、合同翻译、法律金融翻译、工业领域翻译、医疗医药翻译、等专业翻译服务及同声传译、同传设备租赁等专业服务提供商。
北京中阔律师事务所是一家经北京市司法局批准，依法成立的综合性合伙制律师事务所。中阔律所位于北京CBD核心区阳光金融中心，拥有高端的服务场所、数字化的服务设施和现代化的服务环境。
青岛方大包装股份有限公司，是塑料印刷、复合软包装产品的专业生产厂家，本公司秉承“绿色、安全、精美”的生产管理理念，靠品质产品、个性化服务不断拓展国内外市场。0532-85399088
蓝布云知识网
880元建企业网站，包售后，包空间，包域名。立足于广西，让全国中小微企业的网站都有效果，是我们的梦想。
雷锋网AI金融评论26日消息，上周曾传出终止IPO消息的加密货币矿机公司比特大陆，Bitmain，终于在今日，9月26日，在香港联交所官方网站上载A1招股文件，正式启动了香港联交所主板上市的计划，据悉，此次比特大陆赴港上市，将有望成为小米、美团之后的香港第三家同股不同权公司，招股书数据显示，比特大陆从2015至2017年净利润分别为0...。
准确定位，锁定目标，明确方向首先，明确目标消费群体是开设鱼店的首先步，你的鱼店是面向食客，提供精致的海鲜料理，还是定位于大众市场，以实惠的价格和家常的味道吸引顾客，这一决策将直接影响到店铺的装修风格、菜品定价以及营销策略，本土化，融入当地，因地制宜本土化是鱼店成功的关键，深入了解当地的消费水平、审美观念和口味偏好，是制定店铺装修风格和...。
雷锋网按，7月12日，7月14日，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工...。
当日常又深厚的内核透过优质内容不断外溢，便构成了人们与李子柒之间，默契又深沉的情感连接，维系着全网粉丝不变的等待与期盼，...。
外地期间14日，伊朗入选总统佩泽希齐扬同巴勒斯坦伊斯兰抵制静止，哈马斯，政治局指导人伊斯梅尔·哈尼亚通电话，双方就巴以形势最新政治和军事停顿替换意见，总台记者倪紫慧，...。
1、2凯美瑞凯美瑞是广汽丰田的一款车型在过去的35年中，凯美瑞继续坚持上游位置，赢得了环球2000万车主的信赖，成为真正的环球上流汽车之王3普拉多普拉多是一款出口越野车，源自丰田享誉环球的陆地巡洋舰系列1996年，丰田；丰田系列的车有广汽丰田逸致丰田出口塞纳丰田出口普瑞维亚丰田出口埃尔法丰田威驰等以丰田逸致2015款180ECVT跨界...。
在生存当中咱们大家经常会遇到这样的疑问，那就是咱们购置的一些毛料名贵的衣服不能用清水启动荡涤，那么产生这种疑问的时刻咱们该怎样办呢，人造是一些干洗了，而出外面的干洗店机器洗的话，不只费用比拟高，而且也不太肥壮卫生，那时刻很多人都宿愿能够在自己的家族能够具有这样一台智无能洗机，那么关于智无能洗机的多少钱又是怎样的呢，接上去小编为大家引见...。
介绍你经常使用QQ影音能够在播放视频的同时也可以启动视频转换，一切类型视频转到MP4，3GP，MPG，AVI，WMV，FLV，SWF，RMVB，VOB...等，随播随转，相当弱小，倡导你去试试，1，播放你的视频，2，播放环节中，右键弹出菜单，选用，视频紧缩，或许，转换手机，MP4视频，即可，相当繁难，QQ影音下载地址，有什么收费...。
标题：微信公众号会被封吗？随着微信的普及，越来越多的人开始关注微信公众号，而关于微信公众号会不会被封的问题也引起了大家的关注。那么，究竟微信公众号会被封吗？本文将对此问题进行详细的解答。首先，我们需要
脚本大师是一款非常好用的游戏脚本制作软件，软件中提供了屏幕录像、鼠标键盘动作记录等功能，可以帮助我们将指定的电脑操作制作成脚本
RPGMakerMZ是一款角川游戏推出的游戏制作软件，RPGMakerMZ汉化版可以让没有游戏制作基础的用户自己制作自己的游戏，有了这个软件你可以自行制作想要的游戏剧情，并导入大量素材，制作完成后可以打包游戏，无需本引擎就能运行，并且支持PC端和移动端游玩！工具介绍2020年夏季隆重推出RPGMakerMZ！作为RPGMaker系列的最新版本，它让任何人都能轻松享受制作角色扮演游戏的
一、游戏背景《魔兽世界》是一款由暴雪娱乐制作的大型多人在线角色扮演游戏，它的故事发生在一个叫做艾泽拉斯的世界中，它是一个被恶魔、野兽、巨龙和其他神秘生物所占据的世界
去年回来之前，舍友Sunny问我在中国使用什么邮箱.他是个很有趣的人，因为一直觉得facebook这样的社交产品会浪费自己的时间，所以跟我们联系的时候都会发邮件.他大概是我遇到的第一个这么抵制Facebook的歪果仁了.当时的感觉是，真是丢人丢到家了.哦不，丢人丢到全世界了.已经不是第一次遇到这样的情况.在跟朋友们吃饭的时候，在出去玩...。
作者丨张进王悦编辑丨陈彩娴北京时间8月9日下午四点，第33届国际人工智能联合会议IJCAI正式结束，此次大会为期7天，于8月3日到8月9日在韩国济州岛举行，所有相关奖项均已公布，作为人工智能领域的CCF，A类顶级国际会议，第一届IJCAI会议要追溯到1969年加利福尼亚，之后每两年召开一次，从2016年开始IJCAI转为每年举办一次，...。
消息，高通在今天宣布推出最新可穿戴平台——骁龙W5，可穿戴平台和骁龙W5可穿戴平台，消费者最早将于今年8月体验到首发骁龙W5的OPPOWatch3系列，出门问问将首发骁龙W5，可穿戴平台，另外，还有25款搭载新平台的终端设计正在开发中，面向不同细分市场，值得注意的是，高通在最新的W5，W5平台中采用了目前业界最先进的4nm制程...。
保险科技的技术含量和应用规模，或许已经与你的想象大不同，从获客和咨询开始，到核保，理赔，复购，甚至到用户退保这最后一步，每一环各有其解决之道，近日，在上海举行的外滩大会上，蚂蚁集团就披露了自己在保险科技领域部署的多项，秘密武器，其中，蚂蚁集团保险智能产品部总经理方勇以，AI将成为保险降本增效的第一生产力，为主题带来演讲，展示了蚂蚁，...。
zuojun大神级投影控发表于2023，07，17选购4K激光投影仪时，需要考虑以下几点，1.分辨率，4K分辨率，3840x2160，是当前市面上最高分辨率标准，可以呈现更细腻的画质，2.亮度，激光投影仪的亮度取决于功率和光源，一般来说，亮度越高，画面越清晰，适应性也更广，但同时价格也会更高，3.对比度，对比度指的是显示器或投影仪显示...。
