多种高难度乐器信手拈来！ 就能完美复现音乐 MIT联合沃森实验室团队推出最新AI 只看手势动作 (多种高难度乐谱图片)
会玩乐器的人在生活中简直自带光环！
不过，学会一门乐器也真的很难，多少人陷入过从入门到放弃的死循环。
但是，不会玩乐器，就真的不能演奏出好听的音乐了吗？
最近，麻省理工（MIT）联合沃森人工智能实验室（MIT-IBM Watson AI Lab）共同开发出了一款AI模型 Foley Music ，它可以根据演奏手势完美还原乐曲原声！
而且还是不分乐器的那种，小提琴、钢琴、尤克里里、吉他，统统都可以。
只要拿起乐器，就是一场专业演奏会！如果喜欢不同音调，还可以对音乐风格进行编辑，A调、F调、G调均可。
这项名为《Foley Music：Learning to GenerateMusic from Videos》的技术论文已被ECCV2020收录。
接下来，我们看看AI模型是如何还原音乐的？
会玩多种乐器的Foley Music
如同为一段舞蹈配乐需要了解肢体动作、舞蹈风格一样，为乐器演奏者配乐，同样需要知道其手势、动作以及所用乐器。
如果给定一段演奏视频，AI会自动锁定目标对象的身体关键点（Body Keypoints），以及演奏的乐器和声音。
身体关键点：由AI系统中的 视觉感知模块 （visual Perception MODEL）来完成。它会通过身体姿势和手势的两项指标来反馈。一般身体会提取25个关2D点，手指提起21个2D点。
乐器声音提取：采用 音频表征模块 （Audio Representation Model），该模块研究人员提出了一种乐器数字化接口（Musical Instrument Digital Interface，简称MIDI）的音频表征形式。它是Foley Music区别于其他模型的关键。
研究人员介绍，对于一个6秒中的演奏视频，通常会生成大约500个MIDI事件，这些MIDI事件可以轻松导入到标准音乐合成器以生成音乐波形。
在完成信息提取和处理后，接下来， 视-听模块 （Visual-Audio Model）将整合所有信息并转化，生成最终相匹配的音乐。
我们先来看一下它完整架构图：主要由视觉编码，MIDI解码和MIDI波形图输出三个部分构成。
视觉编码： 将视觉信息进行编码化处理，并传递给转换器MIDI解码器。从视频帧中提取关键坐标点，使用GCN（Graph-CNN）捕获人体动态随时间变化产生的潜在表示。
MIDI解码器： 通过Graph-Transfomers完成人体姿态特征和MIDI事件之间的相关性进行建模。Transfomers是基于编解码器的自回归生成模型，主要用于机器翻译。在这里，它可以根据人体特征准确的预测MIDI事件的序列。
MIDI输出： 使用标准音频合成器将MIDI事件转换为最终的波形。
实验结果
研究人员证实Foley Music远优于现有其他模型。在对比试验中，他们采用了三种数据集对Foley Music进行了训练，并选择了9中乐器，与其它GAN-based、SampleRNN和WaveNet三种模型进行了对比评估。
其中，数据集分别为AtinPiano、MUSIC及URMP，涵盖了超过11个类别的大约1000个高质量的音乐演奏视频。乐器则为风琴，贝斯，巴松管，大提琴，吉他，钢琴，大号，夏威夷四弦琴和小提琴，其视频长度均为6秒。以下为定量评估结果：
可见，Foley Music模型在贝斯（Bass）乐器演奏的预测性能最高达到了72%，而其他模型最高仅为8%。
另外，从以下四个指标来看，结果更为突出：
黄色为Foley Music模型，它在各项指标上的性能表现远远超过了其他模型，在正确性、噪音和同步性三项指标上最高均超过了0.6，其他最高不足0.4，且9种乐器均是如此。
另外，研究人员还发现，与其他基准系统相比，MIDI事件有助于改善声音质量，语义对齐和时间同步。
说明
另外，该模型的优势还在于它的可扩展性。MIDI表示是完全可解释和透明的，因此可以对预测的MIDI序列进行编辑，以生成A\G\F调不同风格音乐。如果使用波形或者频谱图作为音频表示形式的模型，这个功能是不可实现的。
最后研究人员在论文中表明，此项研究通过人体关键点和MIDI表示很好地建立视觉和音乐信号之间的相关性，实现了音乐风格的可拓展性。为当前研究视频和音乐联系拓展出了一种更好的研究路径。
以下为Youtobe视频，一起来感受下AI音乐!
引用链接：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/4f0720f5312059e52bd2.html
数字图形(CG)艺术平台和内容孵化机构
4399奥比岛:梦想国度安卓游戏为您提供奥比岛:梦想国度游戏下载,奥比岛:梦想国度安卓游戏攻略,奥比岛:梦想国度安卓免费游戏,更多奥比岛:梦想国度手机游戏下载尽在4399手机游戏。
聊城房产网是聊城房地产、家居、二手房发布网络平台，提供全面及时的聊城房地产资讯,查询聊城楼盘,聊城房价走势及房源信息发布等功能
蘑菇物联是一家聚焦于公辅能源场景的工业AI科技公司，自主研发IoT智能硬件（蘑菇云盒、边缘智能服务器）、工业软件（IEM、IOM、云智控）、aPaaS云平台服务（蘑菇云）、工业AI大模型，为工业企业的通用工业设备及其组成的公辅车间（空压站、制冷站等）提供“数智化运维及数智化节能”两大类价值，实现空压站节能、空压机集中控制、空压机联控、节能管理、中央空调节能、动力能源车间节能，已成功应用于空压机、螺杆机、离心机、PLC工控、中央空调等工业设备行业，实现安全供能、无人值守、节能降碳/降本增效。
赛微思智业·服务力私董会由服务力精神创立者翟勇老师创办，3000多私董会员10万多家企业见证，上海、南京、杭州、合肥、重庆、长沙、无锡、南通、扬州、常州、宜春等20多个分公司，打造著名私董会流程七步法，私董会排名，私董会活动，私人董事会、涉及金融、房地产、建材、家装、农业等行业！
麦芽地是专注于安卓游戏与应用下载的专业网站，汇聚海量热门手游、实用工具和精品应用。所有资源经严格筛选，安全无毒，每日更新，确保用户第一时间获取全新版本。智能推荐，精准匹配用户喜好，高速下载提升效率，简洁界面让资源获取更便捷，畅享全方位移动娱乐体验，是手机用户优选的优质应用下载网站。
宁波华子制药设备制造有限公司主营热回流提取浓缩器、IVD纯水设备、浓稀配液罐、制药用纯化水系统等产品，公司在制药、化工、生物、乳品、饮料、啤酒、水处理等领域有丰富的经验和实力。
企讯网（114my.cn）企业信息资讯服务网站，朝阳企讯通旗下专业提供企业互联网一站式网络营销服务，为您提供全面的各行业最新资讯信息，找网络营销解决方案就上企讯网,咨询:400-612-0769。
江西古礼月信息技术有限公司互联网安全信息安全网络安全江西古礼月信息技术有限公司，成立于2017年2月，是一家专注于网络安全技术服务、网络安全整体解决方案、软件开发等于一体的高科技创新企业。公司在职员工30余人，其中技术人员占一半以上（信息安全高级工程师10余人）。致力于打造成江西专业的网络安全公司，为用户提供24小时全方位的服务。为了更好地服务于客户，我司与国内多家知名安全厂商建立了长期良好的合作关系。本着以客户为中心，结合自身安全服务技术能力，整合各厂商优势产品，帮助客户解决网络安全相关问题。
苏州瑞文光电科技有限公司主营“远心镜头,订制显微镜,工业变倍镜头,体视显微镜,视频显微镜,同轴光镜头”等产品,覆盖范围有“上海,江苏,浙江,昆山,苏州,广东,深圳,山东”等地区，产品受到广大用户信赖,欢迎来电咨询!
迪史洁(上海)清洗设备有限公司是集干冰清洗机、干冰清洗服务、干冰颗粒、雪花清洗机等产品专业生产加工为一体的干冰清洗机厂家,拥有完整、科学的质量管理体系。经过数年发展已经在干冰机研发、干冰制造、干冰销售、干冰清洗、干冰服务、雪花清洗、雪花清洗机等领域树立良好的口碑及影响力。咨询电话：400-602-1213
CSTC全国集装箱标准化技术委员会
小编发现现在的玩家找游戏，根据的不是游戏的类型，而是更具体到以里面的一种游戏名称为选择的基准，所以今天小编要介绍的是这就是江湖类似的游戏，喜欢这类游戏的玩家，可以跟着小编来看看，没听说过这个游戏的玩家，也不要着急，这款游戏是一款以江湖为背景的rpg手游，玩家在游戏内有充分的自由度，可以自由探索，还有剧情作为辅助，小编要介绍的游戏也是根...。
想必很多的用户都还不知道2022目前不收费的音乐软件最新版是哪几款吧，尤其是可以帮助大家随时的听音乐，并且也可以去自己搜索喜欢的歌曲，了解歌曲的歌词，还可以帮助大家进行下载的，今天给大家整理的这几款音乐app，就能够帮助到大家的这方面需求，感兴趣的话，大家一起跟随小编来看看有哪些免费听音乐的app是值得去使用的吧，1、，酷狗音乐，它所...。
至于分数，或许我应该多喝点六个核桃，总不能真的让我承认游戏设计没有问题，只不过我是笨蛋吧（嘴硬）。
消息，10月15日，一加联合京东方正式发布第二代东方屏，并宣布将在一加13中首发搭载，在显示素质、高亮可见、护眼能力以及流畅体验四个维度上有了进一步升级，成为全球首个获得DisplayMateA，认证的顶级好屏，在显示素质方面，第二代东方屏基于一加与京东方全新独家定制X2发光材料打造，首发搭载独家自研的DisplayP2屏幕芯...。
对于现在疫情还是非常严重的，一个时候如果能够出现一个相应的一个疫苗的话，那么对于个人而言，大家还是觉得有非常不错的一个事情的了，同时而对于现在这个疫苗儿来到总体而言是一个非常紧缺的这个状态，确实没有想到了，就是有的人他们竟然想要去用生理盐水来制作这样一个假的一个新型疫苗，让人感觉到非常的一个无语了，在国家现在这样没危险的过程中还是去赚...。
以下是改写并润色后的内容，在中国，年轻人对潮流服饰的热情日益增长，众多本土潮牌也因此应运而生，以下是中国潮牌衣服品牌排行榜中青少年十大流行潮牌的简要介绍，1.Stage由罗志祥主理的Stage，全名为，StageHyalineofWorld，，自2016年成立以来，一直以创新精神和原创设计为宗旨，该品牌与国际品牌的合作，使其服饰走向了...。
当地人在北京买车须要以下条件，1、持有有效，北京市上班寓居证，；2、持有效暂住证且近五年，含，延续在北京交纳社会保险和团体所得税的非本市户籍人员，1、2条满足其中之一即可，；3、持有公安交管部门核发的有效机动车驾驶证；4、团体名下没有本市注销的小客车；5、.驻京部队的现役军人和武警；6、持有有效身份证件并在北京寓居1年以上的港澳台居民...。
公众汽车1.8t的车型有，迈腾、开迪、速腾、宝来、高尔夫等，以宝来2021款DSG精英智联版为例，其进气方式为涡轮增压，最大马力为116ps，最大扭矩为200nm，变速箱为7挡干式双离合，车身类型为4门5座三厢车，该车长宽高区分为4663mm、1815mm、1462mm，轴距为2688mm，驱动方式为前置前驱，前悬架类型为麦弗逊式独立...。
买车时，很多人都有着一个独特的疑问，估算有限，终究应该选用什么样的车型，假设你的估算在10万元以下，同时还想选用智能挡车，那么接上去咱们就为大家介绍几款低劣的车型，1.雪佛兰赛欧作为一款智能挡车，雪佛兰赛欧的长处在于它的性价比十分高，不只多少钱亲民，而且性能丰盛，能源也体现不俗，此外，赛欧在市场上的口碑也十分好，可以满足大局部家庭的购...。
在原神游戏中很多玩家还不清楚，岩中幽谷的具体解锁方法是什么。接下来就让小编给大家带来原神岩中幽谷怎么解锁，感兴趣的小伙伴们一起来看看吧，希望可以帮助到大家。
A站直播伴侣v1.9.0.200是一款简易的直播伴侣辅助直播软件，拥有直播视频进行实时的编辑调整，支持多种剪辑工具，支持一些水印，头像处理工具，在A站直播的朋友不能错过哦，有喜欢的小伙伴快来下载吧！
方正刀锋宋简体,方正刀锋宋简体是一套相当出色的字体，由方正官方倾情打造，方正刀锋宋简体继承了方正家族字体的特点，拥有大气、笔画工整、粗细均匀的特点，横折端正，结构间距规范，欢迎下载使用,您可以免费下载。
昨天下午和友人外出钓鱼，说实在的，我其实并不会钓鱼，我只是作为观众进行观钓，友人是钓鱼爱好者，只要有时间，就会背着他的钓具到附近湖、河钓鱼，他说仅钓竿就有几十杆，有些钓竿还用了十几年，到了钓鱼的地方，只见他四面环视了一周，观看了周围其他钓者的垂钓情况，并观看了水面上的动静，最后选择了一个靠近桥底的地方，旁边有一颗柳树，我问他是如何选择...。
一个公司是否有前途，常常取决于老板是否有格局，真正有格局的人，绝不仅仅局限于自身的成功，会更乐意把权放下去，把钱分出去，把名让出去，而马化腾正是这么一个人，因为就算腾讯的忠实股民也基本没亏过，去年11月，腾讯位于深圳的新总部滨海大厦正式启用，这也是腾讯在智慧建筑上的一次积极探索，从外部构造，到内部装饰都改变了我们对于工作的一般定义，对...。
代码说明，本页面的认证代码为酷我联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在酷我联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提升酷我联盟的可信...。
根据国务院，地震预报管理条例，规定，只有省级以上人民政府才能公开向社会发布地震预报，任何机构和个人都无权发布地震预报，违反国家规定，制造地震谣言，扰乱社会正常秩序的，依法给予治安管理处罚，512大地震的死亡人数是多少截至5月13日下午16点，四川省地震灾害与抗震救灾工作通报了最新的伤亡情况，这场512大地震造成了极其惨重的人员伤亡，据...。
发表在专业问答2022，5，514，07展示机型信息，品牌型号，小米电视5、iPhone13系统版本，MIUITV3.0、iOS15.3无wifi电视投屏可以通过有线投屏或投屏器投屏实现，下面为无wifi电视通过投屏器投屏的详细步骤做具体说明，无wifi电视投屏方法方法一，投屏器投屏1.安装投屏器在电视上的对应接口连接安装投屏器；2....。
