元象发布中国最大MoE开源大模型 落地应用登顶港台榜 (元象集团)
元象XVERSE发布中国最大MoE开源模型：XVERSE-MoE-A36B，加速AI应用低成本部署，将国产开源提升至国际领先水平。该模型总参数255B，激活参数36B，达到100B模型性能的「跨级」跃升，同时训练时间减少30%，推理性能提升100%，使每token成本大幅下降。
元象「高性能全家桶」系列全部开源，无条件免费商用，让海量中小企业、研究者和开发者能按需选择。
MoE（Mixture of Experts）是业界最前沿的混合专家模型架构 ，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，保持模型性能最大化。出于这个原因，行业前沿模型包括谷歌Gemini-1.5、OpenAI的gpt-4、马斯克旗下xAI公司的Grok等大模型都使用了MoE。
在多个权威评测中，元象MoE效果大幅超越多个同类模型，包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral-8x22B以及3140亿参数的MoE开源模型Grok-1-A86B等。
免费下载大模型
Hugging Face：
魔搭：
Github：
官网：chat.xverse.cn
落地应用好且省登顶港台娱乐应用榜
元象此次开源，不仅填补国内空白，也在商业应用上更进一步。
元象基于MoE模型自主研发的AI角色扮演与互动网文APP Saylo，通过逼真的AI角色扮演和有趣的开放剧情，火遍港台，下载量在中国台湾和香港娱乐榜分别位列第一和第三。
MoE训练范式具有「更高性能、更低成本」优势，元象在通用预训练基础上，使用海量剧本数据「继续预训练」（Continue Pre-training），并与传统SFT（监督微调）或RLHF（基于人类反馈的强化学习）不同，采用了大规模语料知识注入，让模型既保持了强大的通用语言理解能力，又大幅提升「剧本」这一特定应用领域的表现。
高性能「开源标杆」
元象是国内领先的AI与3D公司，秉持「通用人工智能AGI」信仰，持续打造「高性能开源全家桶」，不仅填补国产开源空白，更将其推向了国际领先水平。
2023年11月，此前国内大部分开源参数多在7B到13B，而行业共识是模型达到50到60B参数门槛，大模型才能“智能涌现”，生态亟需“大”模型时，元象率先开源了XVERSE-65B，是当时中国最大参数开源。
2024年1月，元象又开源全球最长上下文窗口大模型，支持输入25万汉字，还附手把手训练教程，让大模型应用一举进入“长文本时代”。
此次国内最大参数MoE开源，又是给生态贡献了一个助推低成本AI应用利器。
引领文娱应用
借助在AI和3D领域的客户积累，元象也迅速将大模型推向商用。
2023年11月，元象成为全国最早一批、广东省前五获得《生成式人工智能服务管理暂行办法》国家备案的大模型，具备向全社会开放的产品能力。
而在更早的10月，元象与腾讯音乐联合推出lyraXVERSE加速大模型，并借助该技术全面升级音乐助手“AI小琴”的问答、聊天与创作能力，让她情商与智商双高，为用户提供个性化、更深入、陪伴感十足的音乐互动体验。
元象大模型陆续与QQ音乐、虎牙直播、全民K歌、腾讯云等深度合作与应用探索，为文化、娱乐、旅游、金融领域打造创新领先的用户体验。
MoE技术自研与创新
MoE是目前业界最前沿的模型框架，由于技术较新，国内开源模型或学术研究尚未普及。元象自研MoE的高效训练和推理框架，并持续推动技术创新。
2024年4月推出的XVERSE-MoE-A4.2B中，元象推动MoE专家架构革新。与传统MoE（如Mixtral 8x7B）将每个专家大小等同于标准FFN不同，元象采用更细粒度的专家设计，每个专家大小仅为标准FFN的四分之一，提高了模型灵活性与性能；还将专家分为共享专家（Shared Expert）和非共享专家（Non-shared Expert）两类。共享专家在计算过程中始终保持激活状态，而非共享专家则根据需要选择性激活。这种设计有利于将通用知识压缩至共享专家参数中，减少非共享专家参数间的知识冗余。
此次推出XVERSE-MoE-A36B，继续在MoE效率和效果方面进行技术创新。
（1）效率方面
MoE架构与4D拓扑设计：MoE架构的关键特性是由多个专家组成。由于专家之间需要大量的信息交换，通信负担极重。为了解决这个问题，我们采用了4D拓扑架构，平衡了通信、显存和计算资源的分配。这种设计优化了计算节点之间的通信路径，提高了整体计算效率。
专家路由与预丢弃策略：MoE的另一个特点是“专家路由机制”，即需要对不同的输入进行分配，并丢弃一些超出专家计算容量的冗余数据。为此团队设计一套预丢弃策略，减少不必要的计算和传输。同时在计算流程中实现了高效的算子融合，进一步提升模型的训练性能。
通信与计算重叠：由于MoE架构的专家之间需要大量通信，会影响整体计算效率。为此团队设计了“多维度的通信与计算重叠”机制，即在进行参数通信的同时，最大比例并行地执行计算任务，从而减少通信等待时间。
（2）效果方面
专家权重：MoE中的专家总数为N，每个token会选择topK个专家参与后续的计算，由于专家容量的限制，每个token实际选择到的专家数为M，M<=K
实验1：权重在topM范围内归一化
实验2：权重在topK范围内归一化
实验3：权重在topN范围内归一化
实验4：权重都为1
对比实验结果
举例说明，假设N=8，K=4，M=3（2号专家上token被丢弃），不同专家权重的计算方式所得的权重如下图：
数据动态切换：元象以往开源的模型，往往在训练前就锁定了训练数据集，并在整个训练过程中保持不变。这种做法虽然简单，但会受制于初始数据的质量和覆盖面。此次MoE模型的训练借鉴了"课程学习"理念，在训练过程中实现了动态数据切换，在不同阶段多次引入新处理的高质量数据，并动态调整数据采样比例。
这让模型不再被初始语料集所限制，而是能够持续学习新引入的高质量数据，提升了语料覆盖面和泛化能力。同时通过调整采样比例，也有助于平衡不同数据源对模型性能的影响。
不同数据版本的效果曲线图
学习率调度策略（LR Scheduler）：在训练过程中动态切换数据集，虽有助于持续引入新知识，但也给模型带来了新的适应挑战。为了确保模型能快速且充分地学习新进数据，团队对学习率调度器进行了优化调整，在每次数据切换时会根据模型收敛状态，相应调整学习率。实验表明，这一策略有效提升了模型在数据切换后的学习速度和整体训练效果。
下图是整个训练过程中MMLU、HumanEval两个评测数据集的效果曲线图。
训练过程中MMLU、HumanEval的性能曲线持续拔高
通过设计与优化，元象MoE模型与其Dense模型XVERSE-65B-2相比，训练时间减少30%、推理性能提升100%，模型效果更佳。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/f870e99d90e594ba02b7.html
交通旅游网站排名,根据网站的综合值按照不同的交通旅游网站进行筛选排名结果,通过筛选交通旅游网站可以看到每个交通旅游网站里面的网站排名优质的网站是哪些
产品包括：汽车电瓶，汽车配件，汽车音响。公司的研发人员在吸收世界先进技术的基础上将科学技术知识应用的实际设计中，生产出了极具竞争力的产品。公司秉承顾客至上，锐意进取的经营理念，坚持客户第一的原则为广大客户提供优质的服务。在经济全球化的今天，将不断提升自我，打造完美诚信企业。 公司始终坚持科技领先，
以生态、创新、产城融合理念，打造“生产、生意、生活、生态”四生型园区，以产业聚集推进沈阳医药健康产业的发展，将成为沈阳医药产业示范新标杆。
黄蚂蚁搬家货运有限公司,是一家全国连锁搬家公司,提供居民搬家、小件搬家、公司搬迁等搬家服务。
南通科美自动化科技有限公司
杭州万巢教育专业提供少儿艺术培训，少儿英语，杭州课业补习，万巢教育，万科教育，少儿Steam教育，育儿早教等服务，是少年儿童的假日营地。欢迎致电:0571-87363333。万科教育秉承专业、创新、开放、国际的价值理念，目标成为本土优质口碑的领域综合教育服务商。
美易天物流专注苏州到全国各省市县物流专线，天天发车，直达全国各地，如您有货物需要从苏州发往各地，请直接联系美易天物流：15051535542.
善行医疗是国家高新技术企业,领先的智慧医疗健康解决方案供应商,研发十二导医用智能心电衣，是十二导智能心电衣团体标准制订单位，已获得CFDA认证。公司还研发可穿戴脑电设备、智能针灸衣、智能康复衣、智能肌电衣、智能减脂衣等主要产品,相关产品在CFDA、CE、FDA等国内外机构均通过认证,拥有两百余项专利、PCT,并在诊疗、监测、保健等方面均获得突破性的成果。
丽孜汽车为您提供最新的汽车资讯,全面的车型导购和实用的行驶技巧,帮助您选择合适的车型、提升驾驶技能
河南华迪电气有限公司是一家专业致力于工业智能控制综合服务商，是西门子数字化工业集团、智能基础设施集团合作伙伴；集成硬件、软件与高端技术、服务为一体的综合解决方案提供者；持续推动企业数字化转型；促进企业数字化建设。
青州鹏云飞纸业有限公司坐落于久负盛名的古九州之一——青州市。胶济铁路、青临高速、济青高速纵横市区，交通十分便利，地理位置十分优越。
八族玩成立于2011年,专注游戏平台系统研发，游戏代理，游戏运营服务.公司从游戏平台开发,游戏代理,渠道资源共享,运营培训指导等多方面服务广大新老客户!联系电话:400-869-9305
我们终于发现，互联网最大的投资大亨，不是中国人，也不是美国人，竟然是一个俄罗斯人，就在我们感叹滴滴、优步、神州都是姓，柳一家人的时候，我们却不知道，其实早就有人下了更大的一盘棋，资本是不分国界的，这个叫尤里·米尔纳的俄罗斯男人，他投的公司中已经出现了两家千亿美元级的巨头，阿里巴巴和Facebook，，和五六家百亿级的，京东、Twitt...。
自从对早晨洗洁净等这个遗传性精气病人展开喂屎治疗后，取得十分良好成果，由以前只能说8个字到如今能胡言乱语一段话，证实对其喂屎治疗的必要性，但含着屎谈话的坏习气不时改不了，以后要减轻喂屎的重量，...。
自己于24年4月经过网络平台了解到超盟，广州，文明传媒有限公司的AI图文带货课程，他们宣传课程便捷易学，10天能赚回学费，赚不回退费，诱导我缴费，交钱后与之前承诺不分歧，放开退款对方不时不予理会，需要平台帮助我退费...。
磁力链接，可以经过迅雷间接下载，然而特色码须要加上不凡的前缀，能力启动下载，详细的操作方法请看上方这篇指南，宿愿对你有所协助，运转迅雷软件，假设是迅雷会员的话可以登陆，享用减速下载，而后门点击左上角的减少义务按钮，这里只要要将磁力链接粘贴上来即可，除此以外，假设咱们后盾曾经关上迅雷，只要要将磁力链接复制，迅雷会智能识别，给咱们新建一个...。
没有区别，qq和腾讯qq指的是同一个运行程序，qq是腾讯qq的简称，QQ，腾讯QQ，，是腾讯公司推出的一款基于互联网即时通讯软件，腾讯QQ允许在线聊天、视频通话、点对点断点续传文件、共享文件、网络硬盘、自定义面板、QQ邮箱等多种配置，并可与多种通讯终端相连，笼罩了Windows、macOS、iPadOS、Android、iOS、Win...。
天蝎座10月23日，11月21日守护星，冥王星属性，水象星座符号，毒蝎的尾巴代表，性才干、洞察力、死亡属于组织型人物天蝎座的情人，性感、深情天蝎座的共性，天蝎座有奥秘的特质，令人变得严酷、阴险，天蝎座给人一种精神旺盛、激情、善妒、占有欲强的特质，它们是最性感的星座，10月10日是什么星座，10月10日是天秤座10月10日是什么星...。
关于无心购置中兴驰野的消费者，有一个关键消息须要留意，因为中兴驰野车型曾经中止消费，并且因为排放规范疑问，车辆已凑近其法定报废年限，这间接造成了二手车市场上的多少钱并不高，详细多少钱会遭到车辆实践状况的清楚影响，目前市场上的估价大约在8000元左右，但这只是一个大略的参考值，值得留意的是，这个多少钱并不是固定不变的，而是会依据车辆的详...。
姜子牙，这部电影中的申公豹，为何要设定为侧面笼统，国庆时期，有很多部电影都在影院中初次上线，其中动画电影姜子牙更是占据抢手，并且刷新了动画电影票房的历史记载，很多人也对这部电影发生了不同的看法，有的人以为这部电影写的很好，有人以为这部电影有一些拉垮的中央，只管说主角是姜子牙，然而其中的另一团体物申公豹笼统也与之前不时发生的笼统有所不...。
往年4月，来自河南太康县的20岁小张，对母亲提起刑事自诉，他控诉亲生母亲张某在自己3岁时对他故意遗弃，往年6月初，小张母亲张某因涉嫌犯遗弃罪，被警方刑事扣留，红星资讯记者从河南太康县公安局了解到，张某因拒不抚养她的孩子，曾经被以涉嫌遗弃罪刑事扣留，日前，小张收到落款为太康县公安局发送的短信显示，公安机关已于6月21日对其母张某涉嫌遗弃...。
近日，记者从天眼查APP得知，林生斌与中国西方航空股份有限公司关系隐衷权、团体信息包全纠纷案件新增二审闭庭通告，上诉人为中国西方航空股份有限公司，该案将于7月10日在上海市第一中级人民法院闭庭审理，随后，#东航就林生斌隐衷权案提起上诉#冲上热搜第一，案件流程信息显示，该案一审已于去年和往年屡次闭庭，此前报道，2017年6月，杭州，保姆...。
飞驰S300是一款性能杰出、性价比极高的中型轿车，其在性能、安保性、温馨性等方面都有着不俗的体现，本文将从外观、内饰、能源、安保性和操控性五个方面，来引见S300的好处，1.外观飞驰S300的外观设计简洁大气，车身线条流利、犀利，搭配LED大灯，让S300愈加时兴、富裕冲击力，另外，车身正面还驳回了相似改造设计，让车身愈加轻捷、灵动，...。
临时没有手机版的IE阅读器，IE阅读器手机版下载网址手机版IE阅读器临时没有，而且电脑IE阅读器微软淘汰，倡导经常使用其它阅读器，如何下载IE阅读器，IE阅读器是微软公司开发的一款阅读器，它是Windows操作系统的自动阅读器，IE阅读器官网网站提供了下载最新版本、失掉技术允许和更多消息的服务，在本文中，咱们将具体引见如何经常使用IE...。
感受了城市的喧嚣，你是否想体验乡下农场的田园生活，悠闲快乐，每天呼吸新鲜的空气，与大自然近距离的接触，找寻自己最开始的初心，不如来很老的农场游戏满足你的想法，远离喧闹繁华，享受宁静的安稳生活，很老的农场游戏有哪些呢，今天小编给大家带来几款，深受广大网友推崇的农场游戏吧，1、，梦想城镇，梦想城镇，是一款将城市建设和农场的经营完美结合在...。
9月7日消息，华为智慧屏又要上新了，据博主@看山的叔叔爆料，华为智慧屏V5Pro即将上市，只有85和98两个大尺寸版本，从海报可以看到，这款智慧屏主打，巨幕影院，体验，预计价格不会便宜，目前，华为的智慧屏共有四个系列产品线，其中V85的官方到手价为16999元，V98的官方到手价为24999元，页面链接，https，news.zn...。
在云栖大会上，阿里云推出了一款绝对超级超值的99元云服务器，并号称是11月销量王，什么?云栖大会11月2号结束的，你就号称11月销量王，这是未扑先知啊，如果你也要买这块主机，一定更要仔细看了，本文绝对公平公正客观！作为多年的云主机代理商和分销商，松松带大家看看这个机器到底如何，先看配置，2核2G，3M固定带宽，40GESSDEntry...。
当下儿童游乐市场未达到饱和，各地消费需求得不到满足，因此创建有源源不断品牌，来迎合各地需求，萌鸡小队探索乐园以二十年经验做出专业研发，注重强强联手模式，为学龄前儿童成长全面赋能，打造成为游乐行业中实力品牌，孩子们喜欢，且家长们认可，发展热度持续增长，也吸引无数创业者开店的想法，那么加盟萌鸡小队探索乐园有扶持吗，行情好吗，加盟萌鸡小队探...。
今天分享的主题是精选联盟排名优化，在此之前，我已经分享了抖音无货源的基础玩法、达人稳定带货、猜你喜欢免费流量玩法等，对抖音无货源感兴趣但没经验的同学可以翻一下之前的文章，还是老规矩，我想到哪写到哪，有不明白的同学评论区留言，我看到后逐一回复，精选联盟带货原理我之前讲过，精选联盟玩的是付费流量，通过上架产品到精选联盟，设置好一定比例的佣...。
