彩云科技推出首个基于DCFormer架构通用大模型 彩云小梦V3.5上线 (彩云科技推出什么产品)
讯 11月13日，彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上，彩云科技CEO袁行远，就通用大模型未来进化之路，与人工智能的落地场景等热点话题进行了交流，并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章，与此同时，彩云科技旗下AI RPG平台彩云小梦，也成为首款基于DCFormer架构开发的AI产品。
在公众认知中，Transformer架构作为神经网络学习中最重要的架构，成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。而提升Transformer的运行效率也成为人工智能领域的研究热点，2024年4月，谷歌最近一次更新了Transformer架构，提出了Mixture-of-Depths（MoD）方法，使得训练后采样过程中提速50%，成为Transformer架构提速升级的又一重要事件。
今年，国内的人工智能企业彩云科技，在国际机器学习领域的顶级会议ICML（国际机器学习大会）上，发布全新大模型论文《Improving Transformers with Dynamically Composable Multi-Head Attention》。在该论文中，彩云科技团队首次发布DCFormer架构，并在基于DCFormer打造的模型DCPythia-6.9B上，实现了在预训练困惑度和下游任务评估上都优于开源Pythia-12B。这意味着，DCFormer模型在性能上，实现了对Transformer模型1.7-2倍的提升。
只有模型效率和智能度提升才能实现真正的AGI
沟通会现场，袁行远首先向参会者展示了一个ChatGPT o1的问答：“假设ChatGPT4每天响应用户约2亿个请求，消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口，ChatGPT每天消耗多少电力？另外按照这个速度发展下去，到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍？”ChatGPT o1给出的答案是，“到2050年，全球人工智能的耗电量可能会达到目前地球发电能力的8倍”。
同样的问题，在今年2月份的世界政府峰会上，英伟达CEO黄仁勋有更为夸张的表述，“假设计算机的速度永远不会变快，我们可能需要14个不同的行星、3个不同星系、4个太阳为这一切（AI）提供燃料。”AI对能源的强大需求在业内已经是共识，英伟达致力于通过提升硬件来提升AI效率，降低能耗；而袁行远则认为，改善大模型底层架构，提升人工智能运行效率，是改变AI能源困局的更优路径。
“Scaling Law告诉我们，随着算力的提升，模型更大、数据更多，模型效果会越来越好，但与之相应的，能耗也会越来越高，在Scaling Law失效，人工智能实现之前，或许我们地球的能源就已经无法支撑了。”袁行远表示，“没有效率的提升，AI就是镜花水月。”
彩云科技团队构建DCFormer框架，提出可动态组合的多头注意力（DCMHA），替换Transformer核心组件多头注意力模块（MHA），解除了MHA注意力头的查找选择回路和变换回路的固定绑定，让它们可以根据输入动态组合，从根本上提升了模型的表达能力，由此实现了对Transformer架构1.7—2倍的性能提升。
今年的ICML会议上，彩云科技团队的3篇论文，在录用平均分为4.25-6.33的情况下，获得平均7分的高分，并成为国内唯二受邀参加维也纳ICML 2024登台演讲的企业。
袁行远表示：我们的工作表明，Transformer架构距离“理想模型架构”还有很大的提升空间，除了堆算力堆数据的“大力出奇迹”路线，模型架构创新同样大有可为。往小了说，在大模型领域，利用效率更高的模型架构，小公司也可以在与世界顶级人工智能企业的对抗中取得优势。往大了说，模型效率的提升，可以有效地降低人工智能升级迭代的成本，加速AI时代的到来。
云锦天章问世 首个基于DCFormer架构的通用大模型
作为国内最早做LLM（大语言模型）的公司之一，彩云科技在2017年就已经开始做NLP和大模型方面的工作。目前，彩云科技旗下有彩云天气、彩云小梦、彩云小译三款面向C端用户的AI产品，是国内为数不多能够实现盈利的人工智能公司。
“世界最强的小说续写通用模型。”沟通会上，袁行远向大家展示了首个基于DCFormer架构的通用大模型云锦天章。“这个成语是比喻文章极为高雅、华美，和我们的大模型想要实现的效果有共通之处。”袁行远介绍，云锦天章可以实现在虚构世界观的基础上，赋予小说人物编程、数学等基础能力，可以高速针对大量文字进行扩写、缩写，针对文章风格进行大容量更换，同时兼具其他模型的问答、数学、编程等基础能力。
而在应用端，拥有四百万用户的彩云小梦，也迎来了基于全新DCFormer架构的V.3.5版本。与之前的版本相比，彩云小梦V3.5整体流畅性和连贯性提升了20%，支持前文长度由2000字提升至10000字，故事背景设定最长长度高达10000字。“这意味着，在故事创作或者与人工智能对话中，人工智能能够记住之前发生的事情，记住之前故事里发生的细节，人物记得自己明确的目标，并且会根据剧情及时进行反思修正。在做到自主创作的同时，发散性收敛，不会天马行空，人物性格前后一致，故事逻辑性更强。”
“深度对话，超长记忆，逻辑清晰。”袁行远总结彩云小梦V3.5的特征，“我们的目标是为用户打造指尖伴侣定制梦境。”袁行远表示，彩云小梦的用户单次使用时长，累计使用时长在同类产品中都处于遥遥领先的地位，“对话超过400句，你会发现彩云小梦真正的魅力。”
袁行远介绍，公司接下来将继续加大对DCFormer的研究和投入：“一方面有打破‘国外做技术层，国内做应用层’刻板印象的情怀所在，一方面也是为公司自有产品应对市场竞争，实现快速迭代升级和能力领先的现实需要。”
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/76472aaeb643e0734534.html
360AI云盘是智能高效办公云盘。可以安全存储个人数据、实现多端同步、自动备份、在线编辑文档进行高效办公，可跨平台使用，支持PC电脑、Android手机、iPhone手机数据备份、同步，随时随地移动办公。
新开好服网(www.xinkaihf.com)提供优质的今日新开传奇发布网列表,打造一个高效的传奇发布站点,对每个新开传奇私服网站资料,热血传奇私服的开区信息都严格把关让所有玩家热爱传奇的玩家都能快速找到自己喜欢的游戏。
企业商盟助力于企业商家发展，让企业网站不穿插其他公司信息,保证企业站的唯一性。提升中国市场销售业绩，为企业做长远的推广！
同花顺旗下一站式基金投资平台，轻松找到最适合您的基金。并为您提供基金净值查询、投资收益计算、基金定投、基金网上交易、基金数据等多种专业、及时、全面的基金服务。
我们为企业提供国际一站式外贸服务,通过海关数据分析挖掘全球买家信息,助力企业找单扩大海外商机。我们与全球多个数据合作伙伴合作,实时获取208个国家的海关贸易数据。平台还提供外贸客户管理、市场分析报告等服务,帮助企业系统管理海外客户关系,深入了解海外市场机会。
重庆联想(IBM),戴尔(DELL),华为(Huawei),超聚变,惠普(HP),华三H3C,浪潮INSPUR,服务器采购销售,重庆代理商,经销商,服务器售后维修中心,维保续保,双机热备,高可用,私有云,Citrix云桌面,Openstack,联想AIO超融合,vmwarehorizon,虚拟化搭建及迁移,数据备份等信息技术服务
走路赚钱的App软件
山东耀森照明工程有限公司
星辰影视网提供好看的首映最新热播电影，全集电视剧，综艺，动漫，高清美剧手机在线观看和剧情介绍，星辰影视网全天24小时在线更新，让大家以最快的速度享受视觉上的盛宴！
成语大全网共收录成语100多万条，可按成语名称、成语解释、成语出处、四字成语、成语词典查询成语的解释、拼音、用法、典故出处、成语近义词、成语反义词、常用程度、感情色彩、成语谜语、歇后语等，是成语大全的百科全书。
上海歌逸教育科技有限公司专业上海叉车培训机构,提供嘉定叉车考证,桥式起重机培训考证,叉车培训,流动式起重培训考证,安全员培训考证,低压电工培训,高压电工培训,登高作业培训,电焊工培训,电梯工培训,起重机培训等服务,费用低拿证快,欢迎来电咨询报名
大家能想象到如果是在农场里面去冒险，和其他场景的冒险游戏会有哪些不一样的呢，2024人气较高的农场冒险游戏有哪些，这些游戏能够给大家带来很大的快乐性，大家可以去体验一下在农场里面去工作的快乐，而且精美的画面设计，大家可以体验一下建立一个大型的农场去收割庄稼以及去养育更多可爱的小动物，大家可以在这样的游戏场景里面去探索，1、，农场冒险...。
想要加入到便利店这个行业，自然是应该要选择一个对的品牌才可以，这样才能够吸引到更多的客流量，但是对于便利店在进行挑选的时候，也应该要注意项目，一团火便利店作为整个行业中比较受欢迎的品牌，不管是从服务还是从产品质量以及种类来说，都是别的品牌所无法比拟的，在市场上深受喜欢，有加盟该品牌的想法就应该要知道一团火便利店加盟费的问题，一团火便利...。
书果星球阅读好不好，赚钱吗，这是很多创投者关心的一个问题，书果星球儿童读书会，真正以儿童为阅读主题，采用，翻转式阅读，，区别于传统，填鸭式阅读，它的具体流程和模式有哪些，是如何激发阅读兴趣、提升能力的呢，众所周知，儿童读书会要让孩子爱上阅读，不止是讲书那么简单，在设计过程中需要考虑很多流程和小细节，这些细节，书果星球总部研发团队都巧...。
作者，代润泽编辑，王亚峰11月2日，字节跳动宣布了近五年来最大规模的组织调整，梁汝波正式接任CEO，并成立六大BU，分别是，抖音、大力教育、飞书、火山引擎，ToB，、朝夕光年，游戏，和TikTok，六大BU的负责人向梁汝波汇报，其中，头条、西瓜、搜索、百科以及国内垂直服务业务并入抖音；员工发展部门的技能与职业培训职能，转型为职业教育业...。
独家获悉，全球速卖通总经理张凯夫，花名，凯夫，即将负责内部web3.0新项目，该项目名义上暂由蒋凡分管，目前，凯夫已经逐渐从速卖通业务中抽离，速卖通暂时由蒋凡直管，，开会都是他亲自参与，凯夫曾长期领导淘宝商家与行业线，是蒋凡旧部，与平畴，汤兴，、吹雪，杨光，、家洛，刘博，并称为，大淘宝四大金刚，2021年12月，阿里巴巴组织...。
1、梦见金黄色的大蟒蛇的吉凶指数基础稳如泰山安泰，且能逃过灾祸，免于祸患，而又可扫除万难及得享名利双收之隆昌运，并获异常的成功开展，乃幸福短命之吉名，大吉昌，吉凶指数，78，仅供参考，2、梦见金黄色的大蟒蛇的宜忌，宜，宜给好友打电话，宜反复无常，宜慢跑，忌，忌弄假成真，忌骑电动车，忌赤脚，3、梦见金黄色的大蟒蛇的预兆恋爱中的人梦见...。
农历12月24号是南边大年，大年，中国传统节日，也称，交年节，、，灶神节，、，祭灶节，等，大年的民俗优惠关键有扫尘、祭灶等，中国幅员辽阔，各地习俗有很大的差异，因为各地习俗不同，被称为大年的日子也不尽相反，中国南边大少数地域以腊月二十四为大年，中国北边大少数地域以腊月二十三为大年，过大年象征着离过春节不远了，大年这一天人们理论会彻底清...。
摩羯座是一个具有事实主义思想和有志向的人，同时他又容易被热烈的感情降服，是一个具有剧烈的忘我精气的人，摩羯座不青睐碌碌有为、鸿鹄之志，确实是个有剧烈责任感的、勤劳的休息者和卓越的组织者，似乎攀爬山峰一样，摩羯座人的光芒前程，要求用百折不挠的致力去换取，摩羯座名人堂里有哪些你相熟的星星呢?让咱们一同走进他们的心路历程，深情诗人——徐志摩...。
没有，被带走，，没有，配合考查，，没有，咨询不上，濛主不时生存在阳光下，事无无法对人言，宿愿大家不要以讹传讹，不要因无老本造谣给更多无辜人士带来顽劣影响，@湾道体育严正申明此前报道，奥运冠军王濛445万股权被解冻，此前曾被传带走考查微博热议据观察者网查问企查查App，近日，前短道速滑国度队选手王濛新增一则股权解冻信息，股权被口头企业...。
小兵U盘启动离线版V2024版(支持离线制作U盘启动盘)
smartftp中文破解版是一款功能非常专业且强大的FTP客户端，允许用户在本地计算机和Internet上的服务器之间传输文件，并提供安全、可靠和高效的传输服务
重庆分类目录网站收录驱动程序相关的优秀网站大全分类检索，为上网用户提供驱动程序网站排行榜与您分享、收藏！
凉屋这个游戏制作商推出的作品都是受到玩家喜爱的，在玩法上以及热度上都是非常不错的，有玩家对于2022凉屋新出的游戏有哪些相对感兴趣，推出的游戏还是有一些的，不管是新的还是经典的，那么在本次文章中除了凉屋的游戏，也会带来一些类似的，一起来看好玩的凉屋游戏排行榜，1、，战魂铭人，一款动作类型的游戏，游戏也是属于探索异世界的一个背景设定，游...。
特色小吃台湾饭团以大米制作为原材料，打造鲜香可口系列产品，市场接受度高，可谓是人人喜欢，阿杏饭团在行业中塑造的人气深厚，以一店多营，复合式经营模式，提供给消费者完善美食体验，多年来运营热度和市场口碑不错，源源不断的创业人士被吸引过来，那么阿杏饭团如何加盟，开店前后又扶持吗，门店产品传承台式美食工艺，精选新鲜水果、泰国进口大米，利用古法...。
雷锋网消息，6月8日，齐碳科技宣布完成超4亿人民币B轮融资，由高瓴创投、鼎晖VGC，创新与成长基金，联合领投，博远资本、华盖资本及阳光融汇资本跟投，老股东高榕资本、中关村协同创新基金、银杏谷资本及雅惠投资持续加码，本轮融资完成后，齐碳科技将进一步加大科研投入，加速产业化进程，计划于今年内完成定型产品量产并推向市场，齐碳科技成立于201...。
发表在专业问答2022，2，916，52展示机型信息，品牌型号，当贝F3、iPhone12系统版本，当贝OS3.0、iOS15软件版本，云视听极光8.8.0、腾讯体育6.6.91当贝投影仪可以通过云视听极光或者投屏的方式观看nba全明星，下面将当贝投影仪观看nba全明星比赛的方法分享，当贝投影仪怎么看nba全明星云视听极光，1.下载云...。
发表在当贝投影仪2024，9，1111，02当贝D6X让投影进入3.0时代，配备行业首创AI灵动屏，带来全新的交互体验，那么当贝D6X怎么切换灵动屏呢，下面就分享详细的操作方法，看看当贝D6X大小屏怎么切换，实际该如何操作，当贝D6X怎么切换灵动屏，1.打开投影设置在当贝D6X主界面找到设备图标并点击打开投影设置；2.进入通用设置在设...。
