对话 十万卡集群 的必要性 从背景到技术储备 深入解析建
前不久，马斯克旗下的xAI122天建成十万卡集群，也让外界意识到算力集群对AI的重要性。
之前坊间还流传一句话：服务器集群的规模越大，其训练出来的人工智能表现就越出色。
在这波浪潮之下，全球科技巨头纷纷投入巨资建设高性能AI计算集群，以提升AI算法的效率和能力。谷歌推出了其AI Platform，依托多模态生成式AI模型Gemini，大幅提升了在文本、图像、音频和视频处理上的能力。微软的Azure AI Compute Cluster整合了最新AI技术，为开发者提供了从数据处理到模型训练的全方位支持。（添加微信Who123Start，解锁独家科技内幕和行业趣闻）
作为国内最早推出大模型之一的百度，也展现出其强大的创新能力。11月6日，在百度智能云举办的百舸媒体沙龙，深入探讨“十万卡集群”的技术创新、实施过程及其对AI行业的推动作用，并邀请百度杰出系统架构师、百度AI计算部负责人王雁鹏在现场做了分享和交流。
以下是媒体与三位嘉宾在会上的对谈实录，在不改变原意的情况下做了编辑和调整：
Q：百舸的客户群是哪些？重点的行业客户是否之前有一些成功案例可以来分享？
A：我们的客户主要分为两类。一类是大模型创企，他们需要万卡规模的计算能力，因而对快速建设和成本控制有较高的需求。这类客户虽然数量较少，但其需求非常明确；
另一类是典型的互联网客户，他们的需求规模通常在千卡到5000卡之间。这些客户包括教育行业的公司。
这些互联网客户的主要需求是利用他们大量的自有数据进行后期训练（Post Train），以适应各种场景和优化，从而构建他们的数据飞轮。目前，这些训练需求依然是我们的主要业务，而推理需求相对较少。这也解释了为什么业界对AI算力落地效果仍存疑虑。预计在今年或明年，算力需求仍将以训练为主，而推理和SFT（小规模微调）的长尾客户将会增多，但总体资源需求仍低于头部客户。
Q：百舸客户的主要需求和痛点是什么？我们是如何解决的？
A：各类客户的需求其实有很多共通之处，我们可以一层层来分析。
1. 基础设施层面：这些客户首先需要一个强大的网络硬件互联架构。企业在尝试自行搭建大规模集群时，常常会遇到网络上的难题。我们的任务是为他们提供更好的网络硬件互联架构，使他们能够成功搭建一个大规模的计算集群。
2. 系统稳定性：没有经验的客户在自行搭建系统时，常会遇到有效训练时间过低的问题。这些稳定性问题是客户面临的第二大难题，我们需要帮助他们提高系统的可靠性和有效训练时间。
3. 加速框架：在提供加速框架方面，我们帮助客户优化并行策略，提升性能。通过更好的框架，我们能显著提升计算速度，解决加速问题。
4. 资源利用率：客户购买大量资源后，需要有效利用这些资源。他们可能既有推理任务又有训练任务，最初可能是为训练任务购买资源，但随后也需要利用这些资源进行推理。我们通过任务混合部署，提升资源利用率，确保资源能够被高效利用。
Q：您刚才花很大篇幅讲跨地域网络问题，能否举例说明实际效果？
A: 跨网络问题主要涉及两个方面：一是当进行十万卡规模的部署时，确实需要跨地域的支持；二是我们云服务的能力。举例来说，我们可以在云上两个机房同时部署计算任务，但客户在使用时完全感知不到差异。例如，即使客户使用的是5000卡的规模，我们在不同地点分配资源，但使用体验依然一致，这是我们的一大优势。
Q：面对不同客户需求，如1000到5000卡的规模，如何确保任务级别的混合调度的效率提升？
A: 混合调度我们已经做了许多工作，实质上是通过混合集群实现不同特征的工作负载的混合。
例如，推理任务有波峰波谷，波峰时使用的资源更多，波谷时使用较少；而训练任务则需要固定数量的计算卡（如1000卡），如果资源不足，比如仅有990卡，任务将无法运行。
为了解决这些问题，我们提供了一个非常灵活的队列机制，将业务视为虚拟队列，并配置优先级策略。这些队列根据实际情况动态调整资源分配，当资源不再需要时，可以被其他队列的任务抢占，从而提高资源利用率。此外，我们的框架能够自动重新分配并行策略。例如，一个需要1000卡的任务，在资源不足时（如仅有900卡），能够调整并行策略以继续运行，从而确保任务的连续性和有效性。
Q： 请详细聊一下Checkpoint环节，大家有不同的策略，可能有些效果更好，有些则影响训练有效时间和成本，我们在这方面是怎么做的？
A： 原来的Checkpoint策略是隔一段时间创建一个Checkpoint，在故障发生后恢复。但是，这种方法的缺点是，如果每小时创建一次Checkpoint，出现故障时通常会浪费一半的时间，即30分钟。因此，我们希望Checkpoint越密集越好，但这也带来新的问题。
最初的Checkpoint策略需要停止训练，将数据写入存储，这会耗费大量时间，因为存储带宽有限。当时停下来写Checkpoint需要几分钟，这显然无法接受，尤其在Checkpoint频繁时。
第一阶段：改进为异步Checkpoint，训练过程不中断，先将数据复制到内存，然后异步写入存储。这样可以缩短Checkpoint时间，从原来的两小时一次缩短到每30分钟一次。但依然存在瓶颈，如存储带宽限制。
第二阶段：引入触发式Checkpoint。在正常情况下不创建Checkpoint，只有在故障发生时才创建。很多GPU故障不会导致数据丢失，可以在故障点恢复数据并存储。这种方法在大多数情况下有效（95%以上），仅在传统Checkpoint保留的情况下无回退和浪费。
本文地址： /article/1555739f9a1b6f8dd588.html
成都车游天下汽车服务有限公司致力于为成都的车主提供优质、可靠的汽车维修、汽车美容、汽车车险服务。我们拥有经验丰富的持牌技师团队和先进的设备，可维修所有车型和品牌的汽车。我们始终以客户为中心，竭诚为每位顾客提供优质的服务和满意的体验。
4399单人小游戏大全收录国内外单人游戏,单人游戏大全,单人小游戏闯关,单人冒险小游戏,单人小游戏大全无敌版,单人闯关小游戏大全。好玩就拉朋友们一起来玩吧！
4399礼服小游戏大全收录了国内外礼服小游戏、制作礼服小游戏、礼服换装小游戏、礼服小游戏下载、最新礼服小游戏。好玩就拉朋友们一起来玩吧！
河南东钰集团有限公司是经南阳市工商局、劳动局批准成立的专业综合性服务公司
青州美腾花卉苗木有限公司集花卉苗木种植繁育销售于一体,已为国内许多绿化工程、企业、个人提供大量花卉和苗木。服务热线:13953645777
广州补习班系初中高中提优辅导权威品牌,源自国际前瞻教育理念,采用欧美小班化模式,首创按月收费,以汇聚一流名师,培育天下英才为己任,是广州口碑比较好的中学补习辅导班。
程力总机:0722-3331866该网站为程力专用汽车股份有限公司官网，程力集团是国产大型军用方舱生产厂家排名前十的民营强企业，也是排名前十的消防车、洒水车、扫路车生产企业。程力官网提供军用方舱产品生产信息：包括-db电磁屏蔽军用方舱、飞机军用方舱、降噪静音军用方舱、全铝军用方舱、军用宿营方舱、军用雷达方舱、军用炊事方舱，是名副其实的综合型特种军用方舱生产公司，也是中国知名品牌的军用方舱生产厂家。
中国数字品牌赋能、共享连接与渠道融合平台！
蜜蜂职场文库分享各行各业的面试自我介绍范文，包括有求职自我介绍、应聘自我介绍、自我推荐信、简单自我介绍、面试注意事项、简历自我评价、自荐信格式等，还有更多工作范文资料。
广西三农资讯网最具影响力的广西三农资讯发布平台，提供最新最全面的农业、农村、农民资讯信息。,广西三农资讯网,全国三农信息一体化应用平台
广州卓禧商贸有限公司
东莞市东友包装材料有限公司总部位于东莞清溪，自有厂房12000平米，20年专注免熏蒸木箱，钢带木箱，出口木箱，真空木箱包装定制及木包装箱运输解决方案。
热门有趣的竞技游戏有哪些，今在这个竞技与荣耀并存的数字领域，每一款游戏都以其独特的魅力和深度策略吸引着广大玩家，无论是紧张刺激的实时对战，还是需要精密团队协作的策略布局，这些游戏无不考验着玩家的反应速度、战术智慧以及团队精神，现在一同踏入这个充满激情与挑战的电子竞技世界，探索那些能够点燃你内心竞技之火的精彩游戏，1、，小动物之星，游戏...。
司机在用多部手机，刷单，最近，不少乘客发现，打专车不再，立等上车，，而需要等司机从1公里以外的地方绕路来，接驾，专车司机也，吐槽，说，即便身边几米处就有人用手机召车，系统也会优先安排更远处的空车来，接驾，调查发现，近半个月来，各家专车的补贴力度减弱，不少司机开始，刷单，，甚至产生专业，刷单族，，即便坐在家里也能月入好几千元，对此...。
原腾讯QQ空间负责人，T4专家黄希彤已离职近日，腾讯前端开发领袖，前QQ空间总负责人，T4专家黄希彤被其夫人曝离职，而被裁最主要的原因，黄希彤夫人认为是自己的丈夫做技术，没有争取管理岗位；不会向上管理；不愿意被PUA，据了解，黄希彤2005年9月入职腾讯，前端开发领袖，前QQ空间总负责人，腾讯云布道师，腾讯首个Web前端专家，T4专家...。
软件行业是企业倒闭和裁员降薪的重灾区，其实比网站、站长、电商群体更惨，也就是说做软件进账100块，但最后留下的利润只有两毛三，与之相对应的是，松松我在抖音上关注了好几个程序员，他们大多是30多岁的年轻人，我觉得这就是当前离职软件开发人员的真实写照，1，有个叫前端盼哥的，开发了一套，格子桌面，的软件，软件发布的时候开直播庆祝，当时我也...。
近日，南京的杜先生，化名，在浙江湖州市新市古镇游玩，有意中看到石板路上一块地砖是用老墓碑做的，碑文上有几行字，能认出，全家六口殉难于此，表弟和妹婿立，他将图片发在网上引发热议，8月24日，杜先生通知抢先资讯，报料邮箱，baoliaosy@163.com，记者称，这块石碑是在古镇游客核心出门50米左右的石板路上看到的，记者以游客身...。
CDR是什么意思cdr全称是CorelDRAW是一个设计软件，关键用于出版业corelDRAW评价板什么意思评价版本应该不是正式版本，不过能经常使用就可以了，看看各项性能能否完全，能否打印，cdr是什么意思cdr意思是设计软件CorelDRAW的简写，CorelDRAWGraphicsSuite是加拿大Corel公司的平面设计软件；该...。
水瓶座的人是一个很不错的人，在自己的人生中会渡过自己想要的永世，水瓶座的人总是给人一种摸不着的气质，对精气环球很关心，天蝎座的人是一个很专注的人，一旦爱上一团体就会想要永远的在一同，和对方过上自己青睐的生存，专注且深厚，水瓶才是天蝎的真爱天蝎座的人不容易爱上一团体，然而一旦遇到水瓶座，天蝎座就觉得水瓶是自己的惟一，属天蝎座者大多感情深...。
摩羯座的有一个好美的神话故事，说是有一位牧神长得很丑，他每天的上班就是看着宙斯的牛羊，素来不敢和众神一同歌唱颂歌，不时暗恋着一位仙子素来不敢表显露来，这所有都是由于他奇丑的外表，自大的性情，但是众神皆不知他奇丑的外表下藏着一颗炽热的心，更没无情愿去听他柔美的萧声，他总在天河的止境一块无人踏足的被谩骂的天河边待着，突然有一天一个怪兽冲着...。
看了《不虚此行》后，终于理解胡歌的精神状态了,胡歌,吴磊,大鹏,电影,不虚此行,实力派演员
重庆分类目录网站收录在线工具相关的优秀网站大全分类检索，为上网用户提供在线工具网站排行榜与您分享、收藏！
源码说明Spimes主题专为博客、自媒体、资讯类的网站设计开发，自适应兼容手机、平板设备。一款简约新闻自媒体类的typecho主题，设计上简约、干净、精致、响应式，后台设置更是强大而且实用的新闻自媒体类主题。前端功能...
原材料从100元涨到4000元！很多人爱买，老板：供不应求，最近太火了,椰肉,椰青,饮品,椰子汁
原材料从100元涨到4000元！很多人爱买，老板：供不应求，最近太火了,椰肉,椰青,饮品,椰子汁
彩虹ds知识付费模板源码-**付费源码内容都在图里，彩虹ds的模板，大概怎么用就不多说，安装教程里面都有!自己下载测试吧!
源码说明Spimes主题专为博客、自媒体、资讯类的网站设计开发，自适应兼容手机、平板设备。一款简约新闻自媒体类的typecho主题，设计上简约、干净、精致、响应式，后台设置更是强大而且实用的新闻自媒体类主题。前端功能...
重庆分类目录网站收录在线工具相关的优秀网站大全分类检索，为上网用户提供在线工具网站排行榜与您分享、收藏！
看了《不虚此行》后，终于理解胡歌的精神状态了,胡歌,吴磊,大鹏,电影,不虚此行,实力派演员
