对话 十万卡集群 的必要性 从背景到技术储备 深入解析建
前不久，马斯克旗下的xAI122天建成十万卡集群，也让外界意识到算力集群对AI的重要性。
之前坊间还流传一句话：服务器集群的规模越大，其训练出来的人工智能表现就越出色。
在这波浪潮之下，全球科技巨头纷纷投入巨资建设高性能AI计算集群，以提升AI算法的效率和能力。谷歌推出了其AI Platform，依托多模态生成式AI模型GeMini，大幅提升了在文本、图像、音频和视频处理上的能力。微软的Azure AI Compute Cluster整合了最新AI技术，为开发者提供了从数据处理到模型训练的全方位支持。（添加微信Who123start，解锁独家科技内幕和行业趣闻）
作为国内最早推出大模型之一的百度，也展现出其强大的创新能力。11月6日，在百度智能云举办的百舸媒体沙龙，深入探讨“十万卡集群”的技术创新、实施过程及其对AI行业的推动作用，并邀请百度杰出系统架构师、百度AI计算部负责人王雁鹏在现场做了分享和交流。
以下是媒体与三位嘉宾在会上的对谈实录，在不改变原意的情况下做了编辑和调整：
Q：百舸的客户群是哪些？重点的行业客户是否之前有一些成功案例可以来分享？
A：我们的客户主要分为两类。一类是大模型创企，他们需要万卡规模的计算能力，因而对快速建设和成本控制有较高的需求。这类客户虽然数量较少，但其需求非常明确；
另一类是典型的互联网客户，他们的需求规模通常在千卡到5000卡之间。这些客户包括教育行业的公司。
这些互联网客户的主要需求是利用他们大量的自有数据进行后期训练（Post Train），以适应各种场景和优化，从而构建他们的数据飞轮。目前，这些训练需求依然是我们的主要业务，而推理需求相对较少。这也解释了为什么业界对AI算力落地效果仍存疑虑。预计在今年或明年，算力需求仍将以训练为主，而推理和SFT（小规模微调）的长尾客户将会增多，但总体资源需求仍低于头部客户。
Q：百舸客户的主要需求和痛点是什么？我们是如何解决的？
A：各类客户的需求其实有很多共通之处，我们可以一层层来分析。
1. 基础设施层面：这些客户首先需要一个强大的网络硬件互联架构。企业在尝试自行搭建大规模集群时，常常会遇到网络上的难题。我们的任务是为他们提供更好的网络硬件互联架构，使他们能够成功搭建一个大规模的计算集群。
2. 系统稳定性：没有经验的客户在自行搭建系统时，常会遇到有效训练时间过低的问题。这些稳定性问题是客户面临的第二大难题，我们需要帮助他们提高系统的可靠性和有效训练时间。
3. 加速框架：在提供加速框架方面，我们帮助客户优化并行策略，提升性能。通过更好的框架，我们能显著提升计算速度，解决加速问题。
4. 资源利用率：客户购买大量资源后，需要有效利用这些资源。他们可能既有推理任务又有训练任务，最初可能是为训练任务购买资源，但随后也需要利用这些资源进行推理。我们通过任务混合部署，提升资源利用率，确保资源能够被高效利用。
Q：您刚才花很大篇幅讲跨地域网络问题，能否举例说明实际效果？
A: 跨网络问题主要涉及两个方面：一是当进行十万卡规模的部署时，确实需要跨地域的支持；二是我们云服务的能力。举例来说，我们可以在云上两个机房同时部署计算任务，但客户在使用时完全感知不到差异。例如，即使客户使用的是5000卡的规模，我们在不同地点分配资源，但使用体验依然一致，这是我们的一大优势。
Q：面对不同客户需求，如1000到5000卡的规模，如何确保任务级别的混合调度的效率提升？
A: 混合调度我们已经做了许多工作，实质上是通过混合集群实现不同特征的工作负载的混合。
例如，推理任务有波峰波谷，波峰时使用的资源更多，波谷时使用较少；而训练任务则需要固定数量的计算卡（如1000卡），如果资源不足，比如仅有990卡，任务将无法运行。
为了解决这些问题，我们提供了一个非常灵活的队列机制，将业务视为虚拟队列，并配置优先级策略。这些队列根据实际情况动态调整资源分配，当资源不再需要时，可以被其他队列的任务抢占，从而提高资源利用率。此外，我们的框架能够自动重新分配并行策略。例如，一个需要1000卡的任务，在资源不足时（如仅有900卡），能够调整并行策略以继续运行，从而确保任务的连续性和有效性。
Q： 请详细聊一下Checkpoint环节，大家有不同的策略，可能有些效果更好，有些则影响训练有效时间和成本，我们在这方面是怎么做的？
A： 原来的Checkpoint策略是隔一段时间创建一个Checkpoint，在故障发生后恢复。但是，这种方法的缺点是，如果每小时创建一次Checkpoint，出现故障时通常会浪费一半的时间，即30分钟。因此，我们希望Checkpoint越密集越好，但这也带来新的问题。
最初的Checkpoint策略需要停止训练，将数据写入存储，这会耗费大量时间，因为存储带宽有限。当时停下来写Checkpoint需要几分钟，这显然无法接受，尤其在Checkpoint频繁时。
第一阶段：改进为异步Checkpoint，训练过程不中断，先将数据复制到内存，然后异步写入存储。这样可以缩短Checkpoint时间，从原来的两小时一次缩短到每30分钟一次。但依然存在瓶颈，如存储带宽限制。
第二阶段：引入触发式Checkpoint。在正常情况下不创建Checkpoint，只有在故障发生时才创建。很多GPU故障不会导致数据丢失，可以在故障点恢复数据并存储。这种方法在大多数情况下有效（95%以上），仅在传统Checkpoint保留的情况下无回退和浪费。
本文地址： https://www.gpxz.com/article/1555739f9a1b6f8dd588.html
厦门房天下是房地产家居网络平台，提供及时的房地产新闻资讯内容，为楼盘提供网上浏览、业主论坛和社区网站，房地产精英人物个人主页，是国内房地产媒体及业内外网友公认的房地产网络平台，房天下引擎给网友提供房地产网站中速度快捷内容全面的智能搜索。
投融界（trjcn.com）是中国专业的合作平台，为您提供合作，天使合作，债权合作等信息，拥有超百万的合作机构、企业与个人用户入驻。专为中小微企业解决合作难问题。投融界通过线上＋线下、标准化＋个性化的服务体系，为客户提供针对性的合作信息对接和项目撮配服务，帮助客户实现成功对接合作。
岳阳市科瑞化玻仪器设备有限公司是一家集销售、技术支持、服务于一体的知识型、技术密集型专业公司。主要从事各类进口/国产分析检测仪器设备、计量仪器、环保、教学、生命科学、光学机械、试剂耗材等产品的销售，并为广大用户提供高技术含量的优质设备、可为用户提供实验室项目的咨询规划、设计、安装等一整套服务，有自己专业的维修工程师团队，可提供维修等配套服务；为所有实验室的标准化、自动化、系统化提供技术支持。
为您提供各大品牌空调故障维修售后，空调清洗，加氟，移机拆装，工程师30分钟快速上门，现场为您解决问题，提供完善的保障服务。
开心一刻，笑话大全，爆笑冷笑话精选，经典笑话尽在幽默笑话大全！海量笑话内容每日定时更新，给您带来更多快乐。更有资讯杂谈，了解广泛资讯内容。
涂装设备网是中国起步最早的权威性行业网站。内容涵盖：静电喷粉设备，静电喷涂设备，汽车涂装流水线，电子产品涂装流水线等。海量企业数据，一手供应资料。
福建元晟汽车配件科技有限公司是一家致力于新能源汽车动力电池系统、储能系统精密结构件--箱体、箱盖及相关配件的研发、生产和销售的专业厂商。
天津义永昌盛工程有限公司主要提供管道打压、增压机租赁、管道通球、管道清洗、氮气置换、增压机租赁、管道带压封堵、天然气管道打压等服务的企业，具有先进的设备，可以为广大客户提供更方便、快捷的空气压缩机租赁服务和管道服务。
TrueSight™精诊科技是一家临床外科人工智能医疗企业，利用深度学习、计算图形学等技术，对病人多源异构医疗数据进行深度处理和分析。面向医院临床外科提供数字化手术术前规划，手术术中实时导航和术后评估等围术期全流程解决方案。核心团队由清华、西电博士团队于2015年组建，先后获得“互联网+”创业大赛国家金奖、“挑战杯”国家一等奖等奖项。
AshionTemplate
思达建茂默认频道北京思达建茂科技发展有限公司
我们终于发现，互联网最大的投资大亨，不是中国人，也不是美国人，竟然是一个俄罗斯人，就在我们感叹滴滴、优步、神州都是姓，柳一家人的时候，我们却不知道，其实早就有人下了更大的一盘棋，资本是不分国界的，这个叫尤里·米尔纳的俄罗斯男人，他投的公司中已经出现了两家千亿美元级的巨头，阿里巴巴和Facebook，，和五六家百亿级的，京东、Twitt...。
我一直觉得，地球上有一种特色文化载体的价值被严重低估，就是中国特色的农村外墙大字报，在媒介单一、落后特殊时期，他们承载着农村主流价值观的传播重担，而在强有力的功能性的另一面，这些标语还意外地散发着独特的艺术性和感染力，他们总有一种强大魔力能让某个价值观直击人心，至今仍令互联网时代的文案写手难以望其项背，可是现在不同了，睁眼闭眼都是手机...。
今年天猫迎来了首个虚拟现实双11，10月23日，淘宝VisionPro版双11会场正式上线，不仅支持消费者虚拟逛街、3D购物，还能抢3D沉浸式红包雨，记者看到，会场不仅有上万款3D商品参与双11活动，淘宝还联合魅可、大疆、COLMO、Vidda、芝华仕等5家品牌，深度打造了沉浸式空间购物场景，爆款尖货双11专享价最高直降1111元，同...。
国际权威行业研究机构IDC最新发布的，中国公有云市场份额报告，2023H1，显示，2023上半年中国公有云服务市场整体规模，IaaS，PaaS，SaaS，达190.1亿美元，其中IaaS市场同比增长13.2%，PaaS市场增速26.3%，在IaaS领域，腾讯云继续保持国内领先位置；在PaaS领域，腾讯云份额稳居国内第二，构建起包括数据...。
今日头条字节跳动公布OpenAI服务被禁澄清，未来几天将再次全面排查，确保遵守条款近日，有外媒报道称，字节跳动在使用OpenAI技术开发自己的大语言模型，违反了OpenAI服务条款，导致账户被暂停，对此，字节跳动相关负责人向记者回应称，今年年初，当技术团队刚开始进行大模型的初期探索时，有部分工程师将GPT的API服务应用于较小模型的实...。
10月23日，一加携手高通线上举办一加13性能解读特别活动，宣布了一加13将首批搭载最新骁龙8至尊版移动平台，并提供同档唯一24GB，1TB超级内存及第二代天工散热系统Pro，，高通产品市场高级总监马晓民表示，全新发布的骁龙8至尊版移动平台，将带来跨代际的性能飞跃与体验升级，在打造一加13的过程中，我们与一加团队持续深入合作...。
信用就像一面镜子，只要有了裂缝就不能像原来那样连成一片，瑞士名言信用是现代社会运转的基石，在商业、人际关系、乃至国际事务中，信用都扮演着至关重要的角色，瑞士的这句名言精妙地描绘了信用的特性，一旦受损，便难以完全恢复，在商业环境中，信用是企业或个人获得贷款、进行交易的基础，一个信用良好的企业可以更容易地获得银行的贷款，从而有更多的资金...。
CAD初学入门者首先要选择一款适合的CAD软件，一过去就用复杂的专业CAD软件，就会从心思上影响学习，关于CAD初学者来说，倡导刚开局是要轻量级的浩辰CAD看图王电脑版软件，先从基础的罕用配置学起，如下，cad制图基本入门常识想要学习CAD首先要了解它，上方给大家引见cad制图的基本入门常识，欢迎浏览，cad制图的基本入门常识基础1....。
电影天堂网的网站理念电影天堂网不时倡议绿色、肥壮、收费的服务理念，所有为访客的利益登程，做大家喜欢的绿色收费电影网站，电影天堂网哪里能看完整的关上网络阅读器，在搜查框中输入，须要搜查的平台，官方，二字点击搜查结果即可，具体步骤，1、点击关上电脑，网络阅读器，2、进入网络阅读器，在阅读器地址输入，网络网址，3、关上网络搜查，在搜查框...。
声控，声控如何，什么声控，哪些声控，怎么声控
PP视频(原PPTV聚力),PPTV聚力已经更名pp视频，是PPLive旗下媒体播放平台，全球安装量最大的pptv网络电视，支持对海量视频内容的“直播+点播”功能，pptv聚力电脑版可在线观看丰富视频娱乐节目并且完全免费,您可以免费下载。
随着品质生活升级，人们对沐浴及生活用水的响应速度、水温舒适度、节能等方面提出更高追求，据，厨电新观察，分析，存量化时代下，燃气热水器市场转向以用户需求为导向，并在速热、恒温、零冷水、绿色低碳、智能化等产品技术领域不断迭代创新，持续推动行业创新发展和激发市场新增量，近年来，零冷水、恒温等燃气热水器的推陈出新，虽然一定程度上改善人们的沐浴...。
越来越多的创业者想要加入餐饮行业中赚取丰厚的钱财，大家了解餐饮市场上具有较大的需求量，其中，鱼饭是众多创业者看好的合作项目，在投入成本方面不是太高，产品在市场上十分畅销，能够从中赚取盆满钵满的钱财，是一种适合大众创业者的好项目，接下来和小编一起来看看鱼饭加盟的服务质量如何，出餐快吗，鱼饭加盟的服务质量如何鱼饭是一家专注于健康快餐产品研...。
近年来，党和国家高度重视城市治理体系和治理能力现代化，各省市陆续出台政策，2020年11月29日，中共中央在，关于第十四个五年规划和二〇三五年远景目标的建议，中明确提出实施城市更新行动，将建设智慧城市作为总体目标之一，2021年8月30日，江苏省政府发布，十四五，新型基础设施建设规划，，提出建设社会综合治理平台、网格化综合管理、社会...。
无论是年轻的白领、少女学生，以及中年人群，每年都需要购买多个内衣，内衣的穿着使用时间在6个月左右，想要健康美观，内衣定期更换就很重要，女性天生爱买，女性对于自己内衣品质要求高，需要有由内而外的美，能够体现出自己个性，女人心内衣就受到很多消费者的认可，产品性价比高，究竟女人心内衣款式如何，新款更新快吗，女人心内衣款式种类多，公司拥有18...。
相信很多智慧之选者都遇到过这样的情况，行业连锁加盟总部、派店长和技师上门为其经营，这是真的吗，其实，首先要明白，这是您的依赖心理，是一种惰性，那些炒做公司利用的就是您的惰性心理，其次，您要想想，这生意是您做，还是他们做，您自己的智慧之选、能永远指望别人帮您，养孩子，吗，下面，说说实际是怎么回事，是真的！那些连锁加盟总部确实会派人来，在...。
