超算发展的加速引擎 大模型推理成ASC24赛题 (超算的发展情况)

谈到超算，最早可追溯到1929年，彼时，超级计算（Supercomputing）的概念首次出现在《纽约世界报》的报道中，并对今后科技的发展起着至关重要的作用。随后，国内外对超算的研究进入到了如火如荼的阶段。

人材是创新的源泉，也是技术发展的主导力量，为了给中国超算产业持续储备、输送更多优秀的技术人才，2012年，中国提议并成立了ASC世界大学生超级计算机竞赛，该活动与日本、俄罗斯、韩国、新加坡、泰国、中国台湾、中国香港等国家和地区的超算专家和机构共同发起并组织，并得到美国、欧洲等国家地区超算学者和组织的积极响应支持。

至今，ASC已经走过12个年头，已经发展为全球最大规模的大学生超算竞赛，超过上万名大学生人才走入ASC，跨进超算的大门，通过以赛代学以赛促练快速成长，融为了产业创新的新鲜血液。

随着超算技术不断发展，中国超算应用领域也在不断拓展，人才培养也得到产学研界的用心扶持。近几年来，我国超算产业的发展取得了不错的成绩。

规模方面，据Frost & Sullivan的调研数据显示，2016-2021年中国超算服务市场规模的复合增长率达24.7%，其中，2021年市场规模为196.6亿元，2022年增速约24.5%，由此推算，2022年中国超算服务市场规模约244.8亿元。

性能方面，中国超级计算平均性能已经从2013年的573 Tflops升至2022年的8999 Tflops。其中，2022年超级计算机最高性能达208260 Tflops，较2021年的最高性能提升了66.55%。

同时，结合超算近两年的发展态势，Frost & Sullivan也预测道，2022-2025年中国超算服务市场规模复合增速约24.1%，若持续保持这一增速发展，到2028年，中国超算服务市场规模将接近900亿元。

缘何能保持如此高速的增长？

如果从今年科技界的发展动向看，大模型就是最好的“加速器”。

对此，一位超算行业的专业人士也曾提到，随着2022年底chatGPT的流行带动，算力已成为大模型训练的重要基础设施，国内外纷纷建设由高端芯片组成的大规模算力集群。大模型训练与推理为超算带来了巨大机遇，据openai估算，目前大模型训练对算力的需求大约每3至4月翻一倍，远超摩尔定律18至24个月翻倍的速度。

毫无疑问，大模型的发展确实能在很大程度上，带动算力乃至超算产业的发展，但是其背后是对人才提出了更为严苛的要求。诸如，如何加速大模型的训练速度？如何提升大模型的训推性能？以及如何降低计算成本等这些问题都需要人来完成。

正如上海大学计算机工程与科学学院院长谢少荣所言，大模型给我们带来机遇的同时，也带来了巨大的挑战，大模型对算力的需求不断激增，随之而来对人才也提出了新的要求，如何培养更高质量的人才，就成了重要的研究课题。

基于此，近日，2024 ASC世界大学生超级计算机竞赛（ASC24）在北京全面启动，吸引了全球超过300支高校队伍报名参赛，较以往报名参加的国家和地区的数量都有较大的提升。

值得注意的是，此次的赛题包括大模型推理优化、渗流数值模拟，以及国际通行基准测试HPL和HPCG等。

其中，在大模型推理优化方面，ASC24选择的是开源大模型LLaMA2。众所周知，目前国内外涌现出了多个开源大模型，LLaMA2是充分评估和考量后的结果。智源研究院大模型行业应用负责人周华表示，LLaMA在整个开源界的认知度和成熟度都比较高，从参赛队伍的角度来说，让他们基于熟知的开源模型做预赛是一个比较好的选择。

“在参数上，赛题选择的是70B参数规模，体量足够大，硬件配置方面是两卡的机器，意味着一台机器是跑不起来的，需要参赛队伍做更多的优化工作，这对于人才的选拔非常有必要的，”周华如是说。

ASC组委会委员刘军补充道，“组委会在赛题的选择上希望有一定的代表性和超前性。”

反观过往几年的赛题设置，似乎也在一直践行这一标准。2016年，在赛题设置方面，和科大讯飞合作做过语音识别；2017年，和百度联合做了飞桨自动驾驶的路径规划；2018年，和微软共同做了数据集的阅读理解评测，2019年，虽然大模型没有爆火，但当时就使用了源大模型的赛题；去年，大模型领域出现了百花齐放的局面，从全球范围看，LLaMA是具备领先性的。

当然，刘军也坦言，ASC是一个全球性的竞赛，各国的参赛队伍在开源模型上开展相应的比赛工作，一方面，大家能获取更广泛的资源，诸如相应的论文或者代码工作的支持，另一方面，同样会考验，各个参赛队伍如何更加有效地获取相关资源完成这次竞赛。

在本次竞赛中，还加入了渗流数值模的赛题，对此，了解到，这类赛题，主要是研究多相流体在多孔介质中的复杂流动规律与特征，要求各参赛队伍模拟石油开采场景中油、气、水等多相流体的渗流情况，并优化大规模并行计算过程，提升离散算法的计算性能和并行效率。渗流力学广泛应用于环境保护、地震预报、生物医疗等领域的科学研究，以及防止治理地面沉降或海水入侵、兴建大型水利水电工程、农林工程、冻土工程等工程技术中。

从赛题的设置方面，能明显的看出，此次的赛题涉及范围更为广泛，这就意味着，考验的不仅仅是大模型训推等能力，还需要参赛队伍具备工业、地质学、生物医疗等多个交叉学科的能力，这无疑会对参赛队伍提出更为严峻的挑战。

对此，中国科学院数学与系统科学研究院研究员张晨松解释道，此次赛题牵扯的面确实比较广，包含地质力学、流体力学、油藏工程等知识。所以在设计题目时，会尽量地把一些参赛人员可能不太会牵扯到的知识屏蔽掉，只选择一部分程序，让参赛队伍把优化的精力集中在一些算法的提升以及对固定算法的代码性能的优化方面。主要考察的则是计算机程序开发的能力以及在超算上并行资源利用的能力。

从一定程度上来说，ASC是为了给超算产业的发展持续输送人才，但是反观大模型给超算行业带来的影响，其实，更重要的是怎么让大模型在千行百业中成功落地。

周华表示，目前大模型的主要应用形式是客服或者文档处理，在这些方面已经相对成熟了。但一旦进入深水区，比如工业领域涉及到的文字处理、图表解析、工程数字等问题很难通过大模型来解决。

“总体来说，现阶段的大模型还是一个知识量非常庞大，相对比较通才的偏文科的模型状态。如果想要用在理工科领域，仍需要不断加强模型的能力，特别是逻辑推理、数学等方面的能力。”

原创文章，未经授权禁止转载。详情见 转载须知 。

上一篇：从6000元涨到3万老车主炸了；上汽总裁称学会

下一篇：敲钟超算服务龙头并行科技成功登陆北交所