超算发展的加速引擎 大模型推理成ASC24赛题 (超算的发展情况)

文章编号:41981 资讯动态 2024-12-03 大模型 超算 ChatGPT
超算发展的加速引擎

谈到超算,最早可追溯到1929年,彼时,超级计算(SuperComputing)的概念首次出现在《纽约世界报》的报道中,并对今后科技的发展起着至关重要的作用。随后,国内外对超算的研究进入到了如火如荼的阶段。

人材是创新的源泉,也是技术发展的主导力量,为了给中国超算产业持续储备、输送更多优秀的技术人才,2012年,中国提议并成立了ASC世界大学生超级计算机竞赛,该活动与日本、俄罗斯、韩国、新加坡、泰国、中国台湾、中国香港等国家和地区的超算专家和机构共同发起并组织,并得到美国、欧洲等国家地区超算学者和组织的积极响应支持。

至今,ASC已经走过12个年头,已经发展为全球最大规模的大学生超算竞赛,超过上万名大学生人才走入ASC,跨进超算的大门,通过以赛代学以赛促练快速成长,融为了产业创新的新鲜血液。

随着超算技术不断发展,中国超算应用领域也在不断拓展,人才培养也得到产学研界的用心扶持。近几年来,我国超算产业的发展取得了不错的成绩。

规模方面,据Frost & Sullivan的调研数据显示,2016-2021年中国超算服务市场规模的复合增长率达24.7%,其中,2021年市场规模为196.6亿元,2022年增速约24.5%,由此推算,2022年中国超算服务市场规模约244.8亿元。

性能方面,中国超级计算平均性能已经从2013年的573 Tflops升至2022年的8999 Tflops。其中,2022年超级计算机最高性能达208260 Tflops,较2021年的最高性能提升了66.55%。

同时,结合超算近两年的发展态势,Frost & Sullivan也预测道,2022-2025年中国超算服务市场规模复合增速约24.1%,若持续保持这一增速发展,到2028年,中国超算服务市场规模将接近900亿元。

缘何能保持如此高速的增长?

如果从今年科技界的发展动向看,大模型就是最好的“加速器”。

对此,一位超算行业的专业人士也曾提到,随着2022年底ChatGPT的流行带动,算力已成为大模型训练的重要基础设施,国内外纷纷建设由高端芯片组成的大规模算力集群。大模型训练与推理为超算带来了巨大机遇,据OpenAI估算,目前大模型训练对算力的需求大约每3至4月翻一倍,远超摩尔定律18至24个月翻倍的速度。

毫无疑问,大模型的发展确实能在很大程度上,带动算力乃至超算产业的发展,但是其背后是对人才提出了更为严苛的要求。诸如,如何加速大模型的训练速度?如何提升大模型的训推性能?以及如何降低计算成本等这些问题都需要人来完成。

正如上海大学计算机工程与科学学院院长谢少荣所言,大模型给我们带来机遇的同时,也带来了巨大的挑战,大模型对算力的需求不断激增,随之而来对人才也提出了新的要求,如何培养更高质量的人才,就成了重要的研究课题。

基于此,近日,2024 ASC世界大学生超级计算机竞赛(ASC24)在北京全面启动,吸引了全球超过300支高校队伍报名参赛,较以往报名参加的国家和地区的数量都有较大的提升。

值得注意的是,此次的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。

其中,在大模型推理优化方面,ASC24选择的是开源大模型LLaMA2。众所周知,目前国内外涌现出了多个开源大模型,LLaMA2是充分评估和考量后的结果。智源研究院大模型行业应用负责人周华表示,LLaMA在整个开源界的认知度和成熟度都比较高,从参赛队伍的角度来说,让他们基于熟知的开源模型做预赛是一个比较好的选择。

“在参数上,赛题选择的是70B参数规模,体量足够大,硬件配置方面是两卡的机器,意味着一台机器是跑不起来的,需要参赛队伍做更多的优化工作,这对于人才的选拔非常有必要的,”周华如是说。

ASC组委会委员刘军补充道,“组委会在赛题的选择上希望有一定的代表性和超前性。”

反观过往几年的赛题设置,似乎也在一直践行这一标准。2016年,在赛题设置方面,和科大讯飞合作做过语音识别;2017年,和百度联合做了飞桨自动驾驶的路径规划;2018年,和微软共同做了数据集的阅读理解评测,2019年,虽然大模型没有爆火,但当时就使用了源大模型的赛题;去年,大模型领域出现了百花齐放的局面,从全球范围看,LLaMA是具备领先性的。

当然,刘军也坦言,ASC是一个全球性的竞赛,各国的参赛队伍在开源模型上开展相应的比赛工作,一方面,大家能获取更广泛的资源,诸如相应的论文或者代码工作的支持,另一方面,同样会考验,各个参赛队伍如何更加有效地获取相关资源完成这次竞赛。

在本次竞赛中,还加入了渗流数值模的赛题,对此,了解到,这类赛题,主要是研究多相流体在多孔介质中的复杂流动规律与特征,要求各参赛队伍模拟石油开采场景中油、气、水等多相流体的渗流情况,并优化大规模并行计算过程,提升离散算法的计算性能和并行效率。渗流力学广泛应用于环境保护、地震预报、生物医疗等领域的科学研究,以及防止治理地面沉降或海水入侵、兴建大型水利水电工程、农林工程、冻土工程等工程技术中。

从赛题的设置方面,能明显的看出,此次的赛题涉及范围更为广泛,这就意味着,考验的不仅仅是大模型训推等能力,还需要参赛队伍具备工业、地质学、生物医疗等多个交叉学科的能力,这无疑会对参赛队伍提出更为严峻的挑战。

对此,中国科学院数学与系统科学研究院研究员张晨松解释道,此次赛题牵扯的面确实比较广,包含地质力学、流体力学、油藏工程等知识。所以在设计题目时,会尽量地把一些参赛人员可能不太会牵扯到的知识屏蔽掉,只选择一部分程序,让参赛队伍把优化的精力集中在一些算法的提升以及对固定算法的代码性能的优化方面。主要考察的则是计算机程序开发的能力以及在超算上并行资源利用的能力。

从一定程度上来说,ASC是为了给超算产业的发展持续输送人才,但是反观大模型给超算行业带来的影响,其实,更重要的是怎么让大模型在千行百业中成功落地。

周华表示,目前大模型的主要应用形式是客服或者文档处理,在这些方面已经相对成熟了。但一旦进入深水区,比如工业领域涉及到的文字处理、图表解析、工程数字等问题很难通过大模型来解决。

“总体来说,现阶段的大模型还是一个知识量非常庞大,相对比较通才的偏文科的模型状态。如果想要用在理工科领域,仍需要不断加强模型的能力,特别是逻辑推理、数学等方面的能力。”

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/439e4d22908f52cb4b67.html
全局中部横幅
全局中部横幅
“ip138.com”的百度权重查询结果

查询百度权重和百度的关键字排名,查询360权重和360的关键字排名

我欲封天h5游戏

手机我欲封天游戏,我欲封天h5游戏是一款由小说改编而成的动作RPG游戏的h5游戏在线玩,我命如妖欲封天!游戏剧情完整,跌宕起伏,我欲封天h5游戏给你全新的我欲封天。;您可以免费在线玩。

上海东宝空调售后服务中心【企业官网】

上海东宝空调售后服和电话:4007787057,维修人员都有多年积累的实践经验。并每年接受厂家的维修培训,职业素质高,专业水平好。拥有多年积累的工作经验。

AnyTeach

AnyTeach是一个泉州英起科技有限公司旗下的成人在线英语平台,自研「王冰暗示法英语」课程体系,同时为全国上千家合作机构提供教学服务。AnyTeach旗下拥有数千名中教名师团队,以「磨耳朵」和「暗示法教学」为教学理念,致力带来最具革命性的英语教育。

厦门二手房

丹夏网汇聚大量厦门真实、优质、二手房,打造专业高效的房产交易服务平台,让每一个用户享受舒心、放心的房产交易体验。找真房源、享“心”服务,到丹夏网。

谱足成语网

探索成语的哲理智慧和文化底蕴,领悟其中的生活智慧和人生哲理,让你的人生更加丰富和有意义。

昆山人才网,昆山人力资源网

昆山人才网由昆山人力资源市场创办,是昆山地区官方招聘网。苏州招聘,昆山招聘,苏州找工作,昆山找工作首选昆山人才网。

亚索教育网

亚索教育网专注于提供高考资讯、大学招生、新高考等高考热门内容,为广大高考考生打造高考信息平台。

中国镜子与玻璃专业生产制造商

镜子,卫浴镜,智能镜,穿衣镜,装饰镜子,LED镜子,玻璃,装饰玻璃,生产制造商

海量手游下载

本站提供海量手游下载和免费软件资源下载,优质的服务器可保证用户下载无阻拥有最佳的用户体验,各个版本的游戏和软件均可通过本站搜索下载,同步更新手游攻略,确保各位玩家在闯关路上风雨无阻,各种软件分类明确是用户们值得拥有的网站.

搜盘库

搜盘库——专业的网盘资源聚合搜索平台!致力于为用户提供高效、精准的网盘资源检索服务,涵盖学习资料、影视资源、办公模板、软件安装包等海量内容。无需繁琐操作,一键搜索即可快速找到你需要的网盘资源,告别资源难找的烦恼,是你日常找资源的实用好帮手!

安泰物流

安泰物流提供物流,货运,空运,搬家,海运等一站式门到门货物运输解决方案,打造标准化物流运输服务。


全局底部横幅