要求参赛队基于这一数据集实现一个47亿参数的小号源模型

2022-01-06 19:47:10 中国经济网阅读量:8677   
imgad2

日前,2022 ASC世界大学生超级计算机竞赛初赛正式开启来自全球五大洲的300多支参赛队伍将在接下来的近两个月中,挑战源AI语言大模型,2020年戈登·贝尔奖获奖应用DeePMD—kit等尖端应用赛题

要求参赛队基于这一数据集实现一个47亿参数的小号源模型

在ASC22初赛中,所有大学生队伍需要完成两道极具挑战性的尖端应用赛题,分别是源AI语言大模型和AI+Science代表性软件DeePMD—kit。

今年的AI赛题聚焦当前业界前沿AI大模型源是2021年发布的一个面向中文的巨量语言模型,参数量达2457亿,刷新了业界多个中文榜单的记录,且在众多的语言处理任务场景中表现出了广阔的应用前景AI大模型的训练面临着计算量和并行策略设计的双重挑战,因此也是参赛队展示超算性能优化能力的绝佳试验场ASC22组委会提供了100GB的高质量中文数据集,要求参赛队基于这一数据集实现一个47亿参数的小号源模型值得一提的是,组委会并没有提供模型设计的参考代码,这意味着参赛队需要自行完成模型结构构建和全部训练过程,并合理设计模型训练策略,以期得到最佳的计算性能

DeePMD—kit赛题将引导大学生进行一场人工智能+科学研究的前沿探索科学研究与人工智能结合被视为当前最值得期待的创新趋势之一,机器学习分子动力学DeePMD—kit的出现成功推动了相关领域的跨越式发展而高性能计算的加入将机器学习分子动力学的潜力持续释放:DeePMD—kit在超级计算机顶点上达到了双精度91P的峰值性能,到解时间快于之前基线水平1000倍以上,相关成果获得了2020年戈登·贝尔奖可以说DeePMD—kit的出现定义了科学研究+机器学习+高性能计算的新范式本次赛题聚焦DeePMD—kit的训练效率优化,通过高性能优化提升训练速度对于用户来说至关重要参赛选手将对DeePMD—kit的模型构建过程有一个直观认识,并可以使用高性能优化的手段优化整个训练过程

ASC22世界大学生超算大赛的启动会将于1月19日在北京召开,届时权威专家学者,东道主高校,参赛队代表将共同开启ASC22序幕,会上将公布总决赛东道主等重磅信息。今年4月,华为云发布了盘古系列预训练模型,包括自然语言处理模型,计算机视觉(CV)模型,多模态模型和科学计算模型。。

为帮助各参赛队伍高效备战,ASC22竞赛集训营将于1月20日—21日在线上举行来自英特尔,英伟达,中国科学院,深势科技,高效能服务器和存储技术国家重点实验室的HPC及AI专家将详解竞赛规则,集群搭建及优化,赛题等内容,进行参赛指导往届大赛获奖团队也将现身集训营分享参赛经验

ASC世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新ASC超算大赛迄今已举行至第十届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛