胡锡进2024年10月11日发布:大模型算力 CCCF精选

大量预训练大模型的出现正不断提升人工智能系统的认知能力。“预训练大模型+下游任务微调”的新范式已成为支撑人工智能技术落地的突破口，加速推进人工智能技术实用化、通用化和普惠化发展。自2011年以来，全球人工智能领军企业和研究机构纷纷加入了基于深度学习的人工智能研究，模型参数急剧增长。特别是2018年第一个真正意义上的预训练大模型（BERT）出现后，在短短三四年内，大模型的参数规模从亿级快速突破至万亿级。大模型正以超乎想象的速度快速迭代，在自然语言处理等领域展现出强大的认知能力和内容生成能力，人工智能大规模产业化的前夜已在不知不觉中来临。

2022年11月，我们见证了OpenAI公司研发的ChatGPT发布后引发的大模型应用热潮。ChatGPT的独特之处在于引入了人机对话提示词（prompt），以人机交互的方式深化模型推理和内容生成，使其达到接近人类认知能力的水平。其后，国内外又涌现出文心一言、PaLM、LLaMA等一大批性能卓越的预训练大模型，这些大模型的持续优化将推动人工智能技术进入更为智能的阶段。也许通用人工智能的种子已经深植于这些大模型之中，共同酝酿着新一轮产业革命的契机。同时，预训练大模型所需的算力也达到了前所未有的量级。以ChatGPT 为例，其预训练每天消耗的算力达3640 PFLOPS，需要七八个拥有500 PFLOPS算力的智能计算中心的支持，建设成本在30亿到40亿元之间。这一数字之所以如此庞大，主要归因于大模型规模庞大的训练数据集和模型自身的复杂性。而在可预见的未来，为了进一步提升模型的智能水平，大模型的规模必将继续快速增长（见图1）。据OpenAI测算，全球大模型训练所需的算力将呈指数增长，平均每3.43个月便会增长一倍，如何补足未来大模型训练和应用所需的算力，将是未来一段时间内学术界和产业界需要解决的一个核心问题。

图1 人工智能领域模型算力增长趋势

大模型的出现并非偶然，它是各领域长期理论研究和应用创新迭代的产物，其中就包括算力芯片、云计算等相关领域的长期积累，缺一不可。这些先进的算力资源为大模型提供了必要的算力底座，支撑着大模型进行数以千亿计的数据样本处理和模型参数训练，已经成为发展和应用大模型技术的首要前提。在国家“十四五”规划中，国内智能算力规模年复合增长率将超过50%。产业界预测，到2030年全球智能算力将达到105 ZFLOPS，将是2023年年初的500倍，增长速度远超通用算力的增长速度。为了在这轮智能化浪潮中处于领先地位，支撑以大模型为代表的新一轮智能产业的发展，各地纷纷投资建设智能计算（智算）中心。根据国家信息中心与浪潮信息联合发布的《智能计算中心创新发展指南》，截至2023年1月，我国已有超过30个城市正在积极投入智算中心建设。此外，华为在其全面智能化战略中明确将为大模型发展持续打造坚实的算力底座，实现百模千态，为千行万业赋能。国内其他大型企业如百度、阿里等已经开放算力平台，为中小企业提供训练模型的机会，促进算力资源的更广泛共享，降低了算力使用门槛，以应对大模型的发展趋势。同时，我们注意到，大部分人工智能应用都依赖以英伟达GPU为代表的算力平台及其相关软件进行适配与开发，而英伟达先进的A100和H100 GPU被阻止进入我国市场，其专门面向中国市场推出的A800 和H800 GPU也因为供不应求导致交期漫长，导致推动智算中心建设的成本和难度居高不下。可喜的是，近几年我国在信创技术领域迈出了坚实的步伐，围绕大模型算力的完整信创产业链正在形成。随着芯片、服务器、固件、操作系统等产品的大量适配应用，国产算力将在弥补大模型算力不足方面发挥核心作用。

大模型算力虽然蕴含巨大机遇，但也面临诸多技术挑战。为此，本期专题邀请一些专家学者从不同角度深入讨论这一领域的关键问题，包括：模型建设究竟需要多少算力？如何更大程度地挖掘现有算力的潜力？如何应用国产算力弥补大模型算力缺口？在大模型开发的“狂欢”之后，我们有必要冷静地思考如何做好大模型的实际部署和应用。

清华大学博士生马子轩和翟季冬教授等人在《大模型训练与国内算力》一文中，深入探讨了国产算力填补大模型算力不足的核心作用，并以在新一代神威超级计算机上训练百万亿参数大模型的经历为例，介绍目前在国产平台上训练大模型需要解决的问题、面临的挑战和可能的机遇。

从具体的大型语言模型算力需求角度出发，湖南大学教授彭绍亮及博士后刘文娟以《大模型算力需求与未来挑战》为题，分析了各类常见大型语言模型的算力需求，从通用大模型到垂直领域大模型，全方位探讨了大型语言模型的算力挑战。

在更为具体的技术层面，中山大学副教授陈志广关注被忽视的大模型算力I/O问题，在《大模型算力中被忽视的I/O问题》一文中强调数据驱动大模型优化的重要性，指出I/O是大模型数据获取和使用的瓶颈，并探讨了解决方案及未来趋势。

此外，中国科学院计算技术研究所助理研究员程大宁和研究员张云泉在《基于恒等映射构建的神经网络算力与精度需求分析》一文中强调了模型深度和计算稳定性的关系，指出模型规模合理配置对高效算力应用的重要性。

最后，在大模型算力的产业部署层面，国家超级计算天津中心正高级工程师康波等人在《面向生成式智能的国产算力创新环境》一文中聚焦超算中心对大模型应用的支撑作用，介绍了国家超级计算天津中心智能计算开放创新平台的建设情况。基于整合分布式算力的思路，天羽蜂科技有限公司总经理林亮在《物端算网系统》一文中强调了分布式智算网络在支持大模型应用方面的作用，探讨了如何利用大规模物端设备支持大规模人工智能计算，以提供普惠、优质、经济的端侧算力，解决大模型算力成本和能耗高的问题。

这六篇文章分别从宏观分析和技术研究层面剖析了大模型算力的相关问题，从学术界到产业界，多角度描绘了大模型算力，对相关研究工作的开展具有一定的参考价值和启示，能帮助我们更好地理解这一领域的挑战和机遇，为未来的研究和应用提供参考。期望读者能在阅读本期专题的过程中，获得启发，有所收获，为大模型算力相关研究的推进添砖加瓦。