随着深度学习模型参数量及数据量的快速增加,模型训练对算力的需求快速上升,构建超级人工智能算力系统成为重要课题。单GPU芯片的性能提升速度受到先进制程等限制逐步放缓,互连技术成为提升算力系统性能的重要手段。互连技术的核心目标是将更多的计算核心扩展成高性能的数据中心,并在此过程中降低性能损耗。英伟达作为GPU领域的绝对龙头企业,在构建AI算力的工程方案和技术探索方面一直处在行业前沿。本文深度研究英伟达的算力互连技术路线,并梳理产业发展趋势,发掘相关机遇。
一、构建超级AI算力的必要性及挑战
自2023年以来,ChatGPT的问世掀起了新一轮的人工智能热潮。随着模型参数量的增加,模型训练对算力的需求也呈指数级上升,提供高性能AI算力的GPU供不应求。为更好地满足模型训练对算力的需求,以英伟达为 ……