AI大模型浪潮下的GPU互连革命:UALink与ALS引领技术新纪元
在LLM热潮中,我们不仅要关注GPU本身,还要关注互连技术。随着AI参数量成倍地增加,甚至“上不封顶”地扩展,如果想要服务器扛住这样的“巨浪”,就要编织更多的网,形成非常强大的算力网络;如果想要释放GPU集群的全部潜力,每个节点间的通信都要顺畅无阻,犹如铺设一条条“高速公路”。
从UEC到UALink,取代现有技术
GPU领域,比较典型的两个互连技术是InfiniBand和NVLink/NLSwitch技术,前者用于服务器间连接,可以形成大型AI算力网络,后者可以将GPU和GPU互连,至多让576个GPU实现每秒1.8TB的通信。
毋庸置疑,两种私有协议的性能都很强劲,但它们都非常封闭,在一定程度上制约了技术的持续演进与效能优化潜力。目前,行业更为通用的做法是通过成立联盟,制定公开的协议标准。众人拾柴火焰高,参与的玩家越多,互连技术进化得就越快,协议标准也就越趋于统一。
去年7月,AMD、Arista、博通、思科、EVIDEN等公司联合成立超以太网联盟(Ultra Ethernet Consortium,简称UEC),随后增强型以太网开始取代InfiniBand技术,迅速成为GPU新的加速节点。一些公司也因此获得了丰厚的利润,例如Arista公司的AI集群互连销售额显著增长。
就在10月28日,AMD、AWS、谷歌和思科等九家巨头宣布正式成立UALink联盟(Ultra Accelerator Link Consortium,简称UALink联盟),主推AI服务器Scale UP互连协议——UALink。这一协议一经推出便广受关注。UALink是新一代AI/ML集群性能的高速加速器互连技术,拥有低延迟和高带宽的特点,具备高性能内存语义访问的原生支持,可以完美适配GPU等AI加速器的编程模型,在一个超节点内实现一点规模的AI计算节点互连。除此之外,UALink的优势还包括显存共享,支持Switch组网模式,以及超高带宽和超低时延能力等。
区别于专注在Scale Out(横向/水平扩展)的UEC,UALink协议已经成为最具潜力的AI服务器Scale UP(纵向/垂直扩展)互连开放标准,正在迅速构建起一个AI服务器Scale UP互连技术的超级开放生态。
UALink如何在中国市场落地
作为一个互连系统开发标准,UALink在落地过程中需要覆盖多个产业环节,因此成员涵盖了芯片制造商、交换机提供商、服务器提供商等整个产业链的关键角色。然而,由于AI大模型产业在国内具备本土特色,因此UALink如何在中国市顺利场落地,面临着巨大的挑战。
为了打造一个原生支持AI场景的Scale UP开放生态系统,阿里云在今年9月倡议并牵头成立了ALS(ALink System,加速器互连系统)开放生态系统,依托于ODCC(开放数据中心委员会),解决Scale UP互连系统的行业发展规范问题。目前已有20多家AI芯片、互连芯片、服务器整机硬件和IP设计厂商加入,成员单位已就相关协议标准制定和实行路径选择展开交流。
目前,ALS已形成从协议到芯片、从硬件设备到软件平台的系统体系,主要包括ALS-D数据面和ALS-M管控面两个组成部分:ALS-D数据面互连采用UALink协议,具备UALink的一切优势,还增加定义了在网计算等特性;ALS-M可为不同芯片方案提供标准化接入方案,同时为云计算等集群管理场景,提供单租、多租等灵活和弹性的配置能力。
正因为全面兼容国际标准UALink生态,ALS可以与行业伙伴开放共建超高性能、超大规模的Scale UP集群互连能力,一级互连64~80个节点,二级互连可达千级节点,提供PB级共享显存和TB级互连带宽。
在今年9月底的云栖大会上,阿里云展示了其面向下一代超大规模AI集群的磐久AI Infra 2.0服务器,开放性地定义了AI计算节点和Scale UP/Scale Out互连系统,可以在统一硬件架构下支持业界主流AI方案,引领AI领域的“一云多芯”。
2024云栖大会阿里云磐久AI Infra 2.0服务器展示区
磐久AI Infra 2.0服务器的有六大亮点:一是计算节点业界密度最高,单机柜支持最大80个AI计算节点;二是计算节点集成阿里自研CIPU 3.0芯片,既能帮助实现Scale Out网络扩展,又能兼顾云网络弹性、安全的要求;三是供电效率高,在业界率先采用400V PSU,单体供电效率可达98%,整体供电效率提高2%;四是节能,机柜级液冷方案可根据实际负载动态调整CDU冷却能力来降低能耗,单柜冷却系统节能30%;五是方便运维,全新的CableCartridge后维护设计,支持全盲插,零理线易运维、零误操作,维护效率提升50%;六是可靠性高,支持弹性节点、智能路由、高可靠供电、分布式CDU等技术,可实时监控、探测各种硬件故障并自愈,硬件故障域也缩减到节点级。
除了积极拥抱UALink和牵头成立ALink System产业生态,阿里云也在积极推动UALink技术生态影响力的建设,在刚刚过去的2024开放计算全球峰会人工智能特别关注议程(Special Focus Tracks)上,阿里云服务器研发资深总监文芳志受邀和UALink联盟主席Kurtis Bowman联合发表了题为'UALink: Pioneering the AI Accelerator Revolution'的演讲,重点阐述了AI服务器Scale UP互连技术领域的发展趋势,UALink标准的路线图,UALink联盟和ALink System产业生态未来的合作潜力,以及阿里云磐久AI Infra 2.0服务器的落地实践思路。
阿里云服务器研发资深总监文芳志和UALink联盟主席Kurtis Bowman联合演讲
对AI来说,Scale UP非常重要
都是增强现有系统能力,处理更大规模能力,为什么要分成Scale-up(向上/垂直扩展)和Scale-out(横向/水平扩展)两张网?
两张网络的目标不同,Scale Out是在计算集群内部,利用外置网卡技术,通过横向扩展机柜的数目,实现到数万甚至数十万张卡的互连;Scale UP是超节点内部,采用GPU直出技术,通过十倍于Scale Out的吞吐能力,达成数十、数百的GPU高效协同。
这两张网,将业务逻辑紧密耦合在一起。可以说,两张网对于AI,尤其是AIGC或LLM都相当重要。AI基础设施的计算效能要求很高,为了最大化达成端到端MFU,需要Scale UP和Scale Out都进行最大程度的优化。由于需要解决的互连问题各不相同,尤其是10倍左右的流程差异,Scale UP需要采用不同于Scale Out的协议设计来将性能发挥到极致。
在这种极致协议的实现落地过程中,需要众多厂商和生态共同参与,一个开放的生态能够最大程度地复用已有技术和解决方案,将整个系统的性能、成本、稳定性做到最佳。但不难预见,无论是UALink,还是ALS,将发挥出协同开放的优势。
值得关注的是,UALink的重要技术基底是Infinity Fabric 协议,Infinity Fabric是一种成熟的高速互连技术,它由AMD开发,在自家的CPU、GPU产品中都有所使用,目前已经迭代到第四代,从最初的CPU间互连已经可以实现GPU间互连。在Infinity Fabric技术的加持下,UALink推进的速度也会很快。