阿里云近期宣布了一項重大技術(shù)創(chuàng)新，展示了其為大型語言模型（LLM）訓(xùn)練設(shè)計的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，該架構(gòu)基于以太網(wǎng)技術(shù)，已在生產(chǎn)環(huán)境中穩(wěn)定運行長達(dá)8個月，標(biāo)志著AI基礎(chǔ)設(shè)施領(lǐng)域的一大突破。這一設(shè)計旨在優(yōu)化數(shù)據(jù)傳輸效率，解決傳統(tǒng)網(wǎng)絡(luò)在處理大規(guī)模AI模型訓(xùn)練時面臨的諸多挑戰(zhàn)，特別是針對突發(fā)流量處理和網(wǎng)絡(luò)負(fù)載均衡的問題。

專為GPU同步設(shè)計，應(yīng)對LLM訓(xùn)練流量挑戰(zhàn)

阿里云的高級工程師及網(wǎng)絡(luò)研究科學(xué)家翟恩南通過GitHub公布了題為《Alibaba HPN: A Data Center Network for Large Language Model Training》的研究論文，該論文將在8月舉辦的SIGCOMM會議上發(fā)表。（SIGCOMM是計算機(jī)協(xié)會數(shù)據(jù)通信特別興趣小組的年度聚會）

論文揭示，傳統(tǒng)云計算流量通常涉及數(shù)百萬個小規(guī)模流（小于10Gbps），而LLM訓(xùn)練則會在每個主機(jī)上產(chǎn)生周期性的突發(fā)流，流量高達(dá)400Gbps。這種特性導(dǎo)致了等價多路徑路由（ECMP）技術(shù)中常見的哈希極化問題，影響了負(fù)載均衡和帶寬的有效利用。

因此，阿里云自主研發(fā)了“高性能網(wǎng)絡(luò)”（HPN），通過減少ECMP的使用，有效避免了哈希極化，同時精確選擇網(wǎng)絡(luò)路徑以適應(yīng)大規(guī)模流量需求。

考慮到GPU在LLM訓(xùn)練時需要高度同步工作，阿里云的網(wǎng)絡(luò)設(shè)計特別考慮到了單點故障問題，使用了一款51.2 Tb/sec的以太網(wǎng)單芯片ToR（Top of Rack，ToR）交換機(jī)。每個用于訓(xùn)練的主機(jī)配備了8個GPU和9個網(wǎng)絡(luò)接口卡（NIC），其中每個NIC有兩個200GB/s的端口，確保了即使在單個交換機(jī)故障的情況下也能維持通信。

通過“軌道”設(shè)計，每個NIC對應(yīng)一個GPU，實現(xiàn)了每個加速器享有400Gb/s的RDMA網(wǎng)絡(luò)吞吐量，整體帶寬達(dá)到了3.2Tb/s，最大化了GPU的PCIe Gen5 x16接口潛力。

以太網(wǎng)聯(lián)盟與開放標(biāo)準(zhǔn)的勝利

有媒體認(rèn)為，阿里云選擇以太網(wǎng)是為了避免過度依賴特定供應(yīng)商，并利用整個以太網(wǎng)聯(lián)盟的力量實現(xiàn)更快的發(fā)展。這一決策與越來越多廠商開始支持以太網(wǎng)，逃離英偉達(dá)（NVIDIA）NVlink在云端AI互聯(lián)上的壟斷趨勢相吻合。

盡管放棄了用于主機(jī)間通信的NVlink，阿里云仍然在主機(jī)內(nèi)網(wǎng)絡(luò)中使用了Nvidia的專有技術(shù)，因為主機(jī)內(nèi)GPU之間的通信需要更大的帶寬。然而，由于通道之間的通信速度較慢，每個主機(jī)提供的“專用400 Gbps RDMA網(wǎng)絡(luò)吞吐量，總帶寬達(dá)到3.2 Tbps”，足以最大化PCIe Gen5x16顯卡的帶寬。

阿里云選擇以太網(wǎng)作為基礎(chǔ)，還因為以太網(wǎng)聯(lián)盟的支持和開放標(biāo)準(zhǔn)的長期優(yōu)勢。這一決策得到了AMD、Broadcom、Cisco、Google、HPE、Intel、Meta和Microsoft等科技巨頭的廣泛歡迎，這些公司正通過Ultra Accelerator Link聯(lián)盟等倡議，共同推動開放標(biāo)準(zhǔn)網(wǎng)絡(luò)技術(shù)的發(fā)展，以期對抗NVIDIA在AI網(wǎng)絡(luò)領(lǐng)域的主導(dǎo)地位。

數(shù)據(jù)中心的獨特設(shè)計

阿里云的數(shù)據(jù)中心采用“Pod”模式，每個Pod可容納15,000個GPU，與HPN結(jié)合，完美匹配了18MW建筑的功率限制。光纖長度的優(yōu)化設(shè)計允許使用成本更低的多模光收發(fā)器。盡管HPN的引入增加了布線復(fù)雜度，但阿里云已經(jīng)在探索更高效的設(shè)計，如下一代網(wǎng)絡(luò)架構(gòu)，預(yù)計將配備更高容量的單芯片交換機(jī)。

此外，阿里云在數(shù)據(jù)中心還采用了51.2Tb/s的以太網(wǎng)單芯片交換機(jī)，顯著提升了網(wǎng)絡(luò)吞吐量和穩(wěn)定性，同時降低了能耗。然而，單芯片交換機(jī)在運行過程中面臨高溫難題，市場上缺乏有效散熱解決方案。

為此，阿里云自主研發(fā)了以更多支柱為中心的均熱板散熱器，通過優(yōu)化結(jié)構(gòu)設(shè)計，有效控制了芯片溫度，確保了交換機(jī)的穩(wěn)定運行。

然而，HPN仍存在一些缺點，最大的缺點是其復(fù)雜的布線結(jié)構(gòu)。每個主機(jī)有九個NIC，每個NIC連接到兩個不同的ToR交換機(jī)，這增加了插孔和端口混淆的可能性。盡管如此，這項技術(shù)據(jù)稱比NVlink更經(jīng)濟(jì)，從而使任何建立數(shù)據(jù)中心的機(jī)構(gòu)都能在設(shè)置成本上節(jié)省大量資金（甚至可能使其避免使用Nvidia技術(shù)，特別是在中美芯片戰(zhàn)中受到制裁的公司）。