全球第五大超算!特斯拉:用它訓練AI 將自動駕駛成為可能
6月23日報道,特斯拉近日推出了新的超級計算機,并成功位列全球第五大超級計算機,它也將是特斯拉即將推出的新超級計算機Dojo的“先行版本”。
據稱,這一超級計算機將被用于訓練為特斯拉的自動駕駛儀(Autopilot)和即將問世的自動駕駛人工智能(AI)提供動力的神經網絡。
在過去的幾年里,特斯拉一直把研究重點放在汽車內外的計算能力上。在內部,需要足夠強大的計算機來運行它的自動駕駛軟件;在外部,則需要超級計算機來訓練由神經網絡支持的自動駕駛軟件,這些神經網絡會接收來自海量車輛的大量數據。
特斯拉在過去的幾年里一直在研究Dojo,該公司首席執行官埃隆·馬斯克(Elon Musk)一直暗示它應該在今年年底準備好。據了解,Dojo項目由計算速度達每秒百萬萬億次(exaFLOP)的超級計算機組成,使其成為全球最強大的計算機之一。
日前,在2021年計算機視覺與模式識別大會上,特斯拉AI主管Andrej Karpath介紹了該公司的最新超級計算機。Karpathy展示了特斯拉的第三個超級計算機集群,特斯拉聲稱該新集群具有一些相當瘋狂的參數,應該會使其成為全球第五的計算機:
1.720個80GB 8x A100 節點(共5760 個GPU);
2.1.8 EFLOPS(720節點* 312 TFLOPS-FP16-A100 * 8 gpu/節點);
3.10 PB“熱層”NVME存儲@ 1.6 TBps;
4.總交換容量為640 Tbps。
Karpathy對此評論稱,“我們有一個神經網絡架構網絡和一個1.5 pb的數據集,需要大量的計算。對我們來說,計算機視覺是使自動駕駛成為可能的基本要素。”
“為了讓它更好地工作,我們需要掌握來自車隊的數據,訓練大量的神經網絡并進行大量實驗。所以我們在計算上投入了很多。在本例中,我們展示的是使用720個80GB版本的8x A100節點構建的集群。這是一個巨大的超級計算機。我實際上認為,就每秒浮點運算次數而言,它大概是世界上第5臺超級計算機。”他補充道。
這位特斯拉工程師不愿詳細說明Dojo項目,但他表示,Dojo將是一臺比特斯拉目前的集群更適合神經網絡訓練的超級計算機。馬斯克此前還表示,特斯拉計劃最終將其超級計算機提供給其他公司,以便它們在上面訓練自己的神經網絡。
