11月24日,投資60個(gè)億的中國(guó)聯(lián)通長(zhǎng)三角(蕪湖)智算中心項(xiàng)目開(kāi)工;
11月22日,面向汽車(chē)研發(fā)的阿爾特(無(wú)錫)智算中心正式啟用;
11月21日,首期規(guī)劃1000PFLOPS智算能力的中國(guó)移動(dòng)智算中心(武漢)落地;
11月20日,首個(gè)國(guó)產(chǎn)化智算中心項(xiàng)目在貴安正式簽約;
此外,如鄂爾多斯、南昌等地,均有智算相關(guān)的土地規(guī)劃出爐……在過(guò)去一周中,幾乎每一天都有智算相關(guān)項(xiàng)目消息傳出。而這,幾乎是最近一年來(lái)的常態(tài),智算中心建設(shè)已經(jīng)進(jìn)入了爆發(fā)期。
智算的火爆,背后是AI大模型興起,以及其對(duì)算力帶來(lái)的全新需求。
大模型算力消耗有多恐怖?
隨著人工智能技術(shù)的快速發(fā)展,AI大模型已成為當(dāng)今世界計(jì)算力需求增長(zhǎng)的主要驅(qū)動(dòng)力。這些模型不僅在理論研究上取得突破,也在實(shí)際應(yīng)用中發(fā)揮著越來(lái)越重要的作用。日漸普及的AI大模型正推動(dòng)著全球及中國(guó)的算力基礎(chǔ)設(shè)施變革。
AI大模型需要多少算力,我們可以從ChatGPT的訓(xùn)練算力消耗中窺得一斑。OpenAI的報(bào)告顯示,訓(xùn)練一次1746億參數(shù)的GPT-3模型需要的算力約為3640PFlops-day。雖然ChatGPT 4的細(xì)節(jié)沒(méi)有公布,但據(jù)ARK Invest估算,GPT-4參數(shù)量最高達(dá)15000億個(gè),算力需求最高可達(dá)31271 PFlops-day。
這僅僅是ChatGPT的訓(xùn)練需求——在ChatGPT引發(fā)了廣泛關(guān)注后,世界各國(guó)都在殺入大模型領(lǐng)域,各類(lèi)大模型產(chǎn)品層出不窮。在不到一年的時(shí)間里,僅我國(guó)國(guó)內(nèi),就發(fā)布了不下200個(gè)大模型產(chǎn)品。
可想而知,這些大模型需要的算力將有多么恐怖。
算力基礎(chǔ)設(shè)施面臨的挑戰(zhàn)
算力需求的暴增,對(duì)算力基礎(chǔ)設(shè)施帶來(lái)了兩個(gè)方向的挑戰(zhàn)。
一方面是計(jì)算力生產(chǎn)的挑戰(zhàn)。隨著摩爾定律在物理法則層面的極限到來(lái),依賴單芯片的算力已經(jīng)無(wú)法滿足超大規(guī)模算力的需求,因此需要更多的芯片聯(lián)合工作,就此的規(guī)模越來(lái)越大,以集群式的算力中心建設(shè)已經(jīng)成為常態(tài)。
一方面是生產(chǎn)算力所需環(huán)境的挑戰(zhàn)。在算力中心超大規(guī)?;l(fā)展的情況下,算力中心能源供給的充足和穩(wěn)定,以及龐大能源消耗帶來(lái)的熱量如何有效的散發(fā),也成為了一個(gè)需要面對(duì)的現(xiàn)實(shí)話題。
而這些也僅僅是AI大模型訓(xùn)練中需要的算力,隨著大模型產(chǎn)品的落地和普及,推理型的算力需求將進(jìn)入增長(zhǎng)期,其增量將超過(guò)訓(xùn)練需求,長(zhǎng)遠(yuǎn)看其算力需求總量或?qū)⑴c訓(xùn)練需求平齊甚至超越。
因此,AI大模型帶來(lái)的算力新需求不僅是技術(shù)挑戰(zhàn),也是基礎(chǔ)設(shè)施發(fā)展的重要機(jī)遇。特別是在中國(guó)市場(chǎng),數(shù)據(jù)中心行業(yè)的迅猛增長(zhǎng)預(yù)示著巨大的潛力和機(jī)遇。在12月12日-14日舉辦的本文素材來(lái)自互聯(lián)網(wǎng),如有侵權(quán),請(qǐng)聯(lián)系將及時(shí)刪除!