亞馬遜宣布將人工智能處理遷移到自家定制的 AWS Inferentia 芯片。這意味著亞馬遜最大的推理(inferencing)服務(例如語音助手 Alexa)將交由更快、更專業(yè)的芯片進行處理，而非基于 NVIDIA 的多用途 GPU。

　　亞馬遜已經(jīng)將大約 80% 的 Alexa 語音助手處理遷移到 Elastic Compute Cloud (EC2) Inf1 實例上處理。和使用傳統(tǒng) GPU 的 G4 實例相比，Inf1 實例將吞吐量提高了 30%，成本下降了 45%。亞馬遜認為，它們是推斷自然語言和語音處理工作負載的最佳實例。

　　Alexa 的工作方式是這樣的：實際的智能音箱(或者揚聲器)可以不做任何操作，所有任務都交由 AWS 處理器完成?；蛘吒鼫蚀_的說，一旦 Echo 設備上的芯片檢測到喚醒詞，系統(tǒng)就會啟動。。它開始實時將音頻流傳輸?shù)皆?。在?shù)據(jù)中心的某個地方，音頻被轉換為文本(這是推理的一個示例)。然后從文本中提取含義(另一個推理實例)完成所需要的所有操作，例如獲取當天的天氣信息等等。

　　Alexa 完成您的請求后，她需要將答案傳達給您。然后，腳本被轉換為音頻文件(另一個推理示例)，并發(fā)送到您的Echo設備。回音播放文件，以便于你出行的時候是否決定帶上雨傘。顯然，推理是工作的重要組成部分。毫不奇怪，亞馬遜投入了數(shù)百萬美元來制造完美的推理芯片。

　　Inferentia 芯片由四個 NeuronCore 組成。每個實現(xiàn)一個“高性能脈動陣列矩陣乘法引擎”。每個NeuronCore或多或少地由以線性，獨立方式處理數(shù)據(jù)的大量小型數(shù)據(jù)處理單元(DPU)組成。每個Inferentia芯片還具有巨大的緩存，從而提高了延遲。

特別提醒：本網(wǎng)內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內容未經(jīng)本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網(wǎng)有任何內容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內處理完畢。