概述
這很重要,因為這個激進的設計大幅縮短了訓練和執行大型 AI 模型所需的時間。
深入探討
Cerebras 成立於 2015 年,總部位於加州桑尼維爾,它採取了一個逆向賭注:它不會將數千個小型 GPU 連接在一起,而是建造一個巨大的晶片。其晶圓級引擎(WSE)是從整個矽晶圓上切割而成,而不是切成數百個小晶片。第三代 WSE-3 於 2024 年推出,將約 4 兆個電晶體和 90 萬個 AI 優化核心封裝在一塊餐盤大小的矽片上。 Cerebras 將這些作為 CS-3 系統出售,並提供雲端推理服務。到 2024-2025 年,它以破紀錄的推理速度而聞名,以每秒數千個代幣的速度運行 Llama 等開放模型,遠遠快於典型的 GPU 設定。
現實世界的實施
以每秒數千個代幣的速度運行 Llama 等開源大型語言模型,以實現超快速的聊天機器人和代理回應
透過避免多 GPU 叢集的網路瓶頸,更快訓練大型語言和科學模型
為製藥和國家實驗室研究合作夥伴提供藥物發現和分子模擬支持
充當主權人工智慧專案的計算骨幹,例如在中東的大規模部署
Cerebras 系統的未來
Cerebras 已申請上市,並正在大力推動高速推理,並押注對快速、即時人工智慧回應的需求將與培訓的需求相抗衡。預計未來的晶圓級世代將具有更多的核心和內存,與模型實驗室和政府的合作將更加深入,並且 GPU 主導的市場面臨的壓力將越來越大。它面臨的挑戰是擴大製造規模、軟體成熟度和客戶採用率,以對抗英偉達等根深蒂固的競爭對手。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是 Cerebras Systems?
Cerebras 打造了世界上最大的電腦晶片——晶圓級引擎,將整個人工智慧處理器放置在一塊餐盤大小的矽片上。這很重要,因為這種激進的設計縮短了訓練和運行大型人工智慧模型所需的時間。
Cerebras 晶圓級引擎的設計有何不尋常之處?
Cerebras 將整個矽晶圓保留為一個巨大的晶片,而不是將其切割成許多小晶片,從而創建了一個餐盤大小的處理器。
為什麼將所有核心保留在一塊晶圓上有助於提高 AI 性能?
片上通訊遠遠快於單獨晶片之間的網絡,為人工智慧工作負載提供巨大的頻寬和低延遲。
WSE-3 大約包含多少個電晶體?
第三代晶圓級引擎封裝了大約 4 兆個晶體管,這是透過使用整個晶圓實現的巨大數量。
Cerebras 為其 CS-4 機架級系統宣傳的系統級功能是什麼?
Cerebras 將 CS-4 描述為由多個 WSE-3 Turbo 處理器構建的機架級平台;效能取決於工作負載和比較條件。
Cerebras 如何處理如此巨大晶片上的製造缺陷?
由於在整個晶圓上有些缺陷是不可避免的,Cerebras 建立了冗餘,因此晶片可以繞過壞區域並仍然正常工作。