3 月 19 日消息,科技媒體 NeoWin 昨日(3 月 18 日)發布博文,報道稱群聯(Phison)展示了其 aiDAPTIV+ 技術,該技術通過動態緩存擴展內存,有望突破 AI 應用的內存瓶頸。
IT之家援引博文介紹,人工智能(AI)和機器學習(ML)的處理能力已成為衡量現代硬件性能的重要指標,除了處理器本身的算力,AI 任務對內存的需求也十分巨大。
AI 模型參數和精度越高,對內存的需求越大。例如,單精度(float32)通常消耗四倍于參數值的內存。即使是 32GB 顯存的 RTX 5090,也可能被一個 80 億參數的模型“喂飽”。
而 aiDAPTIV+ 技術通過動態緩存,結合基于 NAND 閃存“aiDAPTIVCache”緩存技術,擴展可用的 HBM(高帶寬內存) / GDDR(專為高帶寬應用設計的同步動態隨機存取存儲器)。
在 GTC 2025 大會上,群聯攜手 Maingear 公司,推出了應用 aiDAPTIV+ 技術的 AI PRO 桌面工作站,并通過 aiDAPTIVLink 3.0 新版中間件,負責 SSD 的 NAND 和 GPU 之間的數據傳輸,提供更快的首個 Token 時間(TTFT)回調響應,并支持更大的 LLM(大型語言模型)提示上下文。
下圖展示了群聯 Aidaptiv+ 技術的應用結果,在參數量超過 130 億的模型上,群聯 aiDAPTIV+ 輕松超越了 Maingear 的四路英偉達 RTX 6000 Ada 設置(未采用 aiDAPTIV+)。
Maingear 介紹稱 PRO AI 工作站會動態切片 70B 訓練模型,將當前切片提供給 GPU 進行高速訓練,同時將模型的其余部分存儲在 DRAM 和群聯 AI100 SSD 中。每個 NVIDIA RTX 6000 ADA 在訓練中以最少的停機時間全面表現。