前文介紹了異構智算產業生態聯盟
異構智算產業生態聯盟攜手眾多生態合作伙伴齊聚燧弘華創慶陽綠色智算中心,共同見證了DeepSeek大模型落地取得的重大突破。在此次活動中,聯想與燧弘華創的合作成果尤為引人注目,雙方攜手搭建的萬全異構智算平臺,成功突破算力瓶頸,在3000并發的高負載情況下,DeepSeek大模型的總吞吐量超過8000 tokens/s,為提升用戶體驗注入了強大動力。
燧弘華創慶陽綠色智算中心作為區域算力發展的關鍵力量,自成立以來便致力于為各類AI 應用提供堅實的算力支撐。而聯想作為全球領先的科技企業,在AI基礎設施領域有著深厚的技術積累與豐富的實踐經驗。此次雙方強強聯合,旨在通過技術創新解決當前大模型應用中面臨的算力難題。
為了實現這一目標,聯想與燧弘華創的技術團隊進行了深入協作,采取了一系列創新舉措。在硬件層面,聯想問天WA5480 G3服務器搭載了第四代英特爾®至強®可擴展處理器,為平臺提供了強勁的計算核心。
同時,通過訪存優化技術,大幅提升了數據訪問速度,減少了數據讀取延遲,讓處理器能夠更快地獲取所需數據進行運算。顯存優化方面,對GPU顯存的管理與調度進行了精細優化,確保在大規模并發運算時,顯存能夠高效利用,避免了因顯存不足或使用不合理導致的性能下降。PCIe 5.0全互聯架構創新則進一步提升了數據傳輸帶寬,使得服務器內部各組件之間的數據交互更加順暢,為大模型的高效運行提供了有力保障。
在軟件框架層面,技術團隊精選SGLang框架中性能最優算子,對大模型的算法執行過程進行了深度優化。這些性能最優算子能夠以更高的效率執行模型的計算任務,從而在整體上提升大模型的運行性能。通過這一系列從硬件到軟件的全方位優化,單機服務器運行大模型的性能實現了質的飛躍,在3000并發這一嚴苛條件下,總吞吐量成功突破8000 tokens/s,持續為 DeepSeek 滿血版用戶帶來更加流暢、高效的使用體驗。