AI推理進入"10毫秒、1塊錢"時代!浪潮信息發布面向智能體優化AI計算系統
北京2025年9月28日 -- 9月26日,在2025人工智能計算大會上,浪潮信息公布,基于元腦SD200超節點AI服務器,DeepSeek R1大模型token生成速度僅需8.9毫秒,創造國內大模型最快token生成速度;而最新發布的元腦HC1000超擴展AI服務器,實現每百萬token成本首次擊破1元。浪潮信息對AI計算架構的持續創新,旨在解決智能體產業化面臨的交互速度和token成本兩大瓶頸,為多智能體協同與復雜任務推理的規模化落地,提供高速度、低成本的算力基礎設施。
【圖】
隨著Scaling Law持續推動模型能力躍升,以DeepSeek為代表的開源模型極大的降低了創新門檻,加速智能體產業化的到來。智能體產業化的核心三要素是能力、速度和成本。其中模型能力決定了智能體的應用上限,交互速度決定了智能體的商業價值,token成本決定了智能體的盈利能力。
僅需8.9毫秒!元腦SD200引領token生成速度率先進入"10毫秒時代"
浪潮信息最新公布,基于元腦SD200超節點AI服務器運行DeepSeek R1大模型,單token生成速度低至8.9毫秒,帶動國內AI服務器token生成速度率先進入"10毫秒時代"。
元腦SD200基于創新研發的多主機低延遲內存語義通信架構,在單機內實現了64路本土AI芯片的高速統一互連,單機可承載4萬億參數單體模型,或部署多個萬億參數模型組成的智能體應用,實現多模型協同執行復雜任務。為實現極低的通信延遲,元腦SD200采用精簡高效的三層協議棧,原生支持多種內存語義操作,避免冗余數據拷貝,將基礎通信延遲降至百納秒級,硬件化鏈路層重傳與分布式預防式流控進一步適配高吞吐、低延遲的 AI 推理場景。
元腦HC1000,推理成本首次擊破1元/每百萬token
浪潮信息重磅發布元腦HC1000超擴展AI服務器,基于全新開發的全對稱DirectCom極速架構,無損超擴展設計聚合海量本土AI芯片、支持極大推理吞吐量,推理成本首次擊破1元/每百萬token,為智能體突破token成本瓶頸提供極致性能的創新算力系統。
【圖】
元腦HC1000通過全面優化降本和軟硬協同增效,創新16卡計算模組設計、單卡"計算-顯存-互連"均衡設計,大幅降低單卡成本和每卡系統分攤成本。同時,全對稱的系統拓撲設計支持超大規模無損擴展。據測算,元腦HC1000通過算網深度協同、全域無損技術,實現推理性能相比傳統RoCE提升1.75倍,單卡模型算力利用率最高提升5.7倍。
未來,智能體帶來的推理算力需求將呈現出指數級的爆發式增長。浪潮信息將通過軟硬件協同設計與深度優化,持續推動AI計算架構的創新與突破,不斷實現token生成"提速降本",積極促進大模型、智能體等人工智能技術與實體經濟的深度融合,讓人工智能成為千行百業的生產力和創新力。
美通社報道
- 2025-09-28
- 2025-09-28
- 2025-09-28
- 2025-09-27
- 2025-09-27
- 2025-09-27
- 2025-09-26
- 2025-09-26
- 2025-09-26
- 2025-09-26
用戶名: 密碼: 沒有注冊?