北京2025年11月6日 /美通社/ -- "在AI超節(jié)點系統(tǒng)的設(shè)計上，不應(yīng)該再依照慣性思維，過分追求規(guī)模，而是應(yīng)該從客戶視角出發(fā)，把token交互速度作為關(guān)鍵衡量指標(biāo)，這是智能體時代AI超節(jié)點的核心商業(yè)價值。"這是浪潮信息首席AI戰(zhàn)略官劉軍近期接受采訪時，反復(fù)強調(diào)的一點。

智能體時代，速度就是金錢

規(guī)模擴展定律（Scaling Law）一直是驅(qū)動大模型智能持續(xù)增長的底層邏輯，推動著模型參數(shù)量從百億、千億邁向現(xiàn)在的萬億。在后訓(xùn)練階段更多的算力投入，能顯著提升模型的推理能力，而以推理能力為代表的復(fù)雜思維的涌現(xiàn)，是構(gòu)建智能體應(yīng)用的基礎(chǔ)。另一方面，以DeepSeek為代表的開源大模型極大的降低了創(chuàng)新門檻，加速了智能體產(chǎn)業(yè)化的到來。

劉軍指出，"智能體產(chǎn)業(yè)化的核心三要素是能力、速度和成本。其中，token交互速度決定了智能體的商業(yè)價值。在當(dāng)下最常見的人機對話場景中，基本上按照大概50毫秒的水平，就是每秒輸出20個token，人的閱讀速度就能跟得上。但很多人還沒意識到，未來的智能體時代會更多的出現(xiàn)機器與機器之間的交互場景，對于智能體之間的交互而言，這個速度遠(yuǎn)遠(yuǎn)不夠，比如說直播電商、量化交易、欺詐防控等特定業(yè)務(wù)場景中，對token生成速度的最低要求都是10毫秒以下。"

以高強度、實時互動的直播電商場景為例。2024年底，某知名直播電商平臺進(jìn)行了專家組合智能體的A/B實驗，實驗組部署了經(jīng)過深度優(yōu)化的智能體，對照組則使用未經(jīng)優(yōu)化的標(biāo)準(zhǔn)版本智能體，優(yōu)化后的智能體平均響應(yīng)延遲相較于對照組降低了38%。實驗結(jié)果表明，部署了低延遲智能體的直播間，其商品交易總額（GMV）平均提升了11.4%，同時用戶的復(fù)購率也取得了7.8%的顯著增長。

38%的延遲降低，并非提升了智能體回答內(nèi)容的質(zhì)量，而是確保了這些回答能夠被精準(zhǔn)地投遞在用戶購買意圖最為強烈的"黃金窗口"期內(nèi)。在直播電商這類場景中，用戶的購買意圖是瞬時且易逝的。一個高延遲的回答意味著當(dāng)智能體還在"思考"時，用戶的注意力可能已經(jīng)轉(zhuǎn)移，或者主播已經(jīng)開始介紹下一件商品，從而錯失了最佳的銷售轉(zhuǎn)化窗口。

"在智能體時代，快，不再是可選項，而是商業(yè)成功的剛性約束。"劉軍強調(diào)，"只有當(dāng)智能體的響應(yīng)快于業(yè)務(wù)決策的窗口期，快于用戶耐心消逝的臨界點……AI才能真正成為核心生產(chǎn)力。"

token交互速度正在重塑AI算力價值評估體系

事實上，對于token交互速度的考量正在重構(gòu)AI算力系統(tǒng)的價值評估體系。最近廣受關(guān)注的InferenceMax? 開源AI基準(zhǔn)測試，正在創(chuàng)造一種動態(tài)追蹤模型更迭的算力評估體系，試圖在真實AI推理環(huán)境下衡量各類AI算力系統(tǒng)的綜合效率。在這一基準(zhǔn)測試中，token生成速度被列為最重要的一項衡量指標(biāo)。

同時，清華大學(xué)與中國軟件評測中心（CSTC）對20余家主流大模型服務(wù)提供商的綜合表現(xiàn)進(jìn)行了全面評估，聯(lián)合發(fā)布了大模型服務(wù)性能排行榜，明確指出延遲指標(biāo)是用戶體驗的核心，直接決定用戶留存，是平臺差異化競爭的首要技術(shù)門檻。因此，速度同樣也成為了大模型API服務(wù)提供商的核心競爭力。當(dāng)前，全球主要大模型API服務(wù)商的token生成速度，基本維持在10~20 毫秒左右，而國內(nèi)的生成速度普遍高于30毫秒。

元腦SD200將token生成速度帶入"10毫秒時代"

要實現(xiàn)更低延遲的token生成能力，必然要求底層算力基礎(chǔ)設(shè)施在系統(tǒng)架構(gòu)、互聯(lián)協(xié)議、軟件框架等關(guān)鍵點上進(jìn)行協(xié)同創(chuàng)新。

浪潮信息對元腦SD200超節(jié)點AI服務(wù)器進(jìn)行了大量的軟硬件協(xié)同創(chuàng)新與優(yōu)化，實現(xiàn)DeepSeek R1大模型單token生成速度低至8.9毫秒，帶動國內(nèi)AI服務(wù)器token生成速度率先進(jìn)入"10毫秒時代"。

對于為何能在token生成速度上實現(xiàn)如此出色的性能，劉軍表示，智能體中各個模型之間的交互，很多時候通信數(shù)據(jù)包并不是很大，超高的帶寬會出現(xiàn)浪費，"就像是從a地到b地修了16車道的高速公路，但是車輛在16車道上只跑了很短的距離，反而在上高速和下高速這兩個節(jié)點花了很長時間。浪潮信息的優(yōu)化重點，就是解決車輛上高速和下高速的卡點問題，讓車輛直通上來，直通下去。"

元腦SD200采用了獨創(chuàng)的多主機3D Mesh系統(tǒng)架構(gòu)，實現(xiàn)單機64路本土AI芯片高密度算力擴展，原生支持開放加速模組OAM，兼容多元AI芯片。同時，元腦SD200通過遠(yuǎn)端GPU虛擬映射技術(shù)創(chuàng)新，突破跨主機域統(tǒng)一編址難題，實現(xiàn)顯存統(tǒng)一地址空間擴增8倍，單機可以提供最大4TB顯存和64TB內(nèi)存，為萬億參數(shù)、超長序列大模型提供充足鍵值緩存空間?；趧?chuàng)新的系統(tǒng)架構(gòu)設(shè)計，元腦SD200單機即可承載4萬億單體模型，或者同時部署由多個萬億參數(shù)模型構(gòu)成的智能體，多模協(xié)作執(zhí)行復(fù)雜任務(wù)。

互連協(xié)議的設(shè)計是元腦SD200實現(xiàn)極低通信延遲的關(guān)鍵，浪潮信息做了大量的通信優(yōu)化和技術(shù)創(chuàng)新，如采用極致精簡的3層協(xié)議棧，并原生支持 Load/Store等"內(nèi)存語義"，讓GPU可直接訪問遠(yuǎn)端節(jié)點的顯存或主存，將基礎(chǔ)通信延遲縮短至百納秒級；另外Open Fabric原生支持由硬件邏輯實現(xiàn)的鏈路層重傳，重傳延遲低至微秒級，特別是分布式、預(yù)防式的流控機制，實現(xiàn)全局任務(wù)均在發(fā)送前確保接收端有能力接收，從根本上避免了擁塞和丟包。

除了硬件方面的創(chuàng)新，浪潮信息也針對DeepSeek、Kimi等模型的計算特征和元腦SD200的硬件架構(gòu)特征，完成了通信庫、計算框架、PD分離策略等多方面的優(yōu)化，大幅提升了DeepSeek、Kimi等大模型的推理輸出速度。通信庫層面，針對Allreduce、Allgather、Alltoall等典型通信算子，浪潮信息制定了與元腦SD200深度適配的通信算法；框架層面，浪潮信息完成了并行方式、算子融合、多流水線等多方面優(yōu)化，來保證計算的低延遲；在推理階段，浪潮信息開發(fā)了預(yù)填充-解碼 (Prefill-Decode) 分離軟件，針對預(yù)填充與解碼不同的計算特性，使用不同的并行計算策略、硬件配置等，提高系統(tǒng)整體的計算性能。

實測數(shù)據(jù)顯示，元腦SD200搭載64張本土AI芯片運行DeepSeek R1大模型，當(dāng)輸入長度為4096、輸出長度為1024時，單用戶token生成達(dá)到112 tokens/s，每token生成時間僅為8.9ms，率先實現(xiàn)國內(nèi)AI服務(wù)器token生成速度低于10ms，將推動萬億參數(shù)大模型在金融、科研、智能制造等領(lǐng)域快速落地。

未來十年AI經(jīng)濟(jì)的增長邊界，從某種意義而言，將取決于整個行業(yè)在算法、軟件和硬件層面協(xié)同攻克延遲挑戰(zhàn)的能力。"速度就是金錢"不僅是一種新的商業(yè)主張，更是驅(qū)動下一代人工智能增長的核心經(jīng)濟(jì)邏輯。浪潮信息將面向智能體產(chǎn)業(yè)化需求，持續(xù)以架構(gòu)創(chuàng)新激發(fā)產(chǎn)業(yè)創(chuàng)新活力，讓AI成為百行千業(yè)的生產(chǎn)力和創(chuàng)新力。