這個(gè)圖看上去復(fù)雜，其關(guān)鍵在于WADP，它是一個(gè)純軟件，可以直接部署在AI算力節(jié)點(diǎn)，利用AI服務(wù)器本身的計(jì)算能力，提供統(tǒng)一的存儲(chǔ)資源池的服務(wù)；當(dāng)然，它也有另外一個(gè)選擇，在外部獨(dú)立部署，構(gòu)建外部的存儲(chǔ)資源池。

如果沒(méi)有WADP，就需要借助Linux操作系統(tǒng)的ext4、XFS、Btrfs，或高性能場(chǎng)景下的ZFS（支持壓縮、快照）來(lái)管理本地部署的SSD或者磁盤(pán)，將其抽象為文件和目錄結(jié)構(gòu)，供上層應(yīng)用訪問(wèn)。

二者的差別有點(diǎn)類(lèi)似業(yè)余和專(zhuān)業(yè)的區(qū)別，就像直連存儲(chǔ)和外部數(shù)據(jù)存儲(chǔ)的差別，SAN也好，NAS也好，之所以要構(gòu)建外部存儲(chǔ)資源池，很重要的原因是為了實(shí)現(xiàn)數(shù)據(jù)的集中共享，在存儲(chǔ)效率、可靠性、安全性保證水平上，二者存在明顯的差別。

曹羽中表示：WADP的目標(biāo)是打破傳統(tǒng)架構(gòu)壁壘，使得用戶無(wú)需使用不同的存儲(chǔ)設(shè)備，分別應(yīng)對(duì)不同的應(yīng)用場(chǎng)景；無(wú)需在不同存儲(chǔ)設(shè)備之間，拷貝和移動(dòng)數(shù)據(jù)。WADP基于豐富接口，共享同一份數(shù)據(jù)，無(wú)縫互通滿足關(guān)鍵業(yè)務(wù)應(yīng)用、以及AI數(shù)據(jù)應(yīng)用場(chǎng)景的需求。將企業(yè)核心數(shù)據(jù)與AI 能力進(jìn)行融合。

“在WADP的加持下，AI計(jì)算節(jié)點(diǎn)沒(méi)有必要部署本地SSD。”曹羽中說(shuō)。

企業(yè)數(shù)據(jù)不能割裂

不同于互聯(lián)網(wǎng)上的數(shù)據(jù)，企業(yè)擁有自己專(zhuān)屬數(shù)據(jù)，這些數(shù)據(jù)是企業(yè)的核心資產(chǎn)，也是數(shù)字經(jīng)濟(jì)的基礎(chǔ)核心。

無(wú)論是SAN存儲(chǔ)，還是NAS存儲(chǔ)，無(wú)論是塊數(shù)據(jù)、文件數(shù)據(jù)，以及后來(lái)發(fā)展起來(lái)的對(duì)象數(shù)據(jù)，共同構(gòu)成了企業(yè)的核心數(shù)據(jù)資產(chǎn)。但AI的浪潮襲來(lái)，將企業(yè)數(shù)據(jù)與AI 能力無(wú)縫融合，就成為迫在眉睫的事情。

AI能力的實(shí)質(zhì)是向量化數(shù)據(jù)的擬合，借助Transformer 架構(gòu)捕捉序列的多頭注意力（Multi-Head Attention）之間的復(fù)雜依賴(lài)關(guān)系，從而捕捉輸入序列的語(yǔ)義關(guān)聯(lián)（如長(zhǎng)距離依賴(lài)、局部特征、語(yǔ)法/語(yǔ)義關(guān)系等），揭示單純依靠人力難以發(fā)現(xiàn)的客觀規(guī)律。 因此，企業(yè)核心數(shù)據(jù)的向量化處理是連接AI算法模型的橋梁，或者采用微調(diào)，或者采用RAG，或者訓(xùn)練專(zhuān)屬小模型，這是目前企業(yè)結(jié)合AI模型較為常見(jiàn)的方式。

在這里，華瑞指數(shù)云的WADP讓我們思考：如何用一個(gè)統(tǒng)一的存儲(chǔ)架構(gòu)，同時(shí)滿足傳統(tǒng)業(yè)務(wù)和AI應(yīng)用的需求，避免數(shù)據(jù)的頻繁移動(dòng)和拷貝。要知道，企業(yè)業(yè)務(wù)應(yīng)用隨時(shí)隨地都在快速發(fā)展和變化之中，AI業(yè)務(wù)推理也需要能夠隨時(shí)捕捉這種變化，最好的方法是數(shù)據(jù)共享，一份數(shù)據(jù)滿足不同業(yè)務(wù)場(chǎng)景的需求。不能因?yàn)椴煌瑯I(yè)務(wù)場(chǎng)景，讓數(shù)據(jù)產(chǎn)生割裂，這是WADP的意義。

為AI在企業(yè)場(chǎng)景落地插上翅膀

我們知道，HBM（高帶寬內(nèi)存）在AI模型訓(xùn)練、推理中扮演著重要角色，HBM借助硅中介層（Interposer）這種獨(dú)特的方式，實(shí)現(xiàn)了超高訪問(wèn)帶寬，其弱點(diǎn)是價(jià)格昂貴，容量相對(duì)偏小，通常只有40GB ～ 141GB。

在AI訓(xùn)練、推理的過(guò)程中，模型的參數(shù)、激活參數(shù)、參數(shù)精度，上下文數(shù)據(jù)都要加載到HBM，因?yàn)镠BM緩存容量有限，存不下太多內(nèi)容，為此，模型會(huì)將部分?jǐn)?shù)據(jù)下刷本地NVMe SSD，依靠PCIe 4.0、5.0進(jìn)行連接。NVMe SSD在傳輸性能上較之HBM會(huì)有數(shù)量級(jí)上的差距。

如今專(zhuān)業(yè)的存儲(chǔ)管理軟件，如WADP，為AI訓(xùn)練、推理提供了全局共享的存儲(chǔ)資源池，為模型KV Cache存儲(chǔ)提供了近似無(wú)限的訪問(wèn)空間，如此一來(lái)，無(wú)限空間的存儲(chǔ)資源池可對(duì)于長(zhǎng)下文KV Cache數(shù)據(jù)進(jìn)行保存，以存代算，提高模型推理的性能和響應(yīng)能力（模型推理涉及多輪對(duì)話，會(huì)將上一輪對(duì)話輸出結(jié)果與新的對(duì)話內(nèi)容一并提交，作為新一輪對(duì)話輸入，其中，涉及已經(jīng)計(jì)算過(guò)的內(nèi)容，已經(jīng)被保存在KV Cache緩存中，無(wú)需重復(fù)計(jì)算，因此提升推理的速度）。

用曹羽中的話講：WADP為模型提供了一個(gè)近似無(wú)限空間的HBM擴(kuò)展內(nèi)存空間，盡管在性能上與HBM存在差距，但彌補(bǔ)了HBM容量不足以及無(wú)法全局共享的弱點(diǎn)，性能差距可以通過(guò)流水線并行和IO預(yù)加載等解決，全局共享的無(wú)限空間的KVCache池理論上可以做到把推理過(guò)程中計(jì)算出來(lái)的所有的KV值持久化下來(lái)，通過(guò)存儲(chǔ)IO讀取KV來(lái)代替GPU的重復(fù)運(yùn)算，可以大幅降低推理算力需求。

WADP的能力在最新一輪專(zhuān)業(yè)評(píng)測(cè)中得到驗(yàn)證。

最新的AI Storage權(quán)威評(píng)測(cè)MLPerf Storage v2.0測(cè)試結(jié)果顯示，華瑞指數(shù)云（ExponTech）WADP軟件在Resnet50模型訓(xùn)練測(cè)試中，單客戶端支持的GPU卡數(shù)和帶寬均位居世界第一，Llama3模型的Checkpoint寫(xiě)入帶寬排世界第三，但WADP方案僅使用了其他評(píng)測(cè)方案的1/5數(shù)量的SSD盤(pán)，因此如果以Checkpoint寫(xiě)入帶寬/容量來(lái)計(jì)算寫(xiě)入效率，ExponTech WADP方案排名將遙遙領(lǐng)先，位居第一，展示了WADP存儲(chǔ)軟件極為高效的硬件利用效率。

不同于市場(chǎng)上現(xiàn)有的打補(bǔ)丁的產(chǎn)品升級(jí)方法，華瑞指數(shù)云WADP為實(shí)現(xiàn)一份數(shù)據(jù)服務(wù)不同業(yè)務(wù)場(chǎng)景的目標(biāo)，他們從零開(kāi)始自主研發(fā)了一套可以適應(yīng)各種IO需求的統(tǒng)一分布式存儲(chǔ)引擎WiDE，同時(shí)基于全自研分布式KV系統(tǒng)，構(gòu)建了分布式元數(shù)據(jù)引擎，滿足OLTP關(guān)鍵業(yè)務(wù)應(yīng)用，以及AI訓(xùn)練、推理業(yè)務(wù)的需求。新的分布式KV系統(tǒng)，較之現(xiàn)有的NAS文件系統(tǒng)、并行文件系統(tǒng)，在海量小文件的處理上，具有明顯的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)萬(wàn)億級(jí)別的數(shù)據(jù)操作，以此為基礎(chǔ)構(gòu)建的WFS并行文件系統(tǒng)，可以完美適配AI訓(xùn)練對(duì)于海量小文件隨機(jī)操作的需求。

基于分布式KV系統(tǒng)的元數(shù)據(jù)引擎就像一條線，完美串聯(lián)起來(lái)了WDS、WFS、WOS、WQS等不同場(chǎng)景模塊化存儲(chǔ)產(chǎn)品的需求，這也是WADP被稱(chēng)為統(tǒng)一AI數(shù)據(jù)平臺(tái)的原因。

小結(jié)

AI模型和企業(yè)數(shù)據(jù)是一個(gè)不可分割的整體，面對(duì)源源不斷的業(yè)務(wù)數(shù)據(jù)，AI模型需提供具有針對(duì)性分析和推理能力，與此同時(shí)，AI模型也需要與傳統(tǒng)的企業(yè)應(yīng)用互相配合，如此才能夠構(gòu)建真正AI智能體，為企業(yè)業(yè)務(wù)創(chuàng)新創(chuàng)造價(jià)值。AI模型不會(huì)單獨(dú)存在，需要與傳統(tǒng)應(yīng)用相互配合。

WADP從數(shù)據(jù)平臺(tái)的高度為AI、傳統(tǒng)業(yè)務(wù)應(yīng)用構(gòu)建了統(tǒng)一的數(shù)據(jù)基礎(chǔ)，為基于AI模型的業(yè)務(wù)創(chuàng)新創(chuàng)造了良好的物質(zhì)基礎(chǔ)。據(jù)了解，WADP的4個(gè)模塊化存儲(chǔ)產(chǎn)品，可以分開(kāi)使用，也可以彼此聯(lián)合，發(fā)揮協(xié)同的優(yōu)勢(shì)。從這個(gè)意義來(lái)說(shuō)，WADP是一個(gè)真正具有平臺(tái)意義的產(chǎn)品，它緊緊抓住了AI時(shí)代企業(yè)業(yè)務(wù)創(chuàng)新的重點(diǎn)和關(guān)鍵。

songjy