在“存儲系統(tǒng)未來發(fā)展論壇”上，昆騰資深存儲架構(gòu)專家曾祥禮深入地講解了全新的全閃存文件與對象存儲管理系統(tǒng)——Myriad。以下為演講實錄。
大家好！我是昆騰的曾祥禮，接下來為大家介紹一下昆騰Myriad系統(tǒng)。
昆騰Myriad文件與對象存儲管理系統(tǒng)是基于閃存技術(shù)的。我們知道非結(jié)構(gòu)化數(shù)據(jù)近年來增長非常迅猛，未來5年都是倍增態(tài)勢。之前，企業(yè)數(shù)據(jù)存儲容量是TB級別的，但現(xiàn)在PB級別已經(jīng)很常見，特別是互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)存儲量已經(jīng)達到EB級別。近年來，昆騰為國內(nèi)一些互聯(lián)網(wǎng)企業(yè)提供冷數(shù)據(jù)的存儲解決方案，從在線存儲遷移到磁帶庫的數(shù)據(jù)都是EB級別的了。數(shù)據(jù)是核心資產(chǎn)，隨著新業(yè)務(wù)、新應(yīng)用的涌現(xiàn)，企業(yè)需要更高的存儲性能，更高彈性，規(guī)模更大的存儲系統(tǒng)。
昆騰是一家在存儲領(lǐng)域擁有40年歷史的公司。針對用戶痛點，我們推出了Myriad這款針對非結(jié)構(gòu)化數(shù)據(jù)存儲的管理系統(tǒng)。Myriad是一個云原生的，是為下一個數(shù)據(jù)時代服務(wù)的，基于閃存存儲架構(gòu)的，極具彈性的，可以同時支持文件、對象存儲的管理系統(tǒng)。我們說Myriad是為下一個數(shù)據(jù)時代設(shè)計的，體現(xiàn)在以下幾點。
首先非常快。Myriad基于閃存、RDMA技術(shù)，采用了全新的Share-Nothing可擴展架構(gòu)。在任何配置情況下，都可以是很低的延時，因此可以同時達成高帶寬、高IOPS。
第二，Myriad是現(xiàn)代的，它基于微服務(wù)，由K8S編排的云原生架構(gòu)。現(xiàn)在很多用戶已經(jīng)在他們的數(shù)據(jù)中心用容器化的應(yīng)用。
還有，Myriad使整個系統(tǒng)變得非常簡單。Myriad在自動化存儲實現(xiàn)和存儲管理這方面做了很多工作，使得Myriad基于NVMe構(gòu)建的存儲網(wǎng)絡(luò)配置非常簡單，系統(tǒng)無論是擴展、變更還是縮減都無需中斷業(yè)務(wù)，甚至無需專業(yè)的網(wǎng)絡(luò)專家去介入。
Myriad是一個軟件，它不需要專門的硬件去運行，可以運行在標準NVMe閃存服務(wù)器上，也可以運行在100GB網(wǎng)絡(luò)交換機上。這是非常重要的，因為用戶不會固定在某一個特殊的硬件技術(shù)之上，所以可以獲取硬件成本下降的收益。
Myriad是云原生的。無論是在本地還是在云上進行部署的時候，都可以獲得一致的體驗。用戶可以將Myriad系統(tǒng)輕松地在不同的云設(shè)備廠商提供的云端設(shè)備上實現(xiàn)移植，所以用戶也可以在不斷下降的云成本中獲得收益。當然，用戶也可以在Myriad集群之間移動數(shù)據(jù)集，比如實現(xiàn)數(shù)據(jù)的復(fù)制和遷移，將一些訪問頻度下降的數(shù)據(jù)移植復(fù)制到對象存儲或者文件系統(tǒng)上。
昆騰Myriad架構(gòu)采用全閃的體系結(jié)構(gòu)集群，主要目的就是為了替換傳統(tǒng)的磁盤陣列。借助Myriad可以讓用戶用全閃集群系統(tǒng)提供傳統(tǒng)的機架式磁盤陣列，通過Myriad軟件實現(xiàn)存儲的整合，支持更多負載。從這個角度來說，Myriad可以為用戶應(yīng)用提供綠色存儲資源給到用戶。大家知道在滿足同等帶寬或者IOPS需求情況下，與傳統(tǒng)磁盤相比，全閃存集群可以大大降低電源、冷卻、排放，特別是數(shù)據(jù)中心的占地面積。
Myriad是昆騰非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)一個非常關(guān)鍵的部分。對于文件和對象存儲，昆騰可以提供兩個關(guān)鍵的存儲平臺：一個是針對于熱數(shù)據(jù)的，就是Myriad的存儲平臺。基于云原生，提供高IOPS、高帶寬，可以伸縮到TB級別基于閃存的存儲。隨著時間推移，用戶非結(jié)構(gòu)化數(shù)據(jù)訪問頻度可能會越來越低，昆騰提供一個自動化的數(shù)據(jù)遷移，將一些訪問頻度比較低，越來越低的數(shù)據(jù)搬遷到對象存儲，或者是磁帶存儲。昆騰是目前唯一一家能提供整體跨非結(jié)構(gòu)化數(shù)據(jù)生命周期管理的解決方案廠商。
目前Myriad數(shù)據(jù)存儲管理軟件主要針對三個業(yè)務(wù)場景：一是聯(lián)機交易類、關(guān)鍵任務(wù)數(shù)據(jù)的存儲、快速恢復(fù)；二是媒體行業(yè)，虛擬現(xiàn)實和動畫的渲染場景，這里我們提供針對虛擬現(xiàn)實、動畫的渲染場景；三是針對數(shù)據(jù)分析，類似AI、機器學習這種場景。這些場景中，我們瞄準的都是非結(jié)構(gòu)化的，小Block IO文件處理場景，這些場景中文件個數(shù)比較小，而且數(shù)量非常龐大，因此提供較高IOPS的存儲環(huán)境才能支撐。
Myriad部署在閃存存儲服務(wù)器之上，因此可以說是面向交易、面向事務(wù)性的存儲系統(tǒng)。在這個文件系統(tǒng)里，可以根據(jù)業(yè)務(wù)層面需求按需去定制文件系統(tǒng)，比如可以針對用戶、針對應(yīng)用，去創(chuàng)建自用的文件系統(tǒng)。在文件系統(tǒng)底層資源是共享的，針對某一個用戶、某一個應(yīng)用來講，它是一個單獨的Namespace。與傳統(tǒng)存儲相比它有很多關(guān)鍵的管理功能，來支持高性能。首先就是“寫重定向”存儲，我們知道傳統(tǒng)存儲在去修改一個數(shù)據(jù)塊的時候需要先把數(shù)據(jù)塊拷貝到一個新的存儲位置上，再去修改數(shù)據(jù)塊。Myriad改了“重定向”寫，先把文件寫到新的存儲位置上再修改指針，這是提升性能的方法，因為減少了一次寫的操作。再一個，它是無鎖的，借助了NVMe閃存存儲介質(zhì)的高性能，所以說它是無鎖寫。如果出現(xiàn)寫沖突的時候，通過回滾的方式確保數(shù)據(jù)的一致性。還有其它的管理功能，比如支持N+M的動態(tài)糾刪編碼。
在此之上，Myriad還提供一些增強的數(shù)據(jù)服務(wù)，比如快照、克隆、復(fù)制，當然還有一些縮減存儲，數(shù)據(jù)壓縮的一些數(shù)據(jù)服務(wù)管理功能，當然還包括數(shù)據(jù)分析。在客戶端接口方面，支持NFS v4、NFS v3、SMB，之后還將提供S3對象接口等。
Myriad集群由三個部分組成：第一部分是“負載均衡器節(jié)點”，是連接到客戶環(huán)境中的100GbE網(wǎng)絡(luò)，并實現(xiàn)負載均衡的網(wǎng)絡(luò)服務(wù)層，提供數(shù)據(jù)和管理服務(wù)。第二部分是NVMe“存儲節(jié)點”層，這個節(jié)點層是基于NVMe存儲服務(wù)器，基于RDMA 100GB的Fabric構(gòu)成高性能存儲池，就是閃存的集群存儲環(huán)境。第三部分是一個名為“部署節(jié)點”的組件，基礎(chǔ)節(jié)點，這個節(jié)點作用只是完成整個系統(tǒng)的配置、軟件的更新，本身不會參與到整個數(shù)據(jù)鏈路中。
Myriad只提供一個IP，然后面向用戶的數(shù)據(jù)傳輸和整個系統(tǒng)的管理，這和傳統(tǒng)的NAS擴展時需要預(yù)先在內(nèi)部保留很多IP地址有很大差異。Myriad部署內(nèi)部所需要的地址都是自動分配的，因此整個網(wǎng)絡(luò)部署都非常簡單。
我們再看一看Myriad集群是怎么擴展的。Myriad在擴展節(jié)點的時候非常簡單，它新增節(jié)點只需要把節(jié)點拆箱上架、連接網(wǎng)線、連接電源就可以了，整個過程無需中斷整個業(yè)務(wù)的運行。新節(jié)點加載到系統(tǒng)之后，一加電會自動檢測到，Myriad這個文件系統(tǒng)集群會自動檢測到新增的節(jié)點，然后自動進行配置。同樣Myriad集群里刪除節(jié)點或者更換節(jié)點也非常簡單，它新增節(jié)點，刪除節(jié)點，或者拿更高密度的存儲節(jié)點、更高容量的磁盤加入到這個集群里，就像新增一個節(jié)點到這個系統(tǒng)內(nèi)道理是一樣的。這一點非常重要，因為采用這種架構(gòu)，我們可以把Myriad想象成一個經(jīng)得起未來考驗的系統(tǒng)，為什么呢？因為隨著市場的發(fā)展，新的硬件肯定有新的CPU、新的高密存儲設(shè)備、新的更大容量SSD磁盤涌現(xiàn)，它的成本肯定越來越低，用戶就可以利用Myriad的架構(gòu)去替換更新的產(chǎn)品。
一套Myriad系統(tǒng)支持上百個存儲節(jié)點，負載均衡的節(jié)點也可以按需擴展。同樣縮減存儲節(jié)點非常簡單，Myriad的底層糾刪會自動去平衡。
做一下簡單的總結(jié)，Myriad是基于全閃存儲，然后提供文件對象存儲管理的，它用戶端接口支持NFS、SMB、S3，或者通過唯一的IP實現(xiàn)數(shù)據(jù)的傳輸和管理。它是基于云原生架構(gòu)，基于微服務(wù)，基于K8S編排，無論部署在何處都可以提供良好的彈性規(guī)模，和類似云服務(wù)的簡單性。同時因為它是基于NVMe進行設(shè)計全新的Share-Nothing架構(gòu)，與RDMA高速網(wǎng)絡(luò)結(jié)合，可以減輕網(wǎng)絡(luò)在傳輸時的服務(wù)器負載。每一個節(jié)點通過RDMA協(xié)議都可以直接訪問到其他節(jié)點管理的SSD閃存磁盤。另外，Myriad不需要專門的硬件支持，基于軟件定義方式，用戶可以在未來獲得硬件成本下降的收益。Myriad使得一切都變得非常簡單，包括存儲的管理、網(wǎng)絡(luò)管理，以及整個集群的管理。
以上就是我的分享，感謝大家！
