近年來,軟件定義數(shù)據中心(Softwares Defined Data Center,SDDC)備受業(yè)界關注,業(yè)內專家指出,SDDC可以讓企業(yè)以更少代價獲得更靈活、更快速的業(yè)務部署、管理和實現(xiàn)。因而,SDDC的概念從誕生之日起就長盛不衰。
軟件定義存儲(Software Defined Storage:SDS)的好處與SDDC的優(yōu)勢如出一轍:更快、更靈活的業(yè)務支撐所帶來的敏捷性;隨業(yè)務需求可動態(tài)伸縮資源的彈性;以及軟件定義機制避免重復硬件投資和資源浪費帶來的成本節(jié)省。
事實上,傳統(tǒng)存儲在擴展性、性能、價格方面應對企業(yè)私有云建設已開始力不從心。軟件定義存儲成為云數(shù)據中心的最佳解決之道。對于云數(shù)據中心來說,SDS可謂生逢其時。
那么,對于企業(yè)用戶特別關心的存儲系統(tǒng)擴展性、性能等核心問題,SDS如何在系統(tǒng)設計層面去應對?目前業(yè)界又有哪些可供選擇的SDS解決方案呢?
帶著這些問題,我們一步一步走近SDS的世界。
近年來,隨著云計算和大數(shù)據技術的迅猛發(fā)展,用戶新業(yè)務層出不窮,數(shù)據規(guī)模呈指數(shù)級增長,傳統(tǒng)存儲局限性被無限放大,日益成為制約業(yè)務增長的瓶頸。云計算平臺對存儲提出的諸多要求,傳統(tǒng)存儲方式無法直接搞定。
傳統(tǒng)的存儲,包括SAN、NAS等集中式存儲,在構建企業(yè)云數(shù)據中心時存在三大明顯的局限性。
一:擴展瓶頸,傳統(tǒng)集中式存儲的控制器數(shù)量難以擴展,嚴重制約系統(tǒng)性能和容量。
二:運維管理復雜,傳統(tǒng)存儲結構復雜,系統(tǒng)部署周期長,操作管理難度大,對運維人員素質要求比較高。
三:硬件定制化帶來的高成本。傳統(tǒng)存儲多采用專用硬件,用戶采購成本高,且易形成廠商依賴,異構存儲平臺之間的數(shù)據互聯(lián)互通也會增加用戶系統(tǒng)的難度與成本。
既然傳統(tǒng)存儲存在著這些不足,那么,云數(shù)據中心對于存儲到底存在哪些具體需求呢?
首先是數(shù)據的可靠性。生產數(shù)據是關乎企業(yè)存亡的關鍵,任何情況下,數(shù)據決不能丟失。
其次是云規(guī)模的擴展性要求。存儲系統(tǒng)應能夠根據業(yè)務需要可持續(xù)擴展,容量能夠從TB級平滑擴展到PB級,性能也能隨之線性增長。
再次是高性能。存儲系統(tǒng)應能高效發(fā)揮新型存儲介質(如 NVMe SSD)的性能,同時對系統(tǒng)資源消耗要盡可能低。
最后是成本問題。包括存儲系統(tǒng)的購買和運維成本。購買成本應考慮軟硬件采購價格,而運維成本則是系統(tǒng)在運行過程中的維護代價,其中主要是人力成本。
當然企業(yè)在構建線上存儲系統(tǒng)時還會有各種針對性需求,例如:多租戶支持、服務間IO隔離等。
需要說明的是,SDS與之前企業(yè)級存儲領域的存儲虛擬化有著本質的區(qū)別。SDS是一種脫胎于SDDC概念下的全新存儲管理模式,是一種軟件與硬件松耦合的方式,可以讓服務器直接訪問底層存儲設備;而存儲虛擬化是管理異構硬件的統(tǒng)一存儲管理模式,擴展性較弱。
其實,SDS之所以興起,與大數(shù)據、社交媒體、移動性及云的發(fā)展,以及影響和主宰企業(yè)用戶業(yè)務的創(chuàng)新不無關系。包括谷歌、FaceBook、阿里云、百度、騰訊等這些國內外互聯(lián)網公司、公有云廠商、社交媒體企業(yè)都采用軟件定義存儲的方案,實現(xiàn)自身更優(yōu)質、低廉的數(shù)據存儲模式,同時在長期應用過程中,也在促進SDS技術架構的優(yōu)化與創(chuàng)新。此外,開源云計算產品如OpenStack、Ceph的廣泛應用,也在很大程度上促進了SDS在企業(yè)用戶中的普及。
全球第三方分析機構IDC分析認為:軟件定義存儲 (SDS)解決方案則截然不同,其存儲控制軟件與基礎硬件分離。SDS 運行于工業(yè)標準(COTS)硬 件上,以“云規(guī)?!苯桓兜耐暾鎯Ψ铡.斎?,SDS可以作為單獨的系統(tǒng)部署,也可以作為云框架一部分部署。SDS 解決方案支持如文件、塊及對象的各類數(shù)據組織模式,支持資源編配及交付模式。
當然,SDS應云而生,應云而發(fā)展的最根本原因在于:軟件定義存儲可以幫助用戶在公有云、私有云、混合云環(huán)境中實現(xiàn)資源整合與自動化管理,并有助于企業(yè)數(shù)據更好地被利用以發(fā)揮其最大價值。
實際上,在醫(yī)療、金融、媒體等領域,SDS解決方案已經被證明是非常成功的,如中國移動、中國電信等運營商建立的通信數(shù)據中心,采用SDS的分布式存儲架構,其高擴展性、高靈活性和高性能都得到了長期的驗證,其投資回報率(ROI)得到了明顯改善??梢哉f:SDS可以幫助企業(yè)用戶構建一個高性能、高可用、高擴展、高性價比的基礎存儲系統(tǒng),正是企業(yè)夢寐以求的。
首先,要將數(shù)據的可靠性植入系統(tǒng)基因中。同時,系統(tǒng)應能夠提供靈活的數(shù)據保護策略,讓客戶可以根據業(yè)務需求設定數(shù)據保護級別。
其次,架構上,需要擯棄傳統(tǒng)存儲系統(tǒng)中的集中式元數(shù)據服務器,拋棄系統(tǒng)擴展性瓶頸,讓系統(tǒng)插上可擴展的翅膀。
再次,一個良好的SDS系統(tǒng)內部需要進行大量優(yōu)化以最大限度地發(fā)揮出硬件性能,如減少IO路徑,提高網絡并發(fā)性等;。
最后,需要支持現(xiàn)代企業(yè)存儲的一些高級特性,例如:快照、克隆、精簡配置等對客戶極其有價值的附加功能。
從SDS市場發(fā)展趨勢來看,云數(shù)據中心對于軟件定義存儲系統(tǒng)的需求將越來越多。這里特別介紹兩個國內與國外的SDS存儲系統(tǒng)。
一個是業(yè)界大名鼎鼎的EMC收購過來的ScaleIO,一個是來自上海霄云信息科技的碧海存儲系統(tǒng)BlueOcean Stor。
ScaleIO是在2014年初EMC收購的以色列存儲廠商提供的塊存儲解決方案。ScaleIO完全采用標準硬件,通過軟件定義的方式來為應用提供高可靠、高性能、高可擴展的存儲能力。ScaleIO可以在單一集群中擴展至數(shù)千節(jié)點。
ESG在ScaleIO的測試報告就指出,ScaleIO借助通用硬件就可以構建一個彈性的、融合的、可伸縮的數(shù)據平臺。
因為集群中的每個服務器和本地存儲設備都被并行地用來處理I/O操作和保護數(shù)據,利于將額外的服務器和存儲設備添加到配置中,具有可以線性擴張的系統(tǒng)性能。同時ScaleIO自動重建和重新平衡數(shù)據資源,存儲和服務器的添加、刪除不影響系統(tǒng)運行,也不用停機,從而實現(xiàn)了系統(tǒng)自治與自愈能力。
ESG實驗室采用最小配置的3節(jié)點ScaleIO集群,使用思科UCS-C240M3S服務器,配置兩顆10核心2.8Ghz Intel Xeon E5-2680v2 CPU,內存為64GB。每個服務器使用一塊美光P320 700GB PCIe閃存卡作為數(shù)據存儲。使用FIO軟件測試,在4KB隨機讀情況下,ScaleIO三節(jié)點集群能夠實現(xiàn)660k的IOPS,平均每個節(jié)點220k的IOPS。
ESG又在相同的硬件環(huán)境下陸續(xù)做了32節(jié)點、64節(jié)點和128節(jié)點的測試。
其中:128節(jié)點集群隨機讀取IOPS超過3100萬IOPS, 混合工作負載(70%讀30%寫)場景的IOPS可以達到2670萬。意外的是:128節(jié)點測試中隨機讀IOPS平均每個節(jié)點為24萬,但是3節(jié)點的測試結果是每個節(jié)點隨機讀IOPS為22萬。ESG沒有解釋平均每個節(jié)點IOPS結果存在2萬差異性的原因。后來仔細讀了一遍ESG測試報告,原來是128節(jié)點測試中使用內存模擬硬盤,內存速度自然高于PCIe閃存卡,ESG測試結果也說明ScaleIO的單節(jié)點IOPS上限就是24萬。
需要說明的是:ESG在測試中將測試客戶端與存儲節(jié)點混合部署,這會產生一定的性能損失。
對于ScaleIO性能伸縮性測試能夠做到3節(jié)點、32節(jié)點、64節(jié)點、128節(jié)點的分別實測,這點確實說明了EMC很土豪,也證明了EMC對于ScaleIO性能測試的重視和客觀。這一點,不得不佩服EMC ScaleIO對測試的嚴謹和客觀態(tài)度。
那么,霄云科技自主設計的碧海存儲系統(tǒng)BlueOcean Stor又表現(xiàn)如何呢?
霄云BlueOcean Stor的分布式塊存儲解決方案架構系統(tǒng)組件由管理模塊(Monitor)、數(shù)據服務模塊(DS:DataServer)、接入模塊(客戶端 BClient、iSCSI網關等)組成。
管理模塊(Monitor)主要負責集中化的系統(tǒng)配置、管理、狀態(tài)監(jiān)控以及系統(tǒng)拓撲分發(fā)。管理模塊部署在2個不同的存儲節(jié)點上,以提供服務高可用。
數(shù)據服務模塊(DS:DataServer)主要提供數(shù)據讀寫服務。數(shù)據服務模塊部署在每個存儲節(jié)點上,存儲節(jié)點之間完全對等,存儲節(jié)點可以大規(guī)模擴展。
接入模塊主要針對不同的應用類型提供存儲系統(tǒng)訪問接口。接入模塊包括 Native客戶端、iSCSI網關、NFS網關等。接入模塊可以智能感知數(shù)據是否位于本地并提供最短的最短I/O訪問路徑。
去中心化的架構設計,讓霄云BlueOcean Stor徹底消除傳統(tǒng)存儲中元數(shù)據服務器所帶來的擴展瓶頸,單集群可輕松擴展至上千節(jié)點。
支持數(shù)據多副本與強一致性,數(shù)據副本保存在不同存儲節(jié)點與機架中,支持磁盤、節(jié)點、機架多級容錯。BlueOcean Stor采用在線和離線修復雙重機制保障數(shù)據高可靠。在線修復機制在數(shù)據訪問時實時檢測數(shù)據損壞并進行即時修復,離線修復機制則定期掃描系統(tǒng)數(shù)據集并修復損壞數(shù)據。
智能IO修復。BlueOcean Stor可根據系統(tǒng)I/O負載,自動調整修復速率,在系統(tǒng)工作時減少對正常業(yè)務的沖擊,而系統(tǒng)空閑時以最大速率修復數(shù)據,降低數(shù)據丟失風險。
霄云BlueOcean Stor從通信協(xié)議設計、編解碼方式、緩存管理算法、I/O 調度算法、基于事件驅動的高并發(fā)編程模型、基于零拷貝的緩沖區(qū)管理等多個關鍵環(huán)節(jié)都進行了優(yōu)化設計,充分發(fā)揮存儲硬件性能,滿足云計算數(shù)據中心虛擬機、數(shù)據庫等業(yè)務對高IOPS和低延遲的性能需求。
所謂“光說不練假把式”。基于軟件定義存儲SDS 設計理念,采用分布式架構的塊存儲系統(tǒng),霄云BlueOcean Stor到底性能幾何?
作為SDS國產存儲初創(chuàng)公司,霄云科技僅靠自身財力,無法做到如EMC ScaleIO那樣分別針對32、64、128節(jié)點實測,業(yè)內朋友也清楚,要實現(xiàn)128節(jié)點的實測,沒有千萬元的預算是很難完成的。不過,霄云科技找到了中國銀聯(lián)電子支付研究院,以企業(yè)級用戶自身的環(huán)境為基礎,做了兩個批次的測試,我們來看看中國銀聯(lián)電子支付研究院針對霄云BlueOcean Stor的兩次測試情況。
首次測試,中國銀聯(lián)電子支付研究院采用的硬件環(huán)境為:測試用例服務器為浪潮服務器NF5270 M3,帶有兩顆8核心的 2.4Ghz Intel Xeon E5-2630v3 CPU,配置了32GB RAM。部署4個存儲節(jié)點,每個存儲節(jié)點掛載了4塊600G容量的Intel DC S3500 SATA SSD盤。
數(shù)據保護級別為雙副本模式,最終測試結果表明:4k隨機讀IOPS達到83.2萬,單節(jié)點平均為20.8萬;4k隨機寫IOPS達到32.15萬,平均單節(jié)點為8萬。測試表現(xiàn)出來了良好的線性擴展能力,4個節(jié)點集群性能達到單節(jié)點性能的4倍,充分發(fā)揮出SSD盤的性能。
測試過程中,系統(tǒng)運行穩(wěn)定,壓力測試中未出現(xiàn)明顯的性能波動。
第二次測試,中國銀聯(lián)電子支付研究院采用硬件環(huán)境為:浪潮服務器NF5270 M3,配置兩顆8核心的2.4Ghz Intel Xeon E5-2630v3 CPU,配置了32GB RAM,每個節(jié)點配置了一塊1.2TB容量的Intel P3600 PCIe SSD盤。
P3600 PCIe SSD的性能指標還不錯,采用了PCIe傳輸接口,消除了SAS / SATA瓶頸問題,性能獲得大幅提升,官方標注性能隨機讀取可以達到2800MB /S,IOPS達到46萬;隨機寫入達到1900MB/秒,IOPS達到9萬 。
另外值得注意的是:中國銀聯(lián)電子支付研究院測試采用了一塊萬兆網卡雙端口綁定的方式,更利于測試存儲軟件的真實表現(xiàn)。
測試結果頗為驚人:4KB隨機讀IOPS性能值達到143萬,單節(jié)點平均為35.75萬;4KB隨機寫IOPS性能達到43.5萬,單節(jié)點平均為10.8萬。測試也表明了,在提供性能更強勁的硬件配置條件下,BlueOcean Stor可以獲得更佳的性能表現(xiàn)。對于土豪用戶來說,這絕對是一個福音。
除了中國銀聯(lián)電子支付研究院的這兩次測試之外,上海市教育委員會信息中心也同樣進行了BlueOcean Stor的特定場景測試。
上海市教育委員會信息中心部署了20臺規(guī)模的霄云BlueOcean Stor節(jié)點,采用浪潮服務器,配置兩顆16核的2.5Ghz Intel Xeon E5-2682v4 CPU與128GB RAM,其中10個節(jié)點每個配置12個800GB SATA SSD,另外10個節(jié)點每個配置12塊4TB SATA 硬盤。
根據用戶業(yè)務需求創(chuàng)建了兩個存儲池,一個是SSD存儲池,10個節(jié)點總計容量96TB;另外一個是SATA磁盤存儲池,10個節(jié)點總計容量為480TB。
為了評估系統(tǒng)性能,首先在配置SSD的服務器上使用FIO軟件進行本地性能測試,單個SSD的隨機讀為6萬,12個SSD盤總的隨機讀IOPS為24.3萬,這說明單個服務器的RAID卡性能上限就是24.3萬IOPS。
使用10節(jié)點客戶端測試,BlueOcean Stor表現(xiàn)如下:
測試表明了,10個存儲節(jié)點的隨機讀性能為243萬IOPS,達到單個節(jié)點本地性能的10倍,說明霄云BlueOcean Stor具有不錯的線性擴展能力。
霄云BlueOcean Stor系統(tǒng)部署相當快捷,20節(jié)點240個盤的存儲系統(tǒng)在15分鐘內就可搞定。
無論是被國際權威分析機構認可的ScaleIO,還是國內存儲技術初創(chuàng)公司霄云BlueOcean Stor,在性能、擴展性上都表現(xiàn)不俗,那么軟件定義存儲在云數(shù)據中心都有哪些具體應用場景呢?
霄云BlueOcean Stor相關人員指出,包括虛擬化、云計算、VDI、海量文件存儲、企業(yè)關鍵業(yè)務的數(shù)據庫、郵件服務器等場景都非常適合使用。霄云BlueOcean Stor基于分布式塊存儲技術,為客戶提供整套存儲解決方案,已經在金融、教育等領域獲得了成功應用,也為自己在SDS領域的進一步發(fā)展贏得了更廣闊前景。
方案一:云計算、虛擬化與VDI應用
當前,云計算大行其道,各種云平臺層出不窮,代表性的有VMware vCenter、Openstack、ZStack,霄云BlueOcean Stor不僅對主流云平臺有著完善的支持,也支持主流的虛擬機VMware Vsphere、KVM、Xen、Hyper-V,更是利用其高效IO性能完美解決了讓用戶頭疼的虛擬機啟動風暴問題,也能夠讓用戶真正享受到云計算帶來的敏捷性與按需擴展的能力。
方案二:傳統(tǒng)企業(yè)核心業(yè)務數(shù)據庫、郵件服務器等應用
軟件定義存儲系統(tǒng)對標準化協(xié)議的完整支持也讓用戶受益匪淺。如霄云BlueOcean Stor支持標準的 IP SAN 協(xié)議iSCSI,支持Windows、Unix、Linux等操作系統(tǒng),支持VMFS、GPFS等集群文件系統(tǒng),可取代傳統(tǒng)的SAN存儲。這樣,企業(yè)的核心業(yè)務(如數(shù)據庫系統(tǒng)、郵件系統(tǒng)等)在遷移至新興的SDS系統(tǒng)時便不再有任何阻礙。
而且,相比于傳統(tǒng)SAN,BlueOcean Stor的iSCSI網關可隨系統(tǒng)擴展而增加,進一步打破了傳統(tǒng)SAN的機頭數(shù)量瓶頸,系統(tǒng)吞吐量更大,延遲更低。
方案三:海量文件存儲應用
海量無結構化數(shù)據存儲也是企業(yè)當前面臨的難題之一。霄云BlueOcean Stor的全分布式架構設計,結合其天生的高性能、特色的數(shù)據分布、高效可靠的數(shù)據保護技術,在文件共享、醫(yī)療圖像、歸檔與備份等場景中具備廣闊的應用空間。
每個公司都有自身的行業(yè)優(yōu)勢與發(fā)展特點,霄云科技憑借三大行業(yè)解決方案,針對企業(yè)用戶的云計算與數(shù)字化轉型的需求,提供更為靈活高效、隨需擴展、高性價比的SDS方案,勢必吸引更多用戶的關注與合作。
誠然,SDS目前的市場規(guī)模與傳統(tǒng)存儲陣營相比還相對弱小。但是來自軟件定義存儲催化的商業(yè)價值,卻表現(xiàn)得越來越明顯,影響力也越來越大。
北美已有差不多50家左右的SDS初創(chuàng)公司,國內與SDS相關的公司也有近40家。而且,目前全球所有服務器與存儲廠商,幾乎沒有哪一家不支持SDS解決方案,可見大家對于SDS所帶來的商業(yè)價值還是非常認可,積極投身于存儲行業(yè)的下一波技術浪潮。
展望未來技術變革,云計算與大數(shù)據還會深入發(fā)展,并繼續(xù)在多行業(yè)、多領域得到普及,SDS作為數(shù)據中心的核心組件,也勢必成為大家爭奪的市場高地,其市場潛力還是相當吸引人。(Aming)