那么,為什么說這次的發(fā)布內容令人驚嘆?
答案是:它或許能夠給現(xiàn)在的企業(yè)級存儲市場帶來翻天覆地的變化。
所謂星星之火,蘊含著從XSKY發(fā)布星海全閃架構開始,存儲市場都會追隨其腳步,引發(fā)一場徹頭徹尾的存儲產業(yè)革命。
XSKY就有這樣的格局和自信。
請問XSKY的自信從何而來呢?
數據常青不是口號是使命
XSKY的自信來自數據常青的使命感!也正是這種使命感,推動XSKY產品技術不斷向前!
什么是數據常青?數據常青的含義是什么呢?
這不是XSKY第一次提數據常青,此前我也聽到過,但沒有像這一次,真正意識到深奧含義。
對于數據常青,XSKY星辰天合CEO胥昕給出的解釋是:數據存儲,古老但常青。在這里胥昕提到了“數據平權”的概念。
“以數據訓練為例,所有的數據都同等重要,不能說一部分數據很快,而一部分數據很慢,對于存儲系統(tǒng)而言,全部數據存取需要同等的可靠性和穩(wěn)定性?!瘪汴空f。
理想豐滿,現(xiàn)實骨干。
在現(xiàn)有生產和實踐中,幾乎沒有辦法做到“數據平權”。與“數據平權”相對應的,我想應該就是數據分層,根據數據重要性的不同,區(qū)分為冷熱溫數據,對應不同的存儲技術。其中,采用專屬硬件設計的高端存儲,價格最為昂貴,可靠性、穩(wěn)定性有保障,質保周期通常為6年以上。
與之相比,分布式存儲以通用硬件為基礎,借助橫向擴展的設計,滿足海量數據存儲和數據處理的需求。但通用硬件的質保周期近有3年,3年以后呢?其上的數據還能夠做到數據常青嗎?
“我們的用戶中,如光伏用戶、醫(yī)療行業(yè)的用戶,對于數據常青的要求是40年,甚至60年,需要能夠在浩如煙含的數據中,準確查找、定位到所需要的制造數據、醫(yī)學影響的數據?!?胥昕說。
現(xiàn)有的存儲做的到嗎?做不到!
那么,是什么制約了“數據平權”的實現(xiàn)?
帶著這樣的思考,最終就有了XSKY星海架構(XSEA)的誕生!
星海架構(XSEA)的創(chuàng)新和突破
XSKY星辰天合 CTO王豪邁歷數了現(xiàn)有存儲系統(tǒng)的三大障礙:可靠性低、QoS不足,以及存儲成本太高。
以可靠性為例,在多核、PCIe、GPU、DDR5以及25Gb/100Gb網絡的加持下,現(xiàn)在分布式存儲性能,延遲已經縮小到100us的水平,不遜于高端存儲,但是對于異常故障的回復時間,始終沒有辦法突破,維持在10S左右水平。
在性能方面,分布式存儲始終存在P99(99%的調用時延都在某個值以下)的問題,也就是說,存儲系統(tǒng)在99%時長可以保持性能穩(wěn)定,但是總有1%的可能會出現(xiàn)性能異常,訪問緩慢。特別對于關鍵業(yè)務應用而言,對于可靠性求達到5個9(99.999%),1%的性能抖動是完全不可以接受的。
以前談存儲性能抖動的是SSD垃圾回收,它可以通過策略加以解決,但是此處的P99是分布式存儲的痼疾,有的分布式系統(tǒng)甚至只有P95(95%),完全達不到應用的需求。
此外,全閃存產品的價格始終和磁盤系統(tǒng)保持4~5倍的距離,沒有辦法普及。分析其中的原因,胥昕指出:磁盤技術也不不斷進步,如今20 TB、22TB已經常見,這就是使得GB/$成本保持占優(yōu),閃存始終沒有突破。
解鈴還須系鈴人。
問題需要從存儲軟件架構進行突破。
在過去的8年間,XSKY星辰天合不斷磨礪新的星海架構(XSEA),不斷進行新的技術突破,主要集中在以下三點:
一是Shared Everything的全共享模型,每個節(jié)點都能直接訪問所有 SSD,提供更好的性能可擴展性和服務質量,并且擁有全局視角的邏輯;
二是采用單層閃存介質:采用 Append Only 寫入,面向 TLC NVMe SSD 優(yōu)化,減少硬件配置復雜性;
三是端到端 NVMe設計:不僅存儲系統(tǒng)對外提供 NVMe-oF 協(xié)議,內部復制網絡和 IO 處理也同樣采用 NVMe-oF 技術,確保 IO 路徑的高效處理。
借助以上三項技術突破,星海架構(XSEA)實現(xiàn)了 3 個 100:
? 能夠在 40%-60%負載下實現(xiàn) 100 微秒的超低延遲;
? 通過全局 EC 和數據壓縮技術可以實現(xiàn)超過 100% 的存儲系統(tǒng)得盤率(可用容量/裸容量);
? 針對慢盤、亞健康網絡問題時,能在 100 毫秒內快速切換,以保證系統(tǒng)的穩(wěn)定運行。
有了這3個100,就突破了分布式存儲原有的三大痼疾。
這在技術上也并不難理解。
為什么現(xiàn)有分布式存儲會有P95、P99的問題?為什么會有高達10S的故障排查?原因很簡單,因為分布式存儲采用通用的硬件,通用的服務器,通用的以太網絡,而以太網丟包就是常見的問題,無論采用多副本,還是EC,當數據出現(xiàn)丟包的時候,就意味著個別數據寫操作沒有完成,從而拖累了系統(tǒng)整體的性能,而性能抖動也是類似這種數據盤寫操作的亞健康狀態(tài)引起的。
對于傳統(tǒng)分布式存儲而言,存儲節(jié)點之間不是Shared Everything,也就是說,數據盤對于其他節(jié)點不可見,需要節(jié)點之間進行協(xié)同、排查,因而性能差。通過采用新的星海(XSEA)存儲架構,全部數據盤對于所有節(jié)點都可見,當再次遭遇亞健康的時候,無需等待,直接剔除反應緩慢的亞健康盤,就可以將異常排查從10S縮短到100ms。
此外,有關GB/$也得到了解決。
因為有了Shared Everything,一來可以實現(xiàn)全局EC,大大提高盤的利用率;二來因為Shared Everything,從而消除了對于DWPD= 3 SSD緩存盤的需要。也就是以上所說的單層閃存介質,全部采用低DWPD= 1 的SSD介質。
可以預見,因為星海架構(XSEA),這個存儲產業(yè)的面貌會為之一新,星星之火,必然會成為燎原之勢。
我對星飛全閃存儲的困惑
基于星海架構,星辰天合在本次發(fā)布會上發(fā)布了星飛軟件和星飛 9000 一體機全閃存儲,這也是業(yè)界首款采用全共享架構的分布式全閃主存儲。
星飛軟件繼承了 XSKY SDS 塊存儲和文件存儲的成熟能力,提供統(tǒng)一存儲平臺,支持融合部署,可以為虛擬化、私有云、OLTP、HPDA、AI/ML 等場景提供支持;星飛 9000提供一流的全閃存儲性能、集中式存儲的可靠性和出眾的空間效率。
在此次發(fā)布會現(xiàn)場,星辰天合攜手客戶與合作伙伴,重點演示了 NVMe DAS 對比測試、集中式全閃對比測試、公有云高速云盤對比測試三種場景。
星辰天合聯(lián)合英特爾實驗室,測試了面向 OLTP 數據庫場景的 NVMe DAS 對比場景。英特爾中國區(qū)解決方案部技術總監(jiān)高豐表示,經過雙方聯(lián)合測試,借助 QAT 加速數據壓縮/解壓縮的強大能力,與 NVMe DAS 配置相比,星飛 9000 獲得相同延遲的同時,還可以實現(xiàn)更高的空間利用率,并大幅降低運維成本,提升業(yè)務連續(xù)性。
在面向 OLAP 數據庫場景的集中式全閃對比場景中,星辰天合與江蘇省農村信用社聯(lián)合社(簡稱:江蘇農信)進行了聯(lián)合測試。江蘇農信信息科技部云計算專家曾光明表示,經過測試,部署星飛軟件的分布式全閃集群,跟混閃存儲相比有著巨大的性能優(yōu)勢,與既有的集中式全閃性能基本持平,這樣大幅的的性能提升,讓江蘇農信對全閃數據中心的實現(xiàn)有了巨大的信心。
越來越多的客戶正在關注多云化 IT 架構,特別是數據密集型業(yè)務的下云方案,而既有的集中全閃和分布式存儲產品都無法很好解決客戶在多云存儲規(guī)劃上的挑戰(zhàn)。經過與某互聯(lián)網客戶的聯(lián)合項目測試表明,在公有云高速云盤的對比場景測試中,星飛全閃產品能夠實現(xiàn)云上云下一致的數據服務,可提供更高的冗余度和可靠性保證,并且將整體擁有成本降低 50% 以上。
盡管如此,但是此次星飛 9000全閃存儲一體機的設計方式,還是在一定程度上影響了我對星海Share Everything架構的理解。
我的理解中,高端存儲是Share Everything的架構,好處在于系統(tǒng)管理顆粒度可以精確到盤,可以通過RAID對數據盤進行保護;與之相比,分布式存儲是通過多副本或者糾刪碼進行保護,也可以對故障數據盤進行更換,但如果存儲節(jié)點出現(xiàn)故障,勢必牽涉到眾多數據盤的集體恢復,其管理顆粒粒度應該就是存儲節(jié)點。
這也是雙方的差距。
星海Share Everything架構的設計突破,是不是跨越了管理顆粒度的障礙呢?
如果僅僅從星飛 9000設計來看,似乎這個問題并沒有得到解決。
為此,我也請教了存儲大咖西瓜哥,他解決了我的困惑。他的解釋是:目前星飛 9000采用的是集成一體機的設計,外觀上和以往產品相似,但是核心其是已經是脫胎換骨了!未來,也會有分散式部署的產品形態(tài),那時候,顆粒度的問題就得到了解決,完美媲美集中式存儲!
小結
縱觀存儲產業(yè)發(fā)展,從直連存儲到網絡共享存儲,再到分布式存儲,每一次存儲架構的變革都帶來了翻天覆地的變化,也帶來了存儲整體成本的不斷降低,深刻影響產業(yè)發(fā)展的格局。這有些類似當年互聯(lián)網應用架構,從C/S到B/S架構的轉變,基于HTML和HTTP標準迅速普及開來,推動了互聯(lián)網應用成本的急速降低和大流行;從大型機、小型機到x86標準化服務器的變革,推動了算力的大發(fā)展,而到了云計算架構時代,讓算力成為了更為便利使用的能力;在芯片領域,從封閉的主機芯片、相對封閉的CISC芯片,到開放乃至開源的ARM架構和RISC-V架構,不斷地將芯片設計的成本大幅度降低,大幅地推動了芯片的無處不在的使用。
存儲架構變革也是如此。如今 XSKY星海架構(XSEA)的發(fā)布,將存儲架構變革帶到了Share Everything的門前。從Share Nothing到Share Everything并不是簡單的技術升級,而是一場從里到外的革命。因為Share Everything,分布式存儲的計算和存儲將實現(xiàn)徹底的分離,計算不足擴計算,存儲不足擴存儲,不僅如此,更為重要的是,它突破了影響分布式存儲技術應用的三大痼疾,從而讓存儲的面貌為之一新,也必將開創(chuàng)并引領存儲產業(yè)的新局面!
這算不算令人驚嘆?
讓我們跟上技術發(fā)展的步伐!