隨著互聯網的普及,全球每天產生超過500億GB的數據。據專家預測,到2025年這一數據將超過4000億GB。大數據的發(fā)展對于數據存儲的需求與日俱增,也讓存儲系統(tǒng)處于前所未有的變革時期,尋找新的數據存儲方式已經成為企業(yè)和個人的迫切需要。
傳統(tǒng)的網絡存儲系統(tǒng)采用集中的存儲服務器存放所有數據,存儲服務器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應用的需要。而分布式存儲系統(tǒng)采用可擴展的系統(tǒng)結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。
分布式系統(tǒng)的出現,有效解決了數據的存儲和管理難題,并逐步受到用戶的青睞。本期大咖說,邀請到華云數據產品營銷經理張開亮為大家?guī)怼鞍渤植际轿募到y(tǒng)介紹”。
精彩觀點
1. 數字專項推動企業(yè)數據快速增長。根據IDC預測,未來五年,娛樂數據依然是最主要的數據創(chuàng)建類型,而來自生產/嵌?式數據,例如物聯網、人工智能使用和創(chuàng)建的數據具有更高的增速,其占比將由2018年的15.3%增長到2023年的30.8%。隨著生產/嵌入式數據的快速增長,IDC預計,2019年,企業(yè)創(chuàng)建的數據量將超過消費者所創(chuàng)建的體量,占整個數據圈的53.4%。
2. 目前,傳統(tǒng)存儲設備擁有諸多問題,如擴展能力有限、設計目標差異,文件系統(tǒng)功能較弱,可用性問題突出,總體擁有成本高等等。
3. 隨著技術的發(fā)展,存儲系統(tǒng)也發(fā)生了演變,如今的存儲系統(tǒng)應用松耦合架構,采用通用商用部件和橫向擴展方式,并在設計時充分考慮部件故障,這樣不僅解決了數據的存放、保護和優(yōu)化,還在數字經濟迅猛膨脹的過程中,做到降低成本、高效率地存放。
4. 安超分布式文件系統(tǒng)是面向海量數據的新型企業(yè)級存儲系統(tǒng)軟件,部署于低成本的通用硬件的網絡集群之上,管理并整合集群內所有存儲資源,構建具有單一文件系統(tǒng)影像的數據存儲空間。安超分布式文件系統(tǒng)通過良好設計的系統(tǒng)架構、數據分布與保護策略,為用戶提供高性能、高可用、高可擴展,易于管理的海量數據存儲系統(tǒng)。
5. 安超分布式文件系統(tǒng)運行于網絡互連的集群系統(tǒng)之上,通過在不同節(jié)點之上安裝安超分布式文件系統(tǒng)的邏輯部件,將所有節(jié)點的存儲資源整合成一個單一文件系統(tǒng)空間。安超分布式文件系統(tǒng)包含了三個主要的邏輯部件:元數據服務器、數據服務器以及客戶端。
6. 安超分布式文件系統(tǒng)的主要邏輯部件可根據應用的具體需求靈活部署,以適配不同類型的數據訪問模式。為了兼容傳統(tǒng)網絡文件服務,安超分布式文件系統(tǒng)還支持NAS網關,通過該網關,可以將安超分布式文件系統(tǒng)以CIFS/NFS/FTP等傳統(tǒng)網絡文件協(xié)議的形式輸出。在大多數操作系統(tǒng)上均有安裝這些協(xié)議的客戶端,因此大部分用戶無需安裝客戶端軟件即可訪問安超分布式文件系統(tǒng)。
7. 安超分布式文件系統(tǒng)擁有很多優(yōu)勢。在高可擴展的彈性架構方面,安超分布式文件系統(tǒng)具有很好的彈性,在容量、性能和可管理性三個維度上具有線性擴展能力。用戶可根據自身需求構建不同規(guī)模的安超分布式文件系統(tǒng),通過簡單的增加存儲設備和處理節(jié)點以獲得容量及性能的線性增長。
8. 在高可用、高可靠方面,安超分布式文件系統(tǒng)采用高效的數據復制以及智能的數據分布策略來保證數據可靠性和可用性。如將文件復制多個副本,分別存放在不同機架的不同服務器之上,保證用戶數據不會丟失,同時,可通過副本自動恢復損壞的數據。
9. 在高性能方面,安超分布式文件系統(tǒng)應用數據分塊、IO調度、緩存、預取、延遲寫等技術,提供了出眾的IO性能,不存在單點的性能瓶頸。另外,在安超分布式文件系統(tǒng)過載的情況下,性能下降幅度可控,不會出現常見的性能大幅下降甚至服務不可用的情況。
10. 在自動管理、自動修復、自動優(yōu)化方面,安超分布式文件系統(tǒng)針對大規(guī)模系統(tǒng)中的故障特性進行分析和研究,設計了具有自修復、自管理和自優(yōu)化的系統(tǒng)管理軟件,最大程度減少系統(tǒng)管理員手中干預,極大的節(jié)省系統(tǒng)的管理維護成本。
11. 在豐富的接口支持方面,安超分布式文件系統(tǒng)提供傳統(tǒng)的文件系統(tǒng)接口以兼容現有的應用程序,具有很好的跨平臺性和互操作性。同時,還提供高效、易用的APIs接口、Hadoop DFS的接口,及離線的元數據SQL查詢接口。
12. 目前,安超分布式文件系統(tǒng)已經被應用于科學計算、視頻處理與視頻服務、醫(yī)療影像、云計算與服務等多種類型的場景。經過長時間生產環(huán)境的驗證,安超分布式文件系統(tǒng)已被證明是上述類型場景中行之有效的存儲解決方案。