當(dāng)火熱的大數(shù)據(jù)碰上業(yè)內(nèi)成熟的數(shù)據(jù)保護(hù)專家昆騰公司，會產(chǎn)生怎樣的火花？答案是StorNext系列產(chǎn)品。

美國昆騰國際公司StorNext及大數(shù)據(jù)工程業(yè)務(wù)副總裁 Ivan Pittaluga,負(fù)責(zé)研發(fā)StorNext最負(fù)責(zé)的技術(shù)版本，因此StorNext技術(shù)如何在大數(shù)據(jù)風(fēng)暴中嶄露頭角， Ivan Pittaluga可以說是最有發(fā)言權(quán)。8月份Ivan來華舉行了媒體會，解讀StorNext5.0的未來全新技術(shù)策略。

新趨勢：冷熱數(shù)據(jù)流的優(yōu)化處理

Ivan認(rèn)為傳統(tǒng)的存儲方式，幾乎都是在線存儲，加工、保留、歸檔全都是在線存儲。然而現(xiàn)在新的趨勢就是：一些客戶已經(jīng)采用新的數(shù)據(jù)流的方式，即把現(xiàn)在加工的數(shù)據(jù)最快的呈現(xiàn)出來。同時，把加工完的數(shù)據(jù)、不用的數(shù)據(jù)放在歸檔里面，需要用的時候就把他提取出來。并且希望歸檔存儲能夠永久保留。“是一個幾千年甚至幾萬年的保留。這也是我們在做的。”Ivan講到。

面對用戶對數(shù)據(jù)流新的方式，在存儲技術(shù)上就需要產(chǎn)生一些新的需求、新的存儲技術(shù)，Ivan和其團(tuán)隊的工作是把這些需求在技術(shù)上變成現(xiàn)實。昆騰的高性能文件系統(tǒng)、可拓展文件系統(tǒng)還有可拓展文件管理系統(tǒng)，這個技術(shù)就是讓我們用最快的速度把數(shù)據(jù)存取自如。

昆騰為用戶提供了獨特的價值

昆騰提供了獨特的數(shù)據(jù)管理技術(shù)，為用戶帶來更多的價值：能夠提供最高性能的流式數(shù)據(jù)；為用戶提供最低的成本和最持久的長期數(shù)據(jù)存儲，從而實現(xiàn)用較低的成本實現(xiàn)數(shù)據(jù)的長期保存；最靈活的選擇表現(xiàn)和增長結(jié)合起來，這樣無論是從性能方面還是增長方面，為用戶提供一個很靈活的選擇；最實用的數(shù)據(jù)保護(hù)功能。

 
如圖，從左到右數(shù)據(jù)的產(chǎn)生，獲取過程到分發(fā)給各個需要的，最后把他歸檔存儲起來，StorNext最核心的東西一個共享的存儲平臺，可以同時多路的高速的訪問存儲文件。StorNext產(chǎn)品本身貫穿整個大數(shù)據(jù)的生命周期。

圍繞StorNext的昆騰產(chǎn)品線
 
StorNext5.0的產(chǎn)品特點

StorNext5.0有哪些值得關(guān)注的技術(shù)升級？首先是更快的文件操作（創(chuàng)建/刪除/等）性能（SNFS），這是StorNext基本的文件操作，其創(chuàng)建、刪除等基本的文件性能得到極大提升。其次重新設(shè)計使用（Metadate Layout）元數(shù)據(jù)布局，重新設(shè)計使它創(chuàng)建在分配空間的時候速度有很大的提升，實現(xiàn)更多高效的元數(shù)據(jù)的磁盤使用。內(nèi)置高線程訪問（總效能）支持很多的線程同時訪問元數(shù)據(jù)。

第二，重新設(shè)計的元數(shù)據(jù)日志，元數(shù)據(jù)在這里從新做了很多設(shè)計，優(yōu)化SSD，使元數(shù)據(jù)在固態(tài)SSD的狀態(tài)下有很大的提升。

第三就是在StorNext原服務(wù)器上緩存從新設(shè)計，讓數(shù)據(jù)直接訪問緩存，不用通過磁盤。2級緩存（壓縮/非壓縮）技術(shù)，
從新設(shè)計成兩級緩存：一個是壓縮；一個是非壓縮。非壓縮比以前性能要高，所以在整體上就會提高很多。為了實現(xiàn)這個技術(shù)昆騰把很多的數(shù)據(jù)重新做了設(shè)計。

文件系統(tǒng)相關(guān)優(yōu)勢

高密度的元數(shù)據(jù)緩存在內(nèi)存中保留更多的元數(shù)據(jù)

改進(jìn)的文件擴(kuò)展跟蹤

文件擴(kuò)展塊的跟蹤連續(xù)的范圍,屬于一個特定的文件

StorNext5.0性能優(yōu)勢

更具擴(kuò)展性的分配映射跟蹤

更快的范圍查找

更快的目錄查找

文件創(chuàng)建一個托管FS，StorNext5.0比StorNext4.7快了4倍

文件刪除托管FS，5.0刪除速度相比比4.7快了大約3倍

StorNext5存儲的元數(shù)據(jù)和元數(shù)據(jù)的I / O操作將大大提高空間利用率

剛講了很多跟文件系統(tǒng)相關(guān)的技術(shù)細(xì)節(jié)，除此之外在StorNext5.0里面還有那些新的技能跟技術(shù)呢？

1、SSD優(yōu)化

在Infiniband數(shù)據(jù)路徑運輸

LTFS磁帶歸檔

2、提高運營方面的STORNEXT產(chǎn)品的線

更快的故障恢復(fù)

在線備份元數(shù)據(jù)

DR之間文件系統(tǒng)可用

在線升級管理的文件系統(tǒng)

重新設(shè)計客戶端緩沖I / O

Lattus：萬年存儲不夸張

昆騰新推出的Lattus存儲技術(shù)，Lattus這個產(chǎn)品或者這個技術(shù)，目的就是為了保留海量的數(shù)據(jù)。同時也要降低整個管理和存儲成本。

Lattus作為一款“永久磁盤歸檔產(chǎn)品”，可擴(kuò)展到數(shù)百PB級別，并將數(shù)據(jù)分散在多個站點之上，同時，Lattus提供自我修復(fù)和自我遷移能力，使用扁平的命名空間從而可以大規(guī)模擴(kuò)展——基于HTTP REST+文件系統(tǒng)訪問的Lattus借助昆騰StorNext在大規(guī)模文件共享系統(tǒng)上，而作為對象存儲平臺，Lattus還建立起一種“閃存加對象存儲的架構(gòu)，以閃存為主存儲，實現(xiàn)數(shù)據(jù)分析，長期數(shù)據(jù)保護(hù)使用Lattus對象存儲。”

Lattus的功能，首先是支持的海量數(shù)據(jù)量，原理上擴(kuò)展能力是無限的。而且在地理分布上可以把整個系統(tǒng)分部到不同的位置。其次Lattus有自我治愈、自我遷移的功能，在一定程度上損失外盤、損失界面，數(shù)據(jù)仍然可以在線訪問。

最后Lattus使用這個技術(shù)要比原來RAID用的磁盤用的要少，耗電量、成本，占用機(jī)房空間都比較小，整個技術(shù)的成本也比RAID要低，Lattus第一個技術(shù)就是把直接把一個數(shù)據(jù)分割成塊分散存儲，管理員得到一個鑰匙，存到不同存儲節(jié)點、不同的磁盤上，通過不同的控制器把他存到不同的位置，在不同的位置存放很多的副本。

第二個是算法技術(shù)，實現(xiàn)遠(yuǎn)距離通訊的技術(shù)。“這個也是一個很成熟的技術(shù)，技術(shù)本身也不是一個新技術(shù)，他最早是用在太空技術(shù)上，他是一個通信技術(shù)，最早在美國一個全球合作的項目，發(fā)射了旅行者號探測器，他可以探索太陽系里面任何一個行星。距離這么遠(yuǎn)跟地球之間的通訊怎么辦，就是靠這樣的一個技術(shù)來做的。”Ivan講到。

大數(shù)據(jù)發(fā)展離不開Hadoop

Hadoop跟StorNext結(jié)合是順應(yīng)大數(shù)據(jù)時代的，昆騰StorNext存儲技術(shù)通過Lattus的云存儲，實現(xiàn)Hadoop數(shù)據(jù)的獲取。未來新的版本昆騰希望Hadoop可以直接通過StorNext進(jìn)行數(shù)據(jù)管理分析提取。

 
“我們現(xiàn)在看到這部分左邊是StorNext存儲技術(shù)，右邊實際上是剛提到的Lattus的云存儲，StorNext跟Hadoop結(jié)合就是通過Hadoop，產(chǎn)生的在線運算，把長期不用不活躍的數(shù)據(jù)存到StorNext上面，StorNext通過他的智能運算把他遷移到Lattus云存儲上面。Hadoop需要拿Lattus上面數(shù)據(jù)的時候，需要通過StorNext API直接到云存儲上面去獲取。”Ivan 講到。

“將來昆騰的新版本Hadoop直接在StorNext上，可以直接存到StorNext的主存儲上或者是Lattus上面，讀取的時候也是直接讀取。”

最后，我們看到昆騰StorNext5.0升級了很多技術(shù)，同時與Hadoop結(jié)合，其目的就是在不斷變革的企業(yè)級存儲市場保持強(qiáng)勁的發(fā)展力。面對大數(shù)據(jù)時代的到來，昆騰StorNext5.0以及其完整的解決方案能夠幫助用戶在大數(shù)據(jù)浪潮中閑庭信步。