国产精品一区二区av交换,中文字幕人成无码免费视频,永久免费av无码网站性色av,欧美一道本一区二区三区,樱桃熟了a级毛片

大數(shù)據(jù)時(shí)代 何處安放我們的元數(shù)據(jù)?

王振 發(fā)表于:13年06月09日 10:25 [編譯] DOIT.com.cn

  • 分享:
[導(dǎo)讀]我們需要收集,歸檔,研究的數(shù)據(jù)量是非常驚人的,但是如果我們能巧妙利用元數(shù)據(jù),就能快速找到我們所需要的數(shù)據(jù)文件。

我們需要收集,歸檔,研究的數(shù)據(jù)量是非常驚人的,但是如果我們能巧妙利用元數(shù)據(jù),就能快速找到我們所需要的數(shù)據(jù)文件。不過(guò),單獨(dú)存儲(chǔ),研究元數(shù)據(jù)本身就是一個(gè)“大數(shù)據(jù)”問(wèn)題,其中一個(gè)很重要的方面就是我們要把元數(shù)據(jù)存儲(chǔ)到哪里?

目前,我們已經(jīng)被“瘋狂”的大數(shù)據(jù)包圍了,整個(gè)世界都在適應(yīng)大數(shù)據(jù),我們要了解如何使用大數(shù)據(jù),如何為大數(shù)據(jù)設(shè)計(jì)相應(yīng)的處理系統(tǒng),盡管如此,大數(shù)據(jù)仍然是一片深不可測(cè)的海洋。以我們的生活為例,在我們周?chē)教幎加袛z像頭——商店外面,商店里面,十字路口,直升飛機(jī)上,銀行,還有人們的手機(jī)上。還有大量的傳感器——在街道上,在汽車(chē)?yán),在公園里,在橋上。還有一些特殊行業(yè)用的傳感器,比如說(shuō)電力行業(yè),油氣行業(yè),醫(yī)院,網(wǎng)絡(luò)服務(wù),網(wǎng)頁(yè),天氣,海洋,軍隊(duì),等等。它們無(wú)時(shí)無(wú)刻不在收集數(shù)據(jù)。而所有這些數(shù)據(jù)都有一個(gè)共同的地方——它們都需要元數(shù)據(jù)。

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。舉個(gè)例子,元數(shù)據(jù)可以包括傳感器位置信息(GPS坐標(biāo)),特定時(shí)間的記錄信息,傳感器感應(yīng)的方向,傳感器的固件以及傳感器的型號(hào)等等。

在對(duì)數(shù)據(jù)進(jìn)行后期處理時(shí),你可以用新得到的元數(shù)據(jù)信息給文件標(biāo)上“標(biāo)簽“。比如說(shuō)照相機(jī),可以用時(shí)間來(lái)作為元數(shù)據(jù)標(biāo)簽,記錄有趣的事情(或許會(huì)和事件本身一起被記錄下來(lái))。還有一些元數(shù)據(jù)標(biāo)簽可以是其它相關(guān)的信息資源,比如說(shuō)其它的照相機(jī)型號(hào)或天氣數(shù)據(jù)。

從中我們可以看出,元數(shù)據(jù)的使用依賴于其質(zhì)量。如果元數(shù)據(jù)不精確,那使用相關(guān)的原始數(shù)據(jù)時(shí)就會(huì)出現(xiàn)問(wèn)題,甚至?xí)斐煞治鍪。有一些元?shù)據(jù)是人為制造的,不能自動(dòng)生成,所以會(huì)有一定的錯(cuò)誤率。

認(rèn)識(shí)到什么樣的元數(shù)據(jù)對(duì)特定數(shù)據(jù)文件很重要,了解如何運(yùn)用它們分析數(shù)據(jù),這是非常重要的問(wèn)題,而且這不僅僅涉及到技術(shù)解決方案,還有可能涉及到社會(huì)學(xué)和心理學(xué)的解決方案。

但是一個(gè)看起來(lái)很簡(jiǎn)單的問(wèn)題卻對(duì)元數(shù)據(jù)的使用造成重大影響,那就是——我們要把元數(shù)據(jù)存儲(chǔ)在什么地方?

何處安放你的數(shù)據(jù)?

在遇到這個(gè)問(wèn)題時(shí),我曾想過(guò)兩個(gè)方法。第一個(gè)是把元數(shù)據(jù)放到所有數(shù)據(jù)的中心位置。第二個(gè)方法是把元數(shù)據(jù)和它本身的數(shù)據(jù)放在一起。

許多研究和歸檔系統(tǒng)都采用第一種方法。它非常簡(jiǎn)單,就是收集特定文件的元數(shù)據(jù)并存儲(chǔ)起來(lái)。這種方法廣泛用于數(shù)據(jù)庫(kù)中,你可以按照自己的需求搜索數(shù)據(jù)庫(kù),尋找含有你感興趣信息的文件(在這里我們假設(shè)元數(shù)據(jù)是正確的,否則那就是另外一回事了)。

搜索的結(jié)果往往是找到文件的位置(文件全名以及文件訪問(wèn)路徑),接著你就可以把文件復(fù)制到某些處于活動(dòng)狀態(tài)的存儲(chǔ)設(shè)備中再進(jìn)行進(jìn)一步的分析。

集中元數(shù)據(jù)這種方法面臨的問(wèn)題是元數(shù)據(jù)和文件之間的映射。舉個(gè)例子,當(dāng)各種文件的元數(shù)據(jù)升級(jí)時(shí),你就需要一種更新機(jī)制去升級(jí)集中元數(shù)據(jù)的服務(wù)器。理想狀態(tài)是,升級(jí)速度非?,否則,搜索數(shù)據(jù)就會(huì)過(guò)期。但是你怎么定義“快”呢?這取決于你的用戶和用戶模式。

這種更新機(jī)制有一個(gè)潛在的問(wèn)題。如果數(shù)據(jù)庫(kù)和文件不同步怎么辦?比方說(shuō),當(dāng)一個(gè)文件被移動(dòng),它在數(shù)據(jù)庫(kù)中的全路徑不再有效時(shí)怎么辦?

答案很明顯,數(shù)據(jù)庫(kù)也會(huì)失效,至少包含那個(gè)文件的數(shù)據(jù)庫(kù)會(huì)失效。不過(guò)令人感到欣慰的是,更新機(jī)制會(huì)告訴數(shù)據(jù)庫(kù)文件已經(jīng)移動(dòng),數(shù)據(jù)庫(kù)會(huì)采取相應(yīng)的措施,或者為新的位置創(chuàng)建元數(shù)據(jù),或者升級(jí)現(xiàn)有的元數(shù)據(jù)對(duì)應(yīng)文件新的位置。在一些案例中,升級(jí)窗口還會(huì)影響升級(jí)數(shù)據(jù)庫(kù)。

還有一點(diǎn)需要注意,就是數(shù)據(jù)庫(kù)本身的數(shù)據(jù)完整性。你需要利用備份,復(fù)制或其它相似的功能來(lái)進(jìn)行數(shù)據(jù)保護(hù)。不要忘了數(shù)據(jù)庫(kù)主要功能是從中讀取數(shù)據(jù),這就意味著你需要注意數(shù)據(jù)庫(kù)的大小,注意讀取錯(cuò)誤。一些廠商會(huì)從消費(fèi)級(jí)SATA硬盤(pán)中建立索引,當(dāng)你讀取100GB的數(shù)據(jù)時(shí),你就有可能遇到讀取錯(cuò)誤。如果你借助RAID控制器建立存儲(chǔ),你就有可能重建,而在重建過(guò)程中,你還有可能遇到新的問(wèn)題。

[責(zé)任編輯:鄭磊]
存儲(chǔ)在線今天就云存儲(chǔ)、WD各系列硬盤(pán)、SSD、軟件定義存儲(chǔ)等一系列熱門(mén)話題,與西部數(shù)據(jù)全球云儲(chǔ)存產(chǎn)品高級(jí)總監(jiān)Patrick Wilkison進(jìn)行深入的探討。
官方微信
weixin
精彩專題更多
存儲(chǔ)風(fēng)云榜”是由DOIT傳媒主辦的年度大型活動(dòng);仡2014年,存儲(chǔ)作為IT系統(tǒng)架構(gòu)中最基礎(chǔ)的元素,已經(jīng)成為了推動(dòng)信息產(chǎn)業(yè)發(fā)展的核心動(dòng)力,存儲(chǔ)產(chǎn)業(yè)的發(fā)展邁向成熟,數(shù)據(jù)經(jīng)濟(jì)的概念順勢(shì)而為的提出。
華為OceanStor V3系列存儲(chǔ)系統(tǒng)是面向企業(yè)級(jí)應(yīng)用的新一代統(tǒng)一存儲(chǔ)產(chǎn)品。在功能、性能、效率、可靠性和易用性上都達(dá)到業(yè)界領(lǐng)先水平,很好的滿足了大型數(shù)據(jù)庫(kù)OLTP/OLAP、文件共享、云計(jì)算等各種應(yīng)用下的數(shù)據(jù)存儲(chǔ)需求。
聯(lián)想攜ThinkServer+System+七大行業(yè)解決方案驚艷第十六屆高交會(huì)
 

公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.