DOIT 發(fā)表于:14年07月08日 16:18 [綜述] DOIT.com.cn
阿里云計算最重要的一款產品——ODPS,正式開放商用。從今天起,花個幾百塊錢,人人都能來玩大數(shù)據(jù)。
簡單來說,ODPS(Open Data Processing Service)是一項Web服務,大家不用花大錢建數(shù)據(jù)中心,就能分析海量數(shù)據(jù)。我們測過,100PB的數(shù)據(jù)任務可在6小時內跑完。這個數(shù)據(jù)量相當于1億部高清電影。
工業(yè)革命后的200多年里,人類對物理資源的利用登峰造極。第一次信息革命過去70年了,我們對數(shù)據(jù)資源的利用卻只是剛開了頭。Google、Facebook、阿里巴巴等先行一步,摸到了大數(shù)據(jù)的冰山一角。然而,人類擁有的大部分數(shù)據(jù),還無法產生價值。
如何讓數(shù)據(jù)產生價值?先得擁有大規(guī)模處理能力,然后才是挖掘、算法和分析。傳統(tǒng)的做法是這樣的:租個機房,買一堆昂貴的設備搭建數(shù)據(jù)倉庫,再請一幫技術人員來維護運轉。一旦觸發(fā)bug,或者當數(shù)據(jù)總量超過100TB時,你的工程師們可能會被這些麻煩搞崩潰。
Hadoop開源系統(tǒng)很偉大,大大降低了成本。阿里是中國玩Hadoop玩得最好的幾家公司之一,Hadoop支撐了淘寶、支付寶早期業(yè)務的快速發(fā)展。不過,自建一個像樣的Hadoop集群,得百萬起步資金,專業(yè)的Hadoop人才更是稀缺。門檻還是太高。
有沒有更好的方案?從2009年初,寫下“飛天”第一行代碼時,我們就堅信這一方案存在。我們用了五年時間,寫下250萬行代碼,終于在自主研發(fā)的“飛天”平臺上成功搭建ODPS。我們把數(shù)據(jù)海洋里的“水”灌進ODPS,設定好一套參數(shù),擰開水龍頭,出來的就是“鮮榨果汁”!
100年前,福特推出了全球第一條流水生產線。一個個零部件扔進流水線,90分鐘后,一輛嶄新的汽車擺在面前。不知道福特工程師們當時是怎樣的心情。當我們擰開ODPS的水龍頭時,感受大抵如此。這個比喻還不完全恰當,福特生產線只為福特服務,一條生產線也只能生產一種車型。而ODPS任何人都可以來用,水龍頭里流出來的“果汁”,隨著原始數(shù)據(jù)和算法的改變可以千變萬化。
我們來看看ODPS都可以榨哪些“果汁”吧。
ODPS之前一直在阿里內部試用。第一個“小白鼠”是阿里小貸。你見過敢貸1塊錢給你的銀行嗎?如今,超過36萬人從阿里小貸借款,最小貸款額1塊錢,并實現(xiàn)3分鐘申請、1秒放款、0人工干預。要做到這一點,阿里小貸每天得處理30PB數(shù)據(jù),包括店鋪等級、收藏、評價等800億個信息項,運算100多個數(shù)據(jù)模型,甚至得測評小企業(yè)主對假設情景的掩飾和撒謊程度。另外,阿里小貸每筆貸款成本3毛錢。什么?你問普通銀行的貸款成本?先乘個1000再說。
華大基因,2003年國內抗SARS研究的主力軍。去年,我們邀請華大在ODPS上試了下基因測序,耗時不到傳統(tǒng)方式的十分之一。2010年,歐洲E.coli污染危機,測序和組裝耗時兩天以上。如果用ODPS,只要幾個小時甚至幾十分鐘。一旦未來真有生物危機爆發(fā),人類可以贏得寶貴的破譯時間。
這么高精尖的領域你可能覺得太遙遠。說說當前最火的世界杯吧。Google拿英國體育數(shù)據(jù)提供商Opta Sports的數(shù)據(jù),在BigQuery上跑了跑,成功預測了本屆世界杯8強名單。ODPS是一款跟Google BigQuery類似的產品,如果哪位有數(shù)據(jù),也可以來算一算接下來的比賽。
公共領域的數(shù)據(jù)挖掘,可以用ODPS嗎?當然!結合中國氣象局的精準預報數(shù)據(jù),高德地圖不久后就能告訴你:“前方道路已嚴重積水,您的車輛駛入可能會遭水淹,建議繞道行駛。”如今,每盒藥品上都有一張電子身份證,從生產、流通、儲存、配送、銷售到使用,全過程的數(shù)據(jù)都跑在ODPS上,一旦發(fā)現(xiàn)問題藥品,監(jiān)管部門可以立即采取措施。我們期待未來每一桶油、每一道菜的數(shù)據(jù)都跑在ODPS上,食品安全問題需要通過創(chuàng)新的方式來解決。
生產電飯煲的工廠,應該跟ODPS沒什么關系吧?別說,未來還真可能有關系。手機、電視、手表、汽車、空調……這些工業(yè)時代的經典產品,現(xiàn)在都變成了互聯(lián)網終端。誰說電飯煲、鞋子、衣服不會呢?如果未來的制造工廠都變成互聯(lián)網公司,數(shù)據(jù)將成為最基本的生產要素。你不懂算法、不會建模、不會分析,沒關系,那些有數(shù)據(jù)分析能力的公司會幫你做。
眼下,阿里巴巴各項數(shù)據(jù)業(yè)務都在用ODPS“榨果汁”,比如淘寶在算你最中意哪個淘女郎,天貓在算你什么時候想吃車厘子,菜鳥在算卡車走哪條路可能會被雷劈,支付寶在算你何時會從屌絲變成高富帥。如果大家也想“榨果汁”,歡迎來試。ODPS的水龍頭就裝在阿里云官網aliyun.com上,一個月內免費。
The World Is Flat. 從某種意義上而言,人人都可以成為BAT,哪怕你的公司只有幾號人。我們希望,在技術這件事情上,大家變得更加平等!
阿里云ODPS團隊
2014年7月8日