大數據時代來臨 催生數據挖掘產業(yè)發(fā)展
在當前全球經濟形勢下行的背景下,中國的經濟形勢也不甚樂觀,但正因為如此,中國企業(yè)對挖掘大數據價值的渴求尤為強烈,希望以此提高客戶體驗,促進業(yè)務的增長。根據國內市場研究機構計世資訊的研究,2012年中國大數據市場增長率為52.4%,市場規(guī)模達到3.2億元。55%的受訪企業(yè)表示,計劃在未來一年內部署大數據應用。
隨著大數據的發(fā)展,其應用場景也越來越多,涵蓋從用戶行為分析到安全監(jiān)控、輿情監(jiān)測等等各方面,計世資訊計算機系統(tǒng)研究部總監(jiān)丁震表示,用戶不僅利用大數據獲取更大的數據價值,還利用它整合內部的工作流程,提高效率和可控性。
在發(fā)展的過程中,大數據的需求已經從早期的互聯(lián)網、電商領域轉向金融、電信、政府、能源等諸多傳統(tǒng)的行業(yè)。盡管用戶認為大數據能夠提高決策和數據分析的及時性,但丁震指出,用戶實際應用仍十分謹慎,這其中有用戶認識、案例缺乏、引入新技術的風險和經濟環(huán)境等原因。
解讀Splunk實時大數據解決方案
Splunk的主要業(yè)務是向企業(yè)及客戶提供及其數據引擎。Splunk可以幫助企業(yè)收集、編索并智能化的分析由網絡、應用程序以及移動設備等產生的機器數據。Splunk的軟件產品讓用戶監(jiān)控、檢索、分析、圖示化實時和歷史機器數據流,并最終幫助企業(yè)決策者做出準確的判斷。Splunk實現了運營智能,商業(yè)和IT人士都可以實時地分析數據,并且提高運營效率??蛻?、個人、組織都能夠在各個方面提高運營效率,比如說,可以減少成本,提高服務質量,減少風險,同時獲得洞察力。
針對中國用戶的上述困擾,Splunk帶來了一個完整的解決方案。與一些BI(商業(yè)智能)、數據倉庫和數據挖掘廠商的新解決方案著眼點不一樣,Splunk產品營銷副總裁Sanjay Mehta認為,大數據的落地,可以從機器數據著手,通過Splunk實時的“引擎”,將已有的數據組織起來,幫助企業(yè)提高效率,降低成本。
Splunk定義的機器數據,包括了文件或者文件目錄、syslog、Windows事件日志、Windows注冊表、Windows性能指標、Unix/Linux日志和指標、文件完整性監(jiān)視、配置文件、OPSEC LEA、Cisco設備日志、IIS日志、Apache日志、WebSphere日志/指標和其他數據、以及任何其他數據。
對企業(yè)來說,設備數據是非常寶貴的資源。設備數據中通常都明確地記錄了所有的用戶交易、客戶行為、設備行為、安全威脅、欺詐活動等各種信息。這些數據有著動態(tài)、非結構化、非標準化的特性,是構成用戶企業(yè)中數據的主要部分。
很少有企業(yè)能從設備數據中挖掘出他們所需價值。對于這種大批量、可變的動態(tài)數據類型,當前鮮有有效的數據分析、管理和監(jiān)控解決方案。Splunk作為一款設備數據搜索引擎,正是為解決設備數據帶來的挑戰(zhàn)應運而生的,Splunk可收集、索引并整理所有非結構化的時序設備數據。Splunk可實時搜索、報告、監(jiān)測并分析實時和歷史數據。讓您實時了解IT系統(tǒng)和基礎架構中正在發(fā)生和已經發(fā)生的事件。
使用Splunk可快速瀏覽并掌握IT信息和業(yè)務狀況,從中獲得有用價值。而解決應用程序問題并調查安全事故所花費的時間,從幾天或幾小時縮短到幾分鐘,Splunk將有效幫助您避免服務降級或中斷,以更低的成本達到合規(guī)性需求,并贏得寶貴的業(yè)務前瞻性。
快速獲得信息和價值 Splunk Hunk測試版
Splunk高級產品副總裁Guido Schroeder表示:“Hunk是Splunk產品系列中新增的重要產品。我們的客戶喜歡Splunk軟件讓他們輕松地分析和可視化數據。他們問我們是否也能夠幫助他們處理在Hadoop中大量的低成本數據庫。為此,我們利用獲得專利的全新虛擬索引技術擴展了我們的技術。Hadoop是一項潛力巨大的技術–如果你能夠獲得數據并進行處理。我們開發(fā)了一體化軟件Hunk,幫助機構向更廣泛的用戶群提供其數據資產的信息,無需定制開發(fā)、成本高昂的數據建?;蛉唛L的批處理迭代。通過提供互動式數據探索、發(fā)現和分析,Hunk讓用戶能夠在Hadoop中從原始數據中獲得有價值的信息。”
Hunk讓組織機構能夠更快速、更簡單地探索、分析、可視化和分享存儲在Hadoop中的數據。其主要特性包括:
Splunk虛擬索引(正在申請專利):Splunk虛擬索引技術實現了無縫使用Splunk的所有技術,包括Splunk搜索處理語言(SPL),它可以實現互動地探索、分析和可視化存儲在任何地方的數據,就像它們存儲在Splunk Index中一樣。Hunk使用這項基礎性技術,是來自這個創(chuàng)新的第一款產品。
Hadoop中數據的互動分析:Hunk能讓使用者進行深分析、檢測模式并發(fā)現異常。使用者可以利于相互關聯(lián)的數據找出趨勢并發(fā)現有利的模式。利用Splunk DB Connect連接來自外部關系數據庫的數據,從而進一步豐富信息。
Splunk解決方案助大數據用戶實現落地
Sanjay Mehta介紹了Splunk的一系列的案例,例如,幫助百事公司實現了實時運營可視化,百事公司銷售人員使用Splunk手持終端了解銷售狀況,可以看到銷售實時數據,以確保其銷售工作的效果和效率,所有的數據來源都是通過基礎架構而來,而非關系型數據庫;幫助salesforce.com實現全商務領域運營情報,將問題解決率提高96%,為其10多萬家客戶提供更好的體驗……
此外,Sanjay Mehta還分享了Splunk產品用于從電梯運行數據監(jiān)控中獲得預測信息、通過醫(yī)療設備更好地了解患者狀況以及分析建筑物感應器,以降低能源成本等應用場景。
國內的上海天旦網絡(Netis)和北京華夏威科軟件技術有限公司的代表分別在現場介紹了Splunk大數據技術在不同行業(yè)的應用。
上海天旦介紹了Splunk在一個網上支付平臺的運維管理工作的支持。華夏威科Splunk產品經理王文雅表示,在國內某大型銀行,通過單一的Splunk平臺,跨平臺收集不同格式的日志,對每天20G的數據進行收集、管理、實時展示分析,以及建立關聯(lián)、歷史數據比對等等,大大提高了IT人員對企業(yè)環(huán)境的可見性。而這一切的工作,Splunk Index Server僅僅需要使用2臺4個CPU、4G內存的虛擬機(VM)來支持。
當然,Splunk的案例還有很多。截至目前,Splunk的客戶數量超過了5600家,分布在全球90多個國家。其中,中移動、中電信、招行、交行、廣發(fā)、聯(lián)想、東航、支付寶和國美在線等是Splunk在中國地區(qū)的主要客戶–同樣覆蓋了電信、金融、能源、互聯(lián)網等多個行業(yè)。