中國農(nóng)行攜手曙光構建大數(shù)據(jù)系統(tǒng) 推動業(yè)務不斷創(chuàng)新
任新勃 發(fā)表于：13年05月23日 14:49 [來稿] DOIT.com.cn
隨著網(wǎng)絡數(shù)據(jù)量的迅速增長，如何從互聯(lián)網(wǎng)時代龐大的“數(shù)據(jù)寶藏”中獲得價值和洞察力成為企業(yè)普遍關心的問題。為了更好地對企業(yè)產(chǎn)生的“大數(shù)據(jù)”進行管理，使之轉化為生產(chǎn)力，中國農(nóng)業(yè)銀行（以下簡稱中國農(nóng)行）攜手中科曙光，采用曙光XData大數(shù)據(jù)一體機系統(tǒng)，支撐中國農(nóng)行歷史數(shù)據(jù)查詢和分析業(yè)務，讓“大數(shù)據(jù)”成為推動中國農(nóng)行業(yè)務持續(xù)不斷創(chuàng)新的基礎。
數(shù)據(jù)爆炸式增長 如何利用成當務之急
作為一家面向“三農(nóng)”、城鄉(xiāng)聯(lián)動、融入國際、綜合經(jīng)營的大型商業(yè)銀行，中國農(nóng)行在很早之前就部署了各種IT應用系統(tǒng)，給業(yè)務發(fā)展提供強大的信息化手段。而隨著農(nóng)行業(yè)務的快速發(fā)展和公司治理要求的不斷提高，各類應用系統(tǒng)產(chǎn)生的數(shù)據(jù)量急速增加。據(jù)初步統(tǒng)計，目前農(nóng)行各應用系統(tǒng)每年產(chǎn)生的非結構化數(shù)據(jù)已經(jīng)超過1PB（1024TB），結構化數(shù)據(jù)也以百TB計，加之已歸檔的歷史數(shù)據(jù)，總數(shù)據(jù)量已經(jīng)需要以PB為單位計算。
在中國農(nóng)行的數(shù)據(jù)出現(xiàn)爆炸式增長的背景下，如何處理、保存這些海量的數(shù)據(jù)，并抽絲剝繭發(fā)現(xiàn)數(shù)據(jù)所蘊藏的價值，就成為首要面對的問題。由于關系型數(shù)據(jù)庫架構在面臨大數(shù)據(jù)處理時先天性不足的原因，中國農(nóng)行亟待新的方法和技術來解決這些問題，以滿足新的需求，推動業(yè)務持續(xù)快速地發(fā)展。
中國農(nóng)行相關負責人表示：“在近些年，中國農(nóng)行啟用了手機銀行、電子支付、云計算等諸多數(shù)據(jù)密集型業(yè)務，這讓農(nóng)行數(shù)據(jù)資源的‘儲量’越來越豐富，數(shù)據(jù)也越來越成為我們最有價值的資產(chǎn)之一。但同時，這些數(shù)據(jù)極為巨大，數(shù)據(jù)類型異常復雜，特別是非結構化和半結構數(shù)據(jù)量遠遠超過結構化數(shù)據(jù)，采用傳統(tǒng)的方式很難從中發(fā)現(xiàn)蘊含的商業(yè)價值。因此，農(nóng)業(yè)銀行迫切需要一套挖掘效果好的大數(shù)據(jù)解決方案，為金融業(yè)務發(fā)展提供數(shù)據(jù)支撐。”
中國農(nóng)行應用曙光XData大數(shù)據(jù)一體機系統(tǒng) 推進業(yè)務持續(xù)創(chuàng)新
2012年7月起，在信息技術管理部的推動下，中國農(nóng)行軟件開發(fā)中心技術引入業(yè)內(nèi)廣受關注的“大數(shù)據(jù)”技術，并對相關的技術及其在銀行內(nèi)應用可行性進行了充分的研究，明確了大數(shù)據(jù)處理技術在農(nóng)業(yè)銀行的應用場景�；趯Υ髷�(shù)據(jù)處理技術的研究與應用工作，以及對文件管理、歷史數(shù)據(jù)查詢以及數(shù)據(jù)分析類應用進行原型研究的基礎上，農(nóng)行正式完成在大數(shù)據(jù)處理和應用方面的技術初步落地。
整套解決方案以曙光XData大數(shù)據(jù)一體機系統(tǒng)作為支撐，XData 大數(shù)據(jù)一體機由 1個管理節(jié)點， 2個namenode，42個datanode組成，存儲接近600TB容量數(shù)據(jù)，隨著業(yè)務數(shù)據(jù)量的增加，系統(tǒng)通過簡單擴展硬件的方式保證符合業(yè)務對容量和性能的要求。
曙光存儲產(chǎn)品總監(jiān)惠潤海表示：“由于農(nóng)行業(yè)務復雜，數(shù)據(jù)格式多變，非結構數(shù)據(jù)如票據(jù)影像大量存在，對這些數(shù)據(jù)進行統(tǒng)一存儲分析管理成為一項重要的需求。曙光大數(shù)據(jù)解決方案立足于基礎平臺建設，通過SQL連接器和常用BI報表工具進行集成。此外，系統(tǒng)還可以迅速完成結構化數(shù)據(jù)急速導入，完全融入數(shù)據(jù)生命周期管理。”在解決方案部署之后，實現(xiàn)了以下部署效果：
高可靠性：系統(tǒng)全年7×24小時無間斷服務。
高可用性：服務器故障情況下，系統(tǒng)仍能穩(wěn)定工作，并保證數(shù)據(jù)完整性和可用性。
靈活擴展：通過增加存儲設備，容量可以平滑的擴展，性能可以同比提高。當性能（并發(fā)訪問、IO帶寬）不足時，簡單通過擴展硬件即可同比地擴展系統(tǒng)的總體性能。
高性能：提供每秒數(shù)十萬的記錄導入速度，百億級規(guī)模記錄隨機點查詢秒級返回。
低成本：在大規(guī)模部署時，該系統(tǒng)有總體價格優(yōu)勢。
易開發(fā)：系統(tǒng)對外呈現(xiàn)單一入口，并提供類JDBC和SQL訪問接口，便于業(yè)務的開發(fā)及移植。
易管理：提供圖形化管理界面，方便用戶對系統(tǒng)進行管理和監(jiān)控。
在應用了曙光XData大數(shù)據(jù)一體機系統(tǒng)之后，中國農(nóng)行滿足了系統(tǒng)對于并發(fā)用戶數(shù)和性能的要求，能夠支撐農(nóng)業(yè)銀行歷史數(shù)據(jù)查詢和分析業(yè)務，為下一步的業(yè)務拓展奠定了基礎。中國農(nóng)行相關負責人指出：“在曙光的幫助下，我們建立了相對完善的大數(shù)據(jù)系統(tǒng)，并解決了部署、業(yè)務移植開發(fā)等技術難題，跨過了應用門檻。為公司盤活數(shù)據(jù)資產(chǎn)、搶占新技術的制高點提供了支撐，推動了業(yè)務創(chuàng)新和持續(xù)不斷的發(fā)展。”
