曙光同濟大學應對大數(shù)據解決方案
任新勃 發(fā)表于：13年06月17日 15:50 [來稿] DOIT.com.cn
在硬件高速革新和軟件高度智能化的今天，以“大數(shù)據”為代表的新一輪教育信息化建設浪潮推到了我們面前。為了滿足爆炸式增長的用戶和數(shù)據量，同濟大學攜手國內領先的IT整體解決方案和服務提供商中科曙光，在全面整合云計算平臺和現(xiàn)有資產的基礎上，采用DS800-F20存儲系統(tǒng)、Gridview集群管理系統(tǒng)，以及Hadoop分布式計算平臺構建出了業(yè)內領先的大數(shù)據柔性處理平臺，使得同濟大學在信息學科及其交叉學科研究領域邁上一個新臺階。
基礎平臺需要更具靈活性 高效能才能提供差異化服務
創(chuàng)校百年的同濟大學，是一所擁有理、工、醫(yī)、文、法、哲、經濟、管理、教育9大學科門類的綜合性大學。作為研究型大學，同濟大學是首批被國務院批準成立研究生院的高校之一，同時也是國家“211工程”和“985工程”重點建設的高水平學府。但隨著用戶規(guī)模的擴大，類型的多樣化，層次的差異化，高性能計算作為云計算主要的基礎設施，其傳統(tǒng)的使用模式已經不能完全滿足用戶日益增長的服務需求，并制約了云服務質量的提高。
據介紹，在傳統(tǒng)高性能計算中，所有的服務都運行在高性能計算機服務結點上，導致了結點負載過大，容易出現(xiàn)癱瘓，從而影響用戶的正常使用。另外，在這種開放共享的運行環(huán)境下，無法滿足不同用戶的差異化環(huán)境設置需求與用戶資源顆粒度使用的需求，也無法保障用戶信息的安全。另外，由于軟硬件的部署和操作都很復雜，針對個體需求搭建完成之后，幾乎不具備重復使用的能力，造成了極大的人力和時間成本浪費，影響了其易用性和使用效率。
同濟大學相關負責人表示：“正是因為這些難題的存在，我們的新一代高性能計算平臺就應該更符合大數(shù)據環(huán)境下的工作流程，在設計、實施、管理中都必須提供足夠的柔性，來滿足不同應用的需要。在與不同的應用系統(tǒng)進行交互時，要提供足夠的靈活性。而同濟大學要建設的柔性大數(shù)據處理平臺，需要具備可反復重構的硬件、軟件，同時還需要對原有投入的IT資源進行整合，避免信息化投資的浪費。”
充分整合現(xiàn)有資源 真正實現(xiàn)柔性建設標準
針對以上需求，曙光公司與負責承建工作的同濟大學電信學院緊密合作，對現(xiàn)有資產和網絡狀況進行了多次研究分析。最終，同濟大學使用了基于曙光公司為其構建的柔性處理平臺。平臺采用了分區(qū)方式，其應用將涵蓋三個服務分區(qū)和一個共享存儲中心，即網絡信息服務、交通信息分析、醫(yī)療數(shù)據分析和存儲中心。
【同濟大學大數(shù)據柔性處理平臺】
本方案基于分區(qū)方式構建，全面整合了云計算平臺和同濟大學現(xiàn)有資產（IBM、Dell和HP服務器），其它分析節(jié)點和服務節(jié)點均采用曙光高效能服務器。其中集中存儲系統(tǒng)采用曙光DS800-F20構建，該產品支持FC-SAN/IB-SAN兩種架構，并采用雙冗余的控制器，支持高效能8GbFC以及高帶寬的20GbIB主機接口，穩(wěn)定且高效。另外，服務器管理基于曙光在各個云計算中屢經考驗的大規(guī)模集群管理系統(tǒng)Gridview，在穩(wěn)定性與可用性方面表現(xiàn)突出。
為保證整個平臺工作流程的通順安全，Gridview在每個計算節(jié)點上實行四大邏輯層次，分別為：硬件信息采集層、資源整合共用平臺層、核心模塊層和服務交付層。四層邏輯有條不紊地對從各監(jiān)控節(jié)點系統(tǒng)采集來的信息資源進行優(yōu)先管理。信息通過采集層向上層提供資源信息時，數(shù)據信息被分類存儲在數(shù)據庫中，作為元數(shù)據向上層提供數(shù)據服務。各模塊之間獨立開發(fā)，共享整合的公用平臺數(shù)據信息，可以對元數(shù)據進行自由裁剪，以適應模塊開發(fā)的柔性需求。并且可以按照需求，增加新的模塊到平臺中，做到各模塊之間的有效兼容，向用戶提供統(tǒng)一的Web接口，實現(xiàn)對集群的管理和運維，將整合的資源信息以Portal形式表現(xiàn)，對歷史數(shù)據進行分析，為用戶提供統(tǒng)一的作業(yè)調度界面。
由于曙光公司采用了Hadoop技術搭建分析集群和集中存儲系統(tǒng)，消除了資源孤島，各結點能夠按照業(yè)務強度均衡互聯(lián)；同時，其獨特的可伸縮性使平臺能夠隨著數(shù)據膨脹而擴展，達到真正柔性計算平臺標準。
大幅降低管理成本 分區(qū)管理高性價最高
在解決方案部署之后，化解了原有IT平臺存在的支撐能力不足、管理難度較大等諸多問題，同濟大學的領導和各學科負責人對大數(shù)據柔性處理平臺給予了高度評價。通過對應用 效果進行總結，可以發(fā)現(xiàn)柔性處理平臺帶來很多具體層面的收益：
充分整合包括云平臺、服務器在內的現(xiàn)有資源，全面保護了原有投資；
分布式搜索引擎架構采用分區(qū)形式，使得系統(tǒng)各個組件之間充分解耦，上層軟件部署更加靈活，極大的方便科研用戶進行各種系統(tǒng)的調整和部署；
針對不同組件采用分區(qū)管理，分區(qū)配置物理機和虛擬機資源，強調資源的優(yōu)化配置，獲得了極高的性價比；
數(shù)據網和業(yè)務網分離，這樣就達到了數(shù)據通信和業(yè)務通信運行時互不影響的目標；
管理網通信負載較輕，管理操作依托數(shù)據網構建，實現(xiàn)全網統(tǒng)一管理，同時管理網不必在配置交換機等其他基礎設備，降低了采購和管理成本。
同濟大學項目負責人表示：“同曙光公司攜手建立的大數(shù)據柔性處理平臺，改變了信息化建設中的尷尬狀況，增強了對更多新興應用的支撐能力。其分區(qū)設計和應用實現(xiàn)了該平臺的價值最大化，同時也為信息學科及其交叉學科研究領域提供了更高效靈活的應用流程。”
