在數(shù)據統(tǒng)一化階段，企業(yè)需要通過數(shù)據加載、同步、實時的數(shù)據接入、SQL 開發(fā)以及任務調度管理等能力來構建數(shù)據倉庫或者數(shù)據湖；在數(shù)據資產化階段，企業(yè)需要構建血緣、標準、質量管理，以及數(shù)據資產目錄、模型管理等數(shù)據治理平臺，并能提供數(shù)據地圖的能力；在數(shù)據業(yè)務化階段，企業(yè)需要提供一套數(shù)據智能與分析的解決方案；在數(shù)據生態(tài)化階段，企業(yè)需要構建數(shù)據交易共享平臺，其中包括數(shù)據共享交換、對數(shù)據安全的保護、隱私計算還有聯(lián)邦學習等能力。如果能結合以上四個階段，構建企業(yè)大數(shù)據能力并建設所有系統(tǒng)，企業(yè)就完成了數(shù)據價值演進的全過程。

隨著企業(yè)的數(shù)據類型和數(shù)據應用的增加，大量的數(shù)據會積累起來，因此數(shù)據資產化的工作就非常有挑戰(zhàn)性。未來更好的將數(shù)據升級為資產，企業(yè)一般需要開展數(shù)據開發(fā)和數(shù)據治理工作，這是一個組織管理加技術落地的工作，需要在一體化的數(shù)據治理方法論的指導下來落實每個有效的數(shù)據的質量提升、標準落地和業(yè)務級價值梳理。為了更好的幫助我們的企業(yè)用戶能夠更好的落地數(shù)據治理工作，新發(fā)布的 TDS 2.2 能夠實質性的幫助用戶提升效率。TDS是一個集開發(fā)與治理為一體的一站式工具平臺，不僅在產品上實現(xiàn)了較為完整的覆蓋，更是將星環(huán)數(shù)據治理咨詢團隊的行業(yè)經驗和方法論沉淀在工具中，此外還結合機器學習技術來輔助專業(yè)人員可以更快的將各種治理工作自動化，因此TDS可以大幅度提升企業(yè)數(shù)據開發(fā)和治理的效率，加速企業(yè)數(shù)字化轉型進程。

TDS 提供了完整的數(shù)據開發(fā)、數(shù)據治理、數(shù)據資產管理、數(shù)據標簽與服務、數(shù)據共享與交易等一系列數(shù)據全生命周期的處理工具，與 TDS 1.x 相比，新版本新增了兩個子產品，一個是數(shù)據質量管理工具 Governor，用于管理數(shù)據從獲取到消亡每個階段里可能引發(fā)的數(shù)據質量問題；另一個是數(shù)據商城 Transwarp Foresight，它整合了 TDS 的數(shù)據服務開發(fā)工具 Midgard 和標簽開發(fā)工具 StarViewer，為業(yè)務人員提供數(shù)據資產的檢索、下載、共享的能力，結合著數(shù)據血緣幫助數(shù)據使用者、開發(fā)者和管理者做整體協(xié)同，構建其數(shù)據運營能力。

除以上提到的四個工具之外，TDS 的子產品還包括：面向數(shù)據庫 SQL 程序開發(fā)者的桌面集成開發(fā)環(huán)境 Waterdrop、網頁版的團隊協(xié)作的 SQL 開發(fā)環(huán)境 SQLBook、可視化的 ETL 開發(fā)工具Transporter、數(shù)據計算任務的調度平臺 Workflow、數(shù)據可視化工具 Pilot 、數(shù)據 API 的開發(fā)與管理工具 Midgard以及數(shù)據資產管理工具軟件 Catalog。

值得關注的是，TDS 不僅能夠支持基于星環(huán)平臺的大數(shù)據開發(fā)與治理，同時也可以管理各種關系數(shù)據庫和主流大數(shù)據平臺，用于企業(yè)級的數(shù)據治理和數(shù)據資產平臺的建設。

今天，星環(huán)科技一站式數(shù)據開發(fā)與治理平臺 TDS，迎來了全新的 2.2 版本。經過多個版本的不斷迭代，TDS 以功能更全面、性能更出色的姿態(tài)與大家見面，在 TDS 的助力之下，企業(yè)數(shù)據平臺的建設效率將會大幅度提升，業(yè)務用戶與數(shù)據資產的打通也將更加徹底，最終實現(xiàn)數(shù)據與業(yè)務的結合。新版本的 TDS 具備以下四個核心能力：

核心能力一：數(shù)據聯(lián)邦

TDS 通過數(shù)據聯(lián)邦技術實現(xiàn)了數(shù)據的統(tǒng)一管理和服務，實現(xiàn)了三個統(tǒng)一：

第一、統(tǒng)一的數(shù)據門戶，數(shù)據商城Transwarp Foresight 整合各平臺數(shù)據產品做對外的數(shù)據共享與交換；

第二、統(tǒng)一的數(shù)據 API 服務能力，數(shù)據服務開發(fā)工具Midgard 產品能夠通過直連數(shù)據庫的方式，將數(shù)據庫的表或字段數(shù)據直接發(fā)布為服務API，并提供高并發(fā)的查詢能力；

第三、統(tǒng)一的技術元數(shù)據，數(shù)據資產目錄Catalog 通過數(shù)據庫直連獲取技術元數(shù)據，通過補充異構數(shù)據庫數(shù)據血緣，展現(xiàn)完整的數(shù)據地圖和血緣分析。

與此同時，基于 Inceptor 的聯(lián)邦計算能力，TDS 可實現(xiàn)統(tǒng)一的 SQL 計算和統(tǒng)一的數(shù)據治理。Inceptor SQL 引擎能夠實現(xiàn)跨異構數(shù)據平臺的 SQL 計算，支持多種關系型數(shù)據庫、異構大數(shù)據平臺以及 MPP 數(shù)據庫 。TDS SQL 開發(fā)工具 SQL Book 可以充分利用 Inceptor 的聯(lián)邦計算能力，承擔企業(yè)統(tǒng)一數(shù)據開發(fā)入口的角色：開發(fā)者提交的 SQL 任務能夠通過Inceptor 的聯(lián)邦計算能力來統(tǒng)一處理，無需維護多個異構數(shù)據平臺的開發(fā)環(huán)境和開發(fā)入口。

核心能力二：智能化數(shù)據治理能力

隨著當今 ToB 市場數(shù)據治理需求的高速增長，數(shù)據治理解決方案作為人力密集型項目的痛點也逐漸被放大。通過智能化手段來緩解甚至解決該痛點的趨勢也隨之到來。星環(huán) TDS 能夠提供結合專家規(guī)則與機器學習的智能化數(shù)據治理能力。TDS 首先自動識別數(shù)據資產，然后對識別到的數(shù)據資產進行自動分類，最后自動監(jiān)控數(shù)據資產動態(tài)，實現(xiàn)了對數(shù)據資產的智能編目；同時專業(yè)咨詢團隊構建的行業(yè)知識庫，通過智能算法自動提煉知識，形成行業(yè)智能模型，能夠向用戶智能的推薦數(shù)據質量規(guī)則、數(shù)據標準貫標，有效解決人力瓶頸；最后還支持智能發(fā)現(xiàn)敏感數(shù)據，保護數(shù)據資產的合規(guī)性。

核心能力三：優(yōu)秀的團隊協(xié)作能力

企業(yè)的大數(shù)據開發(fā)普遍缺少軟件工程的整體管控流程，隨著業(yè)務復雜性提高、開發(fā)團隊越來越多、代碼與模型版本混亂，導致后期維護成本越來越高，而星環(huán) TDS 能夠幫助企業(yè)構建大數(shù)據智能化開發(fā)平臺，提供全程圖形化操作、知識規(guī)則庫、開發(fā)協(xié)同、安全管控以及版本管理能力，實現(xiàn)大數(shù)據全流程開發(fā)、測試、上下線的線上化，并完成全平臺的數(shù)據訂閱與跨平臺數(shù)據推送等數(shù)據中臺服務，構建數(shù)據應用的完整 DevOps 體系。

核心能力四：分布式架構的設計，最大可支持 PB 級別的數(shù)據平臺建設工作

TDS 的調度工具 Workflow 利用分布式調度引擎，最大可支持百萬級別任務調度的生產需求；TDS 的數(shù)據集成工具 Transporter 用 ELT 代替?zhèn)鹘y(tǒng)的 ETL，充分利用了星環(huán)底層大數(shù)據平臺的計算能力，能夠避免傳統(tǒng) ETL 工具本身的計算瓶頸；數(shù)據服務開發(fā)工具 Midgard 通過 Hyperbase 提供的高并發(fā) API，以及云操作系統(tǒng) TCOS Ingress 提供的高性能 API 網關，都可以達到單節(jié)點 2 萬 QPS 的優(yōu)秀性能表現(xiàn)；數(shù)據資產目錄 Catalog 基于分布式圖數(shù)據庫，支持百億級數(shù)據操作的存儲與分析。同時精確到字段級別的血緣分析能力，能夠實時感知和追蹤平臺內的數(shù)據變化。

目前，星環(huán)科技一站式數(shù)據開發(fā)與治理平臺 Transwarp Data studio （TDS），通過數(shù)據的全生命周期管理、數(shù)據聯(lián)邦、智能化數(shù)據治理等能力，已經為多個大型企業(yè)客戶數(shù)字化轉型提供落地方案，降低了企業(yè)大數(shù)據開發(fā)的技術門檻，并提升了企業(yè)數(shù)據開發(fā)效率。未來，星環(huán)將繼續(xù)通過大數(shù)據核心技術為企業(yè)賦能，助力企業(yè)加速數(shù)字化轉型。

xiesc