海聚（數(shù)據(jù)整合系統(tǒng)）

TRS海聚數(shù)據(jù)融合平臺（TRS ETL）是一款由TRS自主設計研發(fā)，具有強大數(shù)據(jù)集成能力的流批一體數(shù)據(jù)融合平臺。TRS ETL采用分布式架構(gòu)，以flink作為數(shù)據(jù)處理引擎，可拖拽式數(shù)據(jù)流程開發(fā)，提供幾百種常用功能組件，支持對任務的進度實時監(jiān)控和多維度統(tǒng)計分析，并提供了全功能RESTfulAPI。TRS ETL能幫助企業(yè)打破數(shù)據(jù)孤島、修正數(shù)據(jù)質(zhì)量、匯集多數(shù)據(jù)源、轉(zhuǎn)換數(shù)據(jù)形態(tài)，提升數(shù)據(jù)的利用價值。

產(chǎn)品功能產(chǎn)品優(yōu)勢應用場景用戶價值最佳實踐

產(chǎn)品功能

任務管理

調(diào)度計劃管理

資源管理

集群管理和引擎管理

統(tǒng)計監(jiān)控分析

操作歷史審計

海聚支持多種任務類型，包括批任務、流任務、SQL任務、JAR任務。對數(shù)據(jù)融合來說，SQL任務是一個全新的處理形態(tài)，它能把數(shù)據(jù)的融合邏輯，轉(zhuǎn)為一個簡單的SQL語句來完成。

調(diào)度計劃用于配置任務的定時運行策略，合理的給任務分配調(diào)度計劃可以使得多個任務協(xié)同運行并且合理使用服務器資源，避免出現(xiàn)過多任務爭搶線程和數(shù)據(jù)庫等資源以及大量任務排隊等待等現(xiàn)象，為服務器穩(wěn)定運行提供保障。

海聚支持集中管理任務中使用的所有外部連接的資源，并生成相應的血緣圖譜。

海聚支持分布式架構(gòu)部署，以及flink執(zhí)行引擎的熱插拔和自動分配，包括flink standalone模式和yarn session模式。

海聚支持任務的執(zhí)行統(tǒng)計分析、資源的統(tǒng)計分析、錯誤分析等多維度運行分析。

海聚還支持對全息操作行為進行審計分析功能，包括任務的增刪改運行、資源的增刪改、用戶管理行為等等。

任務管理

調(diào)度計劃管理

資源管理

海聚支持集中管理任務中使用的所有外部連接的資源，并生成相應的血緣圖譜。

集群管理和引擎管理

海聚支持分布式架構(gòu)部署，以及flink執(zhí)行引擎的熱插拔和自動分配，包括flink standalone模式和yarn session模式。

統(tǒng)計監(jiān)控分析

海聚支持任務的執(zhí)行統(tǒng)計分析、資源的統(tǒng)計分析、錯誤分析等多維度運行分析。

操作歷史審計

海聚還支持對全息操作行為進行審計分析功能，包括任務的增刪改運行、資源的增刪改、用戶管理行為等等。

產(chǎn)品優(yōu)勢

易用性

1.純B/S架構(gòu)，前后端分離，提供全功能RESTful API。
2.基于圖形化的數(shù)據(jù)流程定義，通過簡單拖拽相關(guān)系統(tǒng)組件進行組合即可設計指定的ETL規(guī)則。
3.客戶端內(nèi)置了常用的任務定義模板，用戶可選擇指定的模板快速創(chuàng)建任務；
4.把常用的配置信息定義為資源，從而在多個流程中復用該配置信息，減輕了配置工作量。
5.系統(tǒng)提供了多種監(jiān)控視圖，可以方便的監(jiān)控流程的運行狀態(tài)以及統(tǒng)計信息，幫助分析性能瓶頸。

分布式架構(gòu)

1.服務器采用分布式集群架構(gòu)，增加了系統(tǒng)的穩(wěn)定性，避免了系統(tǒng)的單點故障。
2.集群支持彈性擴展，任務可分裂為多個子任務，分別調(diào)度運行到不同的集群節(jié)點，從而提升系統(tǒng)數(shù)據(jù)處理能力。
3.與k8s、Yarn、Mesos緊密集成，快速故障恢復，動態(tài)擴縮容作業(yè)。

處理功能強大

1.系統(tǒng)提供了豐富的ETL組件，以支持常見的ETL數(shù)據(jù)處理需求：支持企業(yè)內(nèi)部常見數(shù)據(jù)源的抽取；提供了豐富的數(shù)據(jù)加工轉(zhuǎn)換功能。
2.支持if-else、switch-case、while等多種處理邏輯。
3.任務之間支持相互調(diào)用，以及依賴等多種關(guān)聯(lián)方式，以實現(xiàn)復雜的ETL處理邏輯。
4.高度靈活的窗口機制，支持對亂序事件的處理。

高性能

1.多線程運行和多機分布式運行，能大大提升數(shù)據(jù)處理性能。
2.與主流大數(shù)據(jù)計算框架的集成，可以將復雜的業(yè)務邏輯提交到計算平臺進行處理。
3.采用Apache Flink作為數(shù)據(jù)處理內(nèi)核，支持流批處理，具有高吞吐、低延遲的特點。

擴展性

1.統(tǒng)一的數(shù)據(jù)處理框架和插件框架，通過插件接口的二次開發(fā)，可以適應多種數(shù)據(jù)集成背景。
2.提供常用功能的API，方便的與業(yè)務應用集成。

安全性

1.自主可控，分級權(quán)限安全策略，支持不同權(quán)限的操作人員對系統(tǒng)的控制。
2.數(shù)據(jù)處理任務的審計功能，增加了數(shù)據(jù)處理任務的可溯性。
3.異常數(shù)據(jù)的集中查看和管理功能。
4.自動識別背壓點，方便快速定位任務性能瓶頸。

應用場景

全文檢索場景

數(shù)據(jù)治理場景

數(shù)據(jù)遷移場景

數(shù)據(jù)整合場景

數(shù)據(jù)共享交換場景

抽取、清洗、整合海量信息數(shù)據(jù)，為全文檢索功能的重要組成部分——全文數(shù)據(jù)庫提供優(yōu)質(zhì)數(shù)據(jù)。

幫助組織建立數(shù)據(jù)質(zhì)量管理體系，提升數(shù)據(jù)的完整性、規(guī)范性、及時性、一致性、邏輯性。

實現(xiàn)新舊系統(tǒng)與數(shù)據(jù)庫切換的數(shù)據(jù)接入與數(shù)據(jù)格式匹配，確保應用系統(tǒng)順利割接。

實現(xiàn)多源異構(gòu)數(shù)據(jù)整合，加強數(shù)據(jù)管控能力，消除信息孤島，更好的為上層應用提供服務。

用于構(gòu)建、運行和管理分布式應用系統(tǒng)間、云環(huán)境下應用系統(tǒng)之間等數(shù)據(jù)交換共享任務，以滿足各種大型應用、各種復雜的網(wǎng)絡環(huán)境下的業(yè)務需求，尤其適用于跨部門、跨地域、跨層級的數(shù)據(jù)交換共享應用。

用戶價值

高度安全

自主可控，分級權(quán)限安全策略。

零編程

零代碼編程快速建立任務降低用戶使用門檻。

圖形化

簡單拖拽組合圖形進行設計，5分鐘建立一條數(shù)據(jù)通道。

大規(guī)模處理

采用分布式架構(gòu)，任務并發(fā)調(diào)度降低80%成本，效率提升5倍。

N種數(shù)據(jù)源

支持幾十種數(shù)據(jù)源，配置簡便快捷。

實時融合

7*24小時快速抽取，讓延遲不再是問題。

輕量部署

一鍵安裝部署，開箱即用。

最佳實踐

生態(tài)環(huán)保部-二污普數(shù)據(jù)清洗項目

本項目通過獲取國家統(tǒng)計局、國家工商總局、國家質(zhì)檢總局、國家稅務總局、國家電網(wǎng)和南方電網(wǎng)等部門提供的數(shù)據(jù)，結(jié)合環(huán)境保護部相關(guān)業(yè)務部門的環(huán)境業(yè)務數(shù)據(jù)，按照第二次全國污染源普查對象和范圍要求，通過TRS海聚對部外和部內(nèi)數(shù)據(jù)進行前期預處理，最終建立了一套標準的符合第二次全國污染源普查需求的基本單位名錄庫數(shù)據(jù)集合。

中國石油-網(wǎng)站群全文檢索項目

中石油站點眾多，外部網(wǎng)站群包括集團公司主站及特色子站、專業(yè)公司、油氣田企業(yè)、煉化企業(yè)、銷售企業(yè)、天然氣與管道儲運企業(yè)及海外業(yè)務企業(yè)；內(nèi)網(wǎng)部署了上千個子站點，在數(shù)據(jù)同步時，子站點的數(shù)據(jù)通過TRS海聚自動化整合到搜索引擎系統(tǒng)中。最終，能夠?qū)崿F(xiàn)網(wǎng)站群數(shù)據(jù)統(tǒng)一檢索與展示，有效地提高網(wǎng)站服務質(zhì)量。

中國標準出版社-數(shù)字內(nèi)容計算平臺

中國標準出版社以自身數(shù)據(jù)的權(quán)威性為基礎，為增強知識生產(chǎn)和服務能力，推動傳統(tǒng)出版與數(shù)字出版融合發(fā)展，通過TRS海聚對標準、法規(guī)數(shù)據(jù)的分類、標簽、關(guān)聯(lián)、指標、屬性等數(shù)據(jù)加工、知識抽取和知識融合，實現(xiàn)了數(shù)據(jù)加工到知識生產(chǎn)的轉(zhuǎn)變，為社會公眾和國內(nèi)外企業(yè)提供標準查詢和知識服務。通過TRS海聚對非結(jié)構(gòu)化數(shù)據(jù)的加工處理、建立相關(guān)標準、法規(guī)知識庫，實現(xiàn)了基于知識圖譜的關(guān)聯(lián)檢索和圖譜檢索。