UNIS DataEngine DI數據集成引擎內嵌多種可視化數據處理引擎，運用分布式流數據處理技術，為用戶提供高效便捷的數據抽取、清洗、轉換、加載等功能。完成數據庫數據、文本數據、日志數據、設備數據和互聯網數據從數據源向目標數據倉庫無縫集成和轉化的任務，讓用戶不再花費大量時間精力在底層數據傳輸、處理的技術細節上。

UNIS DataEngine DI數據集成引擎

簡單、易用

• 提供簡潔友好的Web操作界面，摒棄傳統工具的笨重操作模式。
• 基于JAVA開發，實現跨平臺操作，對上層提供封裝完善的ETL工具集，大大降低數據集成工作量。
• 統一的Web操作平臺，可實現數據集成的任務管理、發布、調度、監控等功能。
• 對于常用配置資源做到一次配置，任意使用，提高數據集成效率。

高性價比

• 低成本:無需部署專用的ETL服務器，充分利用現有硬件資源。
• 高性能:分布式ETL引擎，大幅提高ETL效率，尤其適用于大數據量的并行處理，且性能隨著數據集成引擎節點的擴展可以得到線性提升。

集成UNIS DataEngine大數據平臺的能力

• 無縫銜接大數據平臺，通過高效的工作流引擎，實現對大 數據平臺數據集成任務的編排和執行。
• 優化Hive、HBase、Storm、Kafka等組件的兼容性和穩定性，提升數據并行處理能力和加載速度。

數據集成引擎與UNIS DataEngine大數據平臺

云化ETL

云化ETL

• 將ETL工具Web化、任務云化，并下發到集群各個節點，分布式運行;充分發揮集群資源，實現負載均衡，大幅提高ETL速率。
• 系統內置的大量常用ETL過程模板和用戶自定義模板，可以簡化用戶數據集成操作，提升工作效率。
• 創新型的作業和作業模板管理，可創建多個ETL任務，根據不同的條件觸發多個關聯的執行任務。同時可將已創建的作業模板應用到新的ETL作業中。

作業管理

• 數據集成引擎提供多類型數據庫連接，豐富的ETL組件，支持多種數據抽取、轉換以及加載模式。
• 支持大數據平臺適配，提供Hive、HBase、HDFS、MongoDB、MPP等數據源的適配和集成工具。
• 多源數據類型適配，提供Oracle、SQLServer、MySQL、DB2、Sybase、Informix、PostgreSQL、Txt、Excel、XML、CSV、Access等數據源的適配訪問組件，并可將任務分布式運行于多個集群節點。

數據集成設計器

數據集成設計器用于描述源數據格式、目標數據格式以及數據集成流程。UNIS DataEngine DI數據集成引擎的設計器提供批量更新和直觀、易用的設計導航，簡化了數據加載和轉換等高級特性的實施步驟，縮短了實施時間，實現一站式數據處理模型設計。這樣，用戶可以集中精力描述工作的內容，而非工作方法，顯著提高數據集成的效率。

元數據管理

作為UNISDataEngineDI數據集成引擎的重要功能，元數據管理能夠為數據集成建立一套數據資料庫，存儲治理范圍內的數據定義、來源、轉換關系、目標、質量等級、依賴關系、安全權限等。進而幫助人們更好的理解數據，發現和描述數據的來龍去脈，形成清晰直觀的數據流圖，實現數據管控。

此外，通過元數據管理，實現統一數據口徑、標明數據方位、分析數據關系、管理模型變更。從而更加有效的發掘和利用信息資產的價值，實現精準高效的分析和決策，推進系統變更管理，降低項目風險。

任務調度中心

用戶可在數據集成引擎選擇已存的模板進行任務創建，也可對現有任務進行定制化修改實現任務創建，并可對正在執行的任務甚至歷史任務進行監控管理，能在任務出錯時通過預定義方式告知用戶任務失敗。從而完善任務管理與監控體系，提升數據集成的可靠性。

任務調度管理

• 提供統一、友好的管理界面，通過此管理平臺，只需通過簡單的操作，用戶即可設置環境、導出和導入數據庫、管理運行操作、監視會話、診斷錯誤以及生成報告。
• 管理平臺還提供強大的作業調度以及管控能力，使得數據處理更加業務化、可視化，使得信息化部門可以更加方便、全面地了解數據處理模型的運行情況，有助于迅速定位和排除故障，并為及時主動地采取業務優化措施提供了可能性。
• 支持用戶細粒度的權限管理，包括功能訪問權限和數據操作權限，實現精細化的數據傳輸管理，保障數據安全。
• 支持可視化多角度作業運行監控，提供統計報表展示，進而知悉數據傳輸的實時狀態，對于優化提升數據集成的質量和效率具有極大的幫助。

運行任務統計報表展示

• 數據整合:實現同、異構數據源之間的數據采集、傳輸、處理和整合，打破數據孤島。
• 新舊系統業務更替:將舊業務系統數據按照合適的規范標準傳輸至新業務系統當中。
• 跨組織數據移動:在一些大型組織中，數據需要互通共享，甚至跨地區的業務訪問，可以打通數據，降低業務訪問延遲。
• 定時數據同步:為數據倉庫業務增量數據提供多維度的定時同步功能。
• 數據分析:在不影響業務的同時，將業務數據實時同步至分析系統中，快速滿足業務決策及BI系統。
• 建設行業數據標準:在數據治理過程中，通過對數據格式的統一，實現數據標準化，保證數據質量。