紫光恒越技術有限公司
產品定位
UNISData機器數據分析決策系統(IT大數據)聚焦于機器數據的價值挖掘,是企業級的機器大數據解決方案提供者。
機器生成的數據即機器數據,不僅包含日志、流量,還包括配置信息、交易數據、傳感器數據、應用系統運行記錄、工業系統數據等。一般的數據分析產品,通常關注商業應用程序生成的數據和人為生成的數據,機器數據則往往被忽略。機器數據一直處于混沌狀態,不同種類的機器數據相互孤立,很難發揮其價值。UNISData機器數據分析決策系統,對機器數據進行收集、存儲、分析、挖掘和展現,其結果在業務分析、流量分析、安全審計、運維分析等多個方面,都有廣泛的應用價值。
產品構成
產品由ITOA大數據分析平臺、網絡流量大數據 分析和管控系統和日志數據分析系統三大部分構成。
ITOA,即“IT運營分析”(IT Operations Analytics),其核心目標是“運營”而非“維 持”,即通過數據分析手段指導和促進業務發展,幫助提升運維人員話語權。ITOA平臺的核心能力包括:全網機器數據采集、全文檢索、可視化分析智能告警和關聯查詢。ITOA平臺是機器數據的分析利器,可幫助IT專家實現快速排障、故障預判、關聯分析和決策支持。
網絡流量大數據分析和管控系統聚焦于網絡流量數據,采用大數據技術和豐富的數據模型進行深度分析,可以發現其中的規律和趨勢,挖掘數據內在的價值,將網絡運維工作帶入一個新的領域。一方面在運維思路上,將從關注“網絡通斷”的傳統運維管理提升到關注“網絡流量內容”的智能化、精細化的網絡管理;另一方面將從原有的故障事后處理的被動響應轉化為故障事前預測,通過趨勢分析結合智能管控手段,有效地避免異常的出現,實現網絡運維的主動性預防。
日志數據分析系統為用戶提供一個海量日志數據處理分析平臺,對常見的操作系統日志、網絡設備日志、設備日志、中間件日志等原始數據提供深度事件分析工具,將各種日志進行關聯分析,發現更深層次的問題并進行自動化的預警,具備強大的知識庫,針對出現的問題提供智能化的解決方案。
主要特性及優勢
海量存儲計算
平臺采用分布式架構,可線性擴展到上千節點來存儲和處理PB級的數據。
高效全文檢索
基于分布式企業級實時搜索引擎,具備優秀的檢索性能,支持全文檢索功能,億條數據查詢秒級返回。
全數據源采集
支持采集服務器、安全設備、網絡設備、操作系統、數據庫、應用系統等數據源的日志文件。無需修改代碼即可適配新設備的日志格式。
數據類型 | 位置 | 它可以告訴您什么 |
應用日志 | 本地日志文件、log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP | 用戶活動、欺詐檢測、應用性能 |
業務流程日志 | 業務流程管理日志 | 跨渠道客戶活動、購買、帳戶變更以及問題報表 |
呼叫詳細信息記錄 | 呼叫詳細信息記錄(CDR)、計費數據記錄、事件數據記錄均由電信和網絡交換機所記錄。 | 計費、收入保證、客戶保證、合作伙伴結算,營銷智能 |
點擊流數據消息隊列 | Web服務器、路由器、代理服務器和廣告服務器 | 可用性分析、數字市場營銷和一般調查 |
消息隊列 | JMS、RabbitMQ和AquaLogic | 調試復雜應用中的問題,并作為記錄應用架構基礎 |
數據庫審計日志 | 數據庫日志文件、審計表 | 如何根據時間修改數據庫數據以及如何確定修改人 |
文件系統審計日志 | 敏感數據存儲在共享文件系統中 | 監測并審計敏感數據讀取權限 |
管理并記錄API | 通過OPSEC Log Export API(OPSEC LEA)和其他VMware和Citrix供應商特定API的Checkpoint防火墻 | 管理數據和日志事件 |
消息隊列 | JMS、RabbitMQ和AquaLogic | 調試復雜應用中的問題,并作為記錄應用架構基礎 |
操作系統度量、狀態和診斷命令 | 通過命令行實用程序(例如Unix和Linux上的ps與iostat以及Windows上的性能監視器)顯示的CPU、內存利用率和狀態信息 | 故障排除、分析趨勢以發現潛在問題并調查安全事件 |
數據包/流量數據 | tcpdump和tcpflow可生成pcap或流量數據以及其他有用的數據包級和會話級信息 | 性能降級、超時、瓶頸或可疑活動可表明網絡被入侵或者受到遠程攻擊 |
SCADA數據 | 監視控制與數據采集(SCADA) | 識別SCADA基礎結構中的趨勢、模式和異常情況,并用于實現客戶價值 |
傳感器數據 | 傳感器設備可以根據監測環境條件生成數據,例如氣溫、聲音、壓力、功率以及水位 | 水位監測、機器健康狀態監測和智能家居監測 |
Syslog | 路由器、交換機和網絡設備上的Syslog | 故障排除、分析、安全審計 |
Web訪問日志 | Web訪問日志會報告Web服務器處理的每個請求 | Web市場營銷分析報表 |
Web代理日志 | Web代理記錄用戶通過代理發出的每個Web請求 | 監測并調查服務條款以及數據泄露事件 |
Windows事件 | Windows應用、安全和系統事件日志 | 使用業務關鍵應用、安全信息和使用模式檢測問題 |
線上數據 | DNS查找和記錄,協議級信息,包括標頭、內容以及流記錄 | 主動監測應用性能和可用性、最終客戶體驗、事件調查、網絡、威脅檢測、監控和合規性 |
數據分析挖掘
支持豐富的機器學習算法,支持基于Spark、Storm等分布式計算框架,支持離線數據挖掘,實時數據分析,支持基于大數據的用戶行為分析、多數據源關聯分析。
智能關聯引擎
全文檢索結合關聯引擎,實時展示關聯多個復雜事件的結果,快速匯總和關聯各種分散來源的日志,從而做到相關日志的智能關聯。實時監控、收集各種設備產生的日志信息,并對這些日志標準化、過濾、 歸并、實時關聯分析,從而實現關鍵問題的實時告警、智能預警。
可視化分析
提供豐富的圖表類型以及酷炫的前端界面,支持可視化儀表盤自由組合。
網絡應用分析
網絡應用分析從應用的角度,查看整網應用的具體信息,如TOP應用流量趨勢、TOP延遲等信息。可以基于具體的應用實現應用的智能應用流量識別、整體概況預覽、應用的基因分析等內容。同時可以從流量大小、流量變化趨勢、訪問用戶數、訪問量大小、訪問量變化趨勢、用戶體驗、工作日繁忙、流量突發分析等維度刻畫應用特征,發現應用異常并告警。
流量預測
流量預測基于歷史流量數據建立分析模型,對鏈路上未來一段時間的流量進行預測。一方面可以幫助用戶分析和了解鏈路使用情況,對鏈路帶寬做出合理的規劃;另一方面結合流量預警機制,可以對偏離較大的流量行為自動告警,快速發現網絡中不合理的流量,并能發現異常流量來源。
服務保障
幫助大型企業、政府部門等對跨廣域網的應用進行服務質量上的保障。越來越多的應用業務通過廣域網分布在不同的地區和部門,而廣域網的帶寬有限,網絡流量分析系統可以根據大量的歷史數據計算出細粒度的應用流量基線以及相應的預測,結合應用驅動的廣域網方案(ADWAN),能夠實現應用服務質量的精確化保障。另外網絡流量分析系統還可以通過機器學習等手段,識別出異常流量或者關鍵應用,能更方便地幫助ADWAN實現應用保障、流量調度等功能。
流量合規分析
幫助運營商實現對出租的IDC帶寬的白盒化監控。即對于下屬二級運營商或互聯網公司租用的IDC帶寬做業務流量模型分析及合法性判斷,做到三防:防私接、防、防盜用。同時針對不同的IDC業務應用數據進行收集和分析,分析IDC服務質量和流量變化趨勢,從而為IDC業務精準營銷提供決策支持。
日志數據分析
對來自于網絡、安全、操作系統、數據庫、存儲等設施的運行信息與事件進行分析。不區分廠商、設備、系統類型,實現全網日志綜合分析與實時監控,動態展示發生的運行事件。采用數據挖掘技術,發現隱藏的風險,優化系統運行。根據分析出來的風險和問題,自動給出故障解決建議。
集群組網
運行環境
ITOA節點所需硬件配置
屬性 | 配置 | 推薦配置 |
CPU | 2路×6核,2.0 GHz | 2路×8核,2.0 GHz及以上 |
內存 | 64 GB | 128 GB及以上 |
系統盤 | 10krpm 300G 磁盤,2塊做RAID1 | 10krpm 600G 磁盤及以上,2塊RAID1 |
數據盤 | 500G 磁盤,不做RAID或單個盤做RAID0 | 2T 磁盤及以上,不做RAID或單個盤做RAID0 |
網卡 | 千兆網卡 | 萬兆網卡 |
操作系統 | CentOS 7.3(64位) | CentOS 7.3(64位) |
DataEngine集群節點所需硬件配置
屬性 | 配置 | 推薦配置 |
CPU | 2路×6核,2.0 GHz | 2路×8核,2.0 GHz及以上 |
內存 | 128 GB | 256 GB及以上 |
系統盤 | 10krpm 300G 磁盤,2塊做RAID1 | 10krpm 600G 磁盤及以上,2塊RAID1 |
數據盤 | 2T 磁盤,不做RAID或單個盤做RAID0 | 24T 磁盤及以上,不做RAID或單個盤做RAID0 |
網卡 | 千兆網卡 | 萬兆網卡 |
操作系統 | CentOS 7.3(64位) | CentOS 7.3(64位) |