大數據挖掘系統 (Hifar-BDM)
適用部門:面向裝備制造業的企業和技術管理層
客戶問題:針對裝備制造業的海量數據,后續如何挖掘應用已經成為炙手可熱的話題了,主要表現為海量格式未知且不統一的半結構化、非結構化數據的存儲;海量未知結構數據的快速搜索、比對分析、類比推送;海量未知結構數據相關性提取很困難以及未來測試數據量持續快速增長帶來的存儲、管理壓力巨大等。.
解決方案:
Hifar-BDM主要從以下幾方面解決:
具體來講:系統需要接入各種測試系統生成的數據,這些數據的數據格式不統一且新型型號測試數據的類型、參數不可預知,這些問題決定了不能利用傳統的關系型數據庫等嚴格依賴于數據結構化的數據管理工具來存儲;海量未知格式和參數類型的測試數據之間很難建立起簡單的依賴關系,給數據的快速查詢及經驗比對帶來巨大的困難;當試驗數據量累積到海量時,靠人力和傳統的分析方法已經無法總結出各個數據之間的聯動變化關系,也就意味著這些數據不能用于指導后期型號的研發工作,成為了死數據。
1)各種試驗儀器產生出各種格式不統一的試驗數據,難以用人工的方式梳理。給系統存儲層的設計帶來很大的困難。
2)未來產品研制過程中可能產生各種未知格式、參數和數量的試驗數據,對系統在存儲和計算方面的可擴展性提出了很高的要求。
3)目前海量測試試驗數據的分別管理使這些數據稱為信息孤島,只能作為事故溯源的基礎。如果能將這些“孤島”數據進行整合,快速有效地挖掘出各試驗環節中獲取數據的規律性和相關性,成功預測型號運行、研制參數的后期走勢,對我們今后的工作具有重大的指導意義。
4)試驗報告的傳統生成方法耗時耗力,無法適應新的工作要求。因此,我們需要能夠在海量數據中快速、準確提取相關數據,形成標準化報告的技術來解放我們的人力。