㈠ 保險公司要和醫療機構進行數據對接,搭建大數據平台,有好的方法嗎
討論幾種針對各種軟體系統的數據採集的方式方法。重點關注它們的實現過程、各自的優缺點。
軟體介面對接方式
開放資料庫方式
基於底層數據交換的數據直接採集方式
1、軟體介面對接方式
各個軟體廠商提供數據介面,實現數據匯集,為客戶構建出自己的業務大數據平台;
介面對接方式的數據可靠性較高,一般不存在數據重復的情況,且都是客戶業務大數據平台需要的有價值的數據;同時數據是通過介面實時傳遞過來,完全滿足了大數據平台對於實時性的要求。
但是介面對接方式需花費大量人力和時間協調各個軟體廠商做數據介面對接;同時其擴展性不高,比如:由於業務需要各軟體系統開發出新的業務模塊,其和大數據平台之間的數據介面也需要做相應的修改和變動,甚至要推翻以前的所有數據介面編碼,工作量很大且耗時長。
2、開放資料庫方式
一般情況,來自不同公司的系統,不太會開放自己的資料庫給對方連接,因為這樣會有安全性的問題。為實現數據的採集和匯聚,開放資料庫是最直接的一種方式。
不同類型的資料庫之間的連接就比較麻煩,需要做很多設置才能生效,這里不做詳細說明。
開放資料庫方式可以直接從目標資料庫中獲取需要的數據,准確性很高,是最直接、便捷的一種方式;同時實時性也有保證;
開放資料庫方式需要協調各個軟體廠商開放資料庫,其難度很大;一個平台如果要同時連接很多個軟體廠商的資料庫,並且實時都在獲取數據,這對平台本身的性能也是個巨大的挑戰。
3、基於底層數據交換的數據直接採集方式
101異構數據採集的原理是通過獲取軟體系統的底層數據交換、軟體客戶端和資料庫之間的網路流量包,進行包流量分析採集到應用數據,同時還可以利用模擬技術模擬客戶端請求,實現數據的自動寫入。
實現過程如下:使用數據採集引擎對目標軟體的內部數據交換(網路流量、內存)進行偵聽,再把其中所需的數據分析出來,經過一系列處理和封裝,保證數據的唯一性和准確性,並且輸出結構化數據。經過相應配置,實現數據採集的自動化。
基於底層數據交換的數據直接採集方式的技術特點如下:
1)獨立抓取,不需要軟體廠家配合;
2)實時數據採集;
數據端到端的延遲在數秒之內;
3)兼容Windows平台的幾乎所有軟體(C/S,B/S);
作為數據挖掘,大數據分析的基礎;
4)自動建立數據間關聯;
5)配置簡單、實施周期短;
6)支持自動導入歷史數據。
目前,由於數據採集融合技術的缺失,往往依靠各軟體原廠商研發數據介面才能實現數據互通,不僅需要投入大量的時間、精力與資金,還可能因為系統開發團隊解體、源代碼丟失等原因出現的死局,導致了數據採集融合實現難度極大。在如此急迫的需求環境下基於底層數據交換的數據直接採集方式應運而生,從各式各樣的軟體系統中開采數據,源源不斷獲取所需的精準、實時的數據,自動建立數據關聯,輸出利用率極高的結構化數據,讓數據有序、安全、可控的流動到所需要的企業和用戶當中,讓不同系統的數據源實現聯動流通,為客戶提供決策支持、提高運營效率、產生經濟價值。
擴展閱讀:【保險】怎麼買,哪個好,手把手教你避開保險的這些"坑"