近幾十年來，科學技術的迅猛發(fā)展和信息化的推進，使得人類社會所積累的數(shù)據(jù)量已經(jīng)超過了以往過去幾千年的所有總和，數(shù)據(jù)采集、存儲、處理和傳播的數(shù)量也與日俱增。如何對數(shù)據(jù)進行有效的集成管理已成為行業(yè)關注的焦點。

數(shù)據(jù)集成2.0的現(xiàn)在時

隨著大數(shù)據(jù)、云計算、人工智能的快速落地，未來信息技術變化風云莫測，大數(shù)據(jù)、云計算、人工智能、區(qū)塊鏈等技術的快速落地，也在加速數(shù)據(jù)集成形態(tài)發(fā)生改變。首先我們來舉一個例子：某客戶擁有上萬個數(shù)據(jù)源，主要類型分為業(yè)務系統(tǒng)和物聯(lián)網(wǎng)監(jiān)控數(shù)據(jù)，根據(jù)發(fā)展需要把這些基礎設施的數(shù)據(jù)和業(yè)務系統(tǒng)數(shù)據(jù)匯集到數(shù)據(jù)中心，數(shù)據(jù)中心的目標源主要有Mpp、Hive、HDFS、HBase等分布式存儲源；如果每天需要把這些數(shù)據(jù)完成采集，需要每小時具備1TB數(shù)據(jù)處理能力；基于此客戶拋出幾個需求：

需求一

需要針對數(shù)據(jù)量進行實時增量同步，每小時需要具備處理增量數(shù)據(jù)5TB能力。

需求二

針對每類數(shù)據(jù)同步流量可實現(xiàn)流控，在必要時可犧牲一些無關緊要數(shù)據(jù)來保證整個數(shù)據(jù)集成平臺的穩(wěn)定運行。

需求三

客戶希望面對復雜數(shù)據(jù)處理工作能夠提供面向業(yè)務人員可操作的界面；減少實施人員環(huán)節(jié)，加快數(shù)據(jù)處理工作效率。

需求四

客戶希望在使用過程中由于網(wǎng)絡、斷電、服務器崩潰等因素導致數(shù)據(jù)同步中斷的時候，實現(xiàn)數(shù)據(jù)斷點續(xù)傳能力。

這幾個需求是典型大數(shù)據(jù)時代數(shù)據(jù)集成面臨的挑戰(zhàn)，客戶就是希望統(tǒng)通過技術手段實現(xiàn)數(shù)據(jù)實時治理，提升決策效率和數(shù)據(jù)價值。目前我們也正在處于這個時代，這個時期的數(shù)據(jù)集成產(chǎn)品如果要有競爭力，應該為數(shù)據(jù)集成賦予人工智能、分布式計算技術等能力；基于上述需求進行提煉，歸結為以下幾個特點：

基于人工智能技術實現(xiàn)數(shù)據(jù)開發(fā)設計，基于大數(shù)據(jù)技術實現(xiàn)海量數(shù)據(jù)實時采集、實時計算、實時同步；目前市面上有些廠商也逐步推出了新一代的數(shù)據(jù)集成平臺產(chǎn)品，基本設計思路都是基于Kafka+分布式計算引擎（SparkStreaming+Storm+Filnk）+調(diào)度平臺，實現(xiàn)新一代的數(shù)據(jù)集成平臺全新技術架構，從目前這些廠商推出的產(chǎn)品，筆者也進行相關試用，無論是國外的還是國內(nèi)的，平臺還需要待完善；主要存在以下幾個方面：

問題：目前數(shù)據(jù)接入都是標準接入能力，基于物聯(lián)網(wǎng)的協(xié)議和數(shù)據(jù)庫的實時增量，新一代的設備廠商大部分都解析成了文本數(shù)據(jù)，但是基于數(shù)據(jù)庫的實時數(shù)據(jù)還是得需要平臺自身提供能力，否則站在整個業(yè)務閉環(huán)的角度，實時集成的第一公里，這個平臺是沒有解決的。

解決方法：逐步增強輸入源組件的能力，解決第一公里。

問題：新一代的數(shù)據(jù)集成平臺大部分的組件使用較為復雜，大部分組件需要具備大數(shù)據(jù)技術能力和開發(fā)經(jīng)驗的人上手會比較快，其他運維和實施工程師學習成本較大。

解決方法：引入人工智能技術，傻瓜式的組件使用。

問題：數(shù)據(jù)集成平臺采集大部分是未遵循相關標準，采集過程沒有遵循相關配置規(guī)范，導致后續(xù)運維困難。

解決方法：引入數(shù)據(jù)標準體系，針對數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)同步定義相關標準和規(guī)范，給數(shù)據(jù)開發(fā)定義軟件工程設計思路，實現(xiàn)數(shù)據(jù)開發(fā)工程管理。

問題：針對數(shù)據(jù)采集過程中，數(shù)據(jù)時代，數(shù)據(jù)的價值和安全越發(fā)重要，數(shù)據(jù)集成平臺依據(jù)互聯(lián)網(wǎng)思維延伸過來，安全體系缺失，會出現(xiàn)嚴重泄露情況。

解決方法：做到“三權分立”的原則，即數(shù)據(jù)操作權、數(shù)據(jù)使用權、資源管理權；數(shù)據(jù)操作員依據(jù)資源管理員分配相關數(shù)據(jù)操作權限，數(shù)據(jù)使用員依據(jù)資源管理員的權限使用和查看相關數(shù)據(jù)，資源管理員只能知道平臺具備什么資源，具體數(shù)據(jù)無法查看。

綜上所述，新一代的數(shù)據(jù)集成平臺用“海量、實時、智能、標準、安全”這五個關鍵詞針對數(shù)據(jù)集成平臺進行立體化的評估。

通過圖中可以得出，在發(fā)展初期平臺廠商目前更多主要基于海量數(shù)據(jù)處理和實時計算兩部分進行了重點打造，另外三個板塊還處于研究和探索階段，預估在未來兩年左右會趨向成熟。

數(shù)據(jù)集成3.0的未來史

全球智能手機的快速發(fā)展，推動了移動終端和“邊緣計算”的發(fā)展。而萬物互聯(lián)、萬物感知的智能社會，則是跟物聯(lián)網(wǎng)發(fā)展相伴而生，邊緣計算系統(tǒng)也因此應聲而出。事實上，物聯(lián)網(wǎng)的概念已經(jīng)提出有超過15年的歷史，然而，物聯(lián)網(wǎng)卻并未成為一個火熱的應用。一個概念到真正的應用有一個較長的過程，與之匹配的技術、產(chǎn)品設備的成本、接受程度、試錯過程都是漫長的，因此往往不能很快形成大量使用的市場。5G時代已經(jīng)吹響號角，多家廠商密集發(fā)布5G手機 ，外加折疊屏等新技術帶來潛在換機需求，出貨持續(xù)下滑的智能機市場能否迎來一線生機，這個還需要市場檢驗。

前面加了一些偏離主題的內(nèi)容，看似偏離，其實也是在引入一個問題，未來的數(shù)據(jù)集成平臺還存在嗎？如果存在，他將會是什么形態(tài)呢？我們可以結合行業(yè)發(fā)展趨勢和信息技術發(fā)展情況進行大膽猜想。

根據(jù)Gartner的技術成熟曲線理論來說，在2015年IoT從概念上而言，已經(jīng)到達頂峰位置。因此，物聯(lián)網(wǎng)的大規(guī)模應用也開始加速。因此未來5-10年內(nèi)IoT會進入一個應用爆發(fā)期，邊緣計算也隨之被預期將得到更多的應用。估計還是有人對這個詞語比較陌生，按照百度百科的解釋：“邊緣計算是指在靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡、計算、存儲、應用核心能力為一體的開放平臺，就近提供最近端服務”。

隨著5G+邊緣計算+區(qū)塊鏈+云計算+人工智能等新技術快速商用，我們針對這個世界更加感知為一個由數(shù)據(jù)產(chǎn)生的信息時代；邊緣計算解決就近應用問題，提升用戶感知，區(qū)塊鏈解決邊緣計算與云計算中心的信息安全問題，5G解決雙方之間的傳輸效率問題，人工智能技術應用到每一個邊緣計算應用中，提升智能化商業(yè)應用落地。

數(shù)據(jù)集成平臺主要解決異構數(shù)據(jù)源數(shù)據(jù)整合的問題，假如我們未來的相關應用基本按照標準的思路進行建設，還會存在異構源數(shù)據(jù)整合問題嗎？答案是肯定存在的，我們大膽猜想，所有的應用已經(jīng)完全標準化，所有行業(yè)的標準也規(guī)范化了，但是每個行業(yè)的標準必然是不一致的，未來可能存在某些行業(yè)的顛覆和消失，但一個國家的綱領必然存在，一個國家各個機構需要獨立運轉(zhuǎn)，那么運轉(zhuǎn)的數(shù)據(jù)規(guī)范必然存在差異，有差異就需要數(shù)據(jù)治理，那么就需要針對數(shù)據(jù)進行融合。故未來數(shù)據(jù)集成平臺必然還會存在，那么它將是以什么形態(tài)存在呢？

未來數(shù)據(jù)集成能力主要還是解決異構數(shù)據(jù)標準的整合問題，平臺部分能力需要前移，交由前端應用完成，數(shù)據(jù)集成平臺會考慮把維護的相關標準下發(fā)到各個應用中，而它盡可能的去實現(xiàn)標準管控的能力，盡量減少邊緣計算應用與云計算之間的交互響應時間。