隨著對不同類型、不同體量數(shù)據(jù)的結構化存儲、批量處理以及價值挖掘需求的增多，2016年注定是大數(shù)據(jù)里程碑式的一年。

數(shù)據(jù)應用日益廣泛 2017大數(shù)據(jù)十大趨勢預測

　　2017年，支持大量結構化和非結構化數(shù)據(jù)的系統(tǒng)將繼續(xù)增長。市場需要數(shù)據(jù)平臺來幫助數(shù)據(jù)管理人員管理和保護大數(shù)據(jù)，同時允許最終用戶進行數(shù)據(jù)分析。這些系統(tǒng)將逐步成熟，在企業(yè)內(nèi)部的IT系統(tǒng)中更好地運行。

　　1、數(shù)據(jù)處理變得更加快速，數(shù)據(jù)也變得更加易于使用

　　選項擴展將加速Hadoop

　　當然，你可以在Hadoop上執(zhí)行機器學習和情緒分析，但人們常常會問的第一個問題是：交互式SQL(結構化查詢語言，一種數(shù)據(jù)庫查詢和程序設計語言，用于存取數(shù)據(jù)以及查詢、更新和管理關系數(shù)據(jù)庫系統(tǒng))究竟有多快?畢竟，SQL相當于企業(yè)用戶的“導管”——他們希望使用Hadoop數(shù)據(jù)來更快的獲得可復用的BI儀表盤(一種向企業(yè)展示度量信息和關鍵業(yè)務指標即KPI現(xiàn)狀的數(shù)據(jù)虛擬化工具)，或者是進行一些探索性分析。

　　這種對速度的需求促使用戶采用訪問速度更快和執(zhí)行效率更高的數(shù)據(jù)庫，如Exasol、MemSQL，或者是類似于Kudu這種基于Hadoop的商店，當然還需要能夠更快查詢數(shù)據(jù)的技術。諸如SQL-on-Hadoop引擎(Apache Impala，Hive LLAP，Presto，Phoenix和Drill)和OLAP-on-Hadoop技術(AtScale，Jethro Data和Kyvos Insights)這樣的數(shù)據(jù)查詢加速器將進一步模糊傳統(tǒng)數(shù)據(jù)庫與大數(shù)據(jù)世界的邊界。

　　2、大數(shù)據(jù)不再只是Hadoop

　　專門基于Hadoop開發(fā)的工具已過時

　　在過去的幾年中，隨著大數(shù)據(jù)浪潮來襲，數(shù)種為了滿足Hadoop分析需求的技術興起。但是，身處復雜，異構環(huán)境中的企業(yè)不再希望僅為一個數(shù)據(jù)源(Hadoop)采用孤立的BI訪問點。他們需要的答案被埋沒在一大堆數(shù)據(jù)源中，從記錄系統(tǒng)到云端，再到來自Hadoop和非Hadoop源的結構化和非結構化數(shù)據(jù)。(順便說一句，甚至連關系型數(shù)據(jù)庫也正在為大數(shù)據(jù)趨勢做準備。例如，SQL Server2016于近日添加了JSON支持)。

　　在2017年，客戶將會需要對所有數(shù)據(jù)都進行分析。不依賴于數(shù)據(jù)源的平臺將會茁壯成長，而專為Hadoop而設計的平臺和未能跨應用部署的平臺將被棄用。Platfora的退出便是這一趨勢的預示。

　　3、相關組織將利用數(shù)據(jù)湖(DataLake)來實現(xiàn)價值

　　數(shù)據(jù)湖就像一個人造水庫

　　數(shù)據(jù)湖就像一個人造水庫。首先你要建造一個水壩(構建一個集群)，然后填滿水(數(shù)據(jù))。一旦建立了湖泊，你將開始因為各種目的而使用這些水資源(數(shù)據(jù))，如發(fā)電，飲用以及各種消遣(預測分析，機器學習，網(wǎng)絡安全等)。

　　而今，保有數(shù)據(jù)湖里的數(shù)據(jù)已經(jīng)變成了一種為了保留而保留的行為。在2017年，這將隨著Hadoop業(yè)務的收緊而改變。各個組織要求可重復的并且敏捷地使用數(shù)據(jù)湖，以便更快地獲得響應。在確定對人事、數(shù)據(jù)和基礎設施的相應投資之前，企業(yè)會更加慎重的考慮業(yè)務成果。這將促進業(yè)務和IT之間的強力耦合。而自助服務平臺作為分析大數(shù)據(jù)資產(chǎn)的工具將獲得更深入的認可。

　　另外，公司還將關注業(yè)務驅(qū)動型應用，避免數(shù)據(jù)湖陷入困境。在2017年，企業(yè)機構將從“構建未來”的數(shù)據(jù)湖應用轉(zhuǎn)向業(yè)務驅(qū)動型數(shù)據(jù)應用。當今世界需要分析和操作能力去觸及客戶、處理索賠并且連接到個體的不同設備。

　　舉例而言，任何商業(yè)網(wǎng)站需要提供實時的個性化推薦和價格查詢。醫(yī)療健康型企業(yè)必須處理有效的索賠并且運用分析運營系統(tǒng)來防止索賠欺詐。媒體公司需要通過機頂盒提供個性化的內(nèi)容。汽車制造商和汽車共享公司則要交互運營其車輛和司機。這些案例的實施交付均需要由一個敏捷平臺來實現(xiàn)，同時提供分析和運營的處理，跨越后臺分析和前臺運營進行整合，提升了商業(yè)價值。

　　4、成熟的架構拒絕通用型框架

　　Hadoop不再只是一個用于數(shù)據(jù)科學用例的批處理平臺

　　Hadoop不再只是一個用于數(shù)據(jù)科學用例的批處理平臺。它已經(jīng)成為一種專為特殊分析而架設的多用途分析引擎，甚至被用于日常工作負載的操作報告——傳統(tǒng)上這項任務是由數(shù)據(jù)倉庫(大量數(shù)據(jù)提取和分析的工具)來處理的。

　　在2017年，各個組織將通過特定的用例的架構設計來滿足現(xiàn)存的混合需求。他們將研究一系列的因素，包括用戶角色模型、訪問頻率、數(shù)據(jù)速度和聚合級別等，然后才能提交合適的數(shù)據(jù)策略。這些現(xiàn)代化的參考架構由需求驅(qū)動，他們將以某種方式將最好的自助服務數(shù)據(jù)準備工具Hadoop核心和最終用戶分析平臺結合起來，以便可以根據(jù)這些需求進行重新配置。這些架構的靈活性將最終推動技術選擇。

　　5、推動大數(shù)據(jù)投資的是數(shù)據(jù)的多樣性，而不是體量和速

　　Gartner將大數(shù)據(jù)定義為“三高”

　　Gartner將大數(shù)據(jù)定義為“三高”：高容量，高速率，高品類的信息資產(chǎn)。正如New Vantage Partners最近的一項調(diào)查結果所示：雖然三個特性都在凸顯，但其中，多元化無疑正成為大數(shù)據(jù)投資的主導推動力。

　　隨著企業(yè)尋求整合更多來源并關注大數(shù)據(jù)的“長尾”，這一趨勢將更加明顯。從自由模式的JSON到嵌入式的數(shù)據(jù)庫(如關系數(shù)據(jù)庫和非關系數(shù)據(jù)庫)，到非平面數(shù)據(jù)(如Avro，Parquet，XML)，數(shù)據(jù)格式正在成倍增長，連接器變得至關重要，它將不同格式的數(shù)據(jù)變成統(tǒng)一的表達/它讓不同格式的數(shù)據(jù)之間實現(xiàn)互通。在2017年，為零散的、不同的資源提供即時連接的能力，將成為評估一個平臺能力的重要方面。