最近幾年，新技術在快速普及，而很多概念在專家還沒有形成統一定義的時候，就快速被大眾關注；大數據概念就是這樣的概念，雖然非常普及，但不同人有不同的理解，這樣在交流中反倒容易引起誤解。今天想闡述一下大數據的概念。

大數據與傳統的數據技術的差別：

1、數據規模大：傳統數據技術主要是利用現有存在關系性數據庫中的數據，對這些數據進行分析、處理，找到一些關聯，并利用數據關聯性創造價值。這些數據的規模相對較小，可以利用數據庫的分析工具處理。而大數據的數據量非常大，不可能利用數據庫分析工具分析。

2、非結構化數據：傳統數據主要在關系性數據庫中分析，而大數據可以處理圖像、聲音、文件等非結構化數據。

3、處理方式不同：因為數據規模大、非結構化數據這兩方面因素，導致大數據在分析時不能取全部數據做分析。大數據分析時如何選取數據？這就需要根據一些標簽來抽取數據。所以大數據處理過程中，比傳統數據增加了一個過程Stream。就是在寫入數據的時候，在數據上打一個標簽，之后在利用大數據的時候，根據標簽抽取數據。這個過程就類似于尋找圖書：如果你在你個人書柜里，尋找一本書是很容易的，所以你買了書，可以直接放到書柜上，不用做任何處理；而如果圖書館買了書，如果不做任何處理的話，你是很難找到一本書的，所以圖書館在新書入庫的時候，首先會對每本書打上標簽，而這個打標簽的過程，就是類似于Stream的工作。

XML技術是大數據Stream的基礎

在探索大數據的技術基礎的時候，很多人都容易忽視XML技術。

XML是eXtensible Markup Language的英文縮寫，將文件加上可以擴展（可以自定義）的標簽的語言。

XML是在2000年左右非常熱門的技術，其快速發展促進了很多技術的進步：html5技術發展，通過SOA技術實現跨平臺功能調用，文檔格式的統一等等。

使用XML標記的XSLT語言，是擴展樣式表轉換語言，可以將XML文件轉化成任何樣式的文本。

隨著XML技術的發展，很多文件都是用XML格式存儲，比如Word文檔等。打上XML標簽的數據可以非常容易的通過XSLT抽取出來。

XML技術可以方便的為數據打上標簽，并能快速通過標簽抽取數據，一方面可以在超越關系數據庫范圍之外的更大范圍處理數據；另外可以支持非結構化數據的處理。所以XML技術是大數據發展的最基礎的技術。                                                                                                       

云計算技術為大數據提供高性價比的計算和存儲能力

數據可以創造價值，但大數據處理需要強大的計算和存儲能力。而在早期，這么強大的計算和存儲能力需要在大型機上實現。大型機價格昂貴，早期可以使用數據創造價值的企業都是非常富有的企業，比如電信運營商、銀行類的企業。

早期國內數據處理能力強的企業都是銀行、電信運營商的供應商。

而云計算技術的發展，可以讓大量的價格便宜的PC機匯聚起來，形成類似于大型機的計算和存儲能力，而成本又非常低。這個時候數據分析的成本就可以被更多的企業所承擔，從而形成對數據分析需求的一個爆發。

云計算對計算和存儲能力的可擴展性，對數據的分布式處理方式，促發了大數據概念的誕生。

物聯網為大數據提供豐富的數據來源

早期的數據處理，其數據來源主要是通過手工輸入、在手工輸入數據通過計算機處理之后形成的數據；這樣的數據還是有限的。

而物聯網技術的發展，更多的傳感設備可以自動采集數據，并能夠通過通訊技術、云計算技術匯聚到一個平臺上，從而極大的豐富了數據來源。

物聯網技術讓數據可以成幾何級數的增長，為大數據提供了豐富的數據來源，從而促發了對數據分析技術的需求，豐富了大數據應用。

而物聯網最終獲得價值，也是通過大數據積累到一定量之后，形成智慧，創造價值的。

未來人工智能、物聯網、智能制造創造價值，都離不開大數據的價值。