工控網(wǎng)首頁(yè)
>

應(yīng)用設(shè)計(jì)

>

來(lái)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程及步驟

來(lái)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程及步驟

2017/9/28 14:33:07

  建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)解決企業(yè)問(wèn)題的過(guò)程,業(yè)務(wù)人員往往不懂如何建立和使用數(shù)據(jù)倉(cāng)庫(kù),發(fā)揮其決策支持的作用;信息部門的人員往往又不懂業(yè)務(wù),不知道應(yīng)該建立哪些決策主題,從數(shù)據(jù)源中抽取哪些數(shù)據(jù)。因此數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目小組應(yīng)該由業(yè)務(wù)人員和信息部門的人員共同組成,雙方需要相互溝通,協(xié)作開發(fā)數(shù)據(jù)倉(cāng)庫(kù)。

  開發(fā)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程包括以下幾個(gè)步驟。

1.系統(tǒng)分析,確定主題

  建立數(shù)據(jù)倉(cāng)庫(kù)的第一個(gè)步驟就是通過(guò)與業(yè)務(wù)部門的充分交流,了解建立數(shù)據(jù)倉(cāng)庫(kù)所要解決的問(wèn)題的真正含義,確定各個(gè)主題下的查詢分析要求。

  業(yè)務(wù)人員往往會(huì)羅列出很多想解決的問(wèn)題,信息部門的人員應(yīng)該對(duì)這些問(wèn)題進(jìn)行分類匯總,確定數(shù)據(jù)倉(cāng)庫(kù)所實(shí)現(xiàn)的業(yè)務(wù)功能。一旦確定問(wèn)題以后,信息部門的人員還需要確定一下幾個(gè)因素:

·操作出現(xiàn)的頻率,即業(yè)務(wù)部門每隔多長(zhǎng)時(shí)間做一次查詢分析。

·在系統(tǒng)中需要保存多久的數(shù)據(jù),是一年、兩年還是五年、十年。

·用戶查詢數(shù)據(jù)的主要方式,如在時(shí)間維度上是按照自然年,還是財(cái)政年。

·用戶所能接受的響應(yīng)時(shí)間是多長(zhǎng)、是幾秒鐘,還是幾小時(shí)。

  由于雙方在理解上的差異,確定問(wèn)題和了解問(wèn)題可能是一個(gè)需要多次往復(fù)的過(guò)程,信息部門的人員可能需要做一些原型演示給業(yè)務(wù)部門的人員看,以最終確定系統(tǒng)將要實(shí)現(xiàn)的功能確實(shí)是業(yè)務(wù)部門所需要的。

2.選擇滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái)

  在數(shù)據(jù)倉(cāng)庫(kù)所要解決的問(wèn)題確定后,第二個(gè)步驟就是選擇合適的軟件平臺(tái),包括數(shù)據(jù)庫(kù)、建模工具、分析工具等。這里有許多因素要考慮,如系統(tǒng)對(duì)數(shù)據(jù)量、響應(yīng)時(shí)間、分析功能的要求等,以下是一些公認(rèn)的選擇標(biāo)準(zhǔn):

·廠商的背景和支持能力,能否提供全方位的技術(shù)支持和咨詢服務(wù)。

·數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量(TB級(jí))的支持能力。

·數(shù)據(jù)庫(kù)是否支持并行操作。

·能否提供數(shù)據(jù)倉(cāng)庫(kù)的建模工具,是否支持對(duì)元數(shù)據(jù)的管理。

·能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具(ETT)。

·能否提供完整的決策支持工具集,滿足數(shù)據(jù)倉(cāng)庫(kù)中各類用戶的需要。

3.建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型

具體步驟如下:

(1)確定建立數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的基本方法。

(2)基于主題視圖,把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中。

(3)識(shí)別主題之間的關(guān)系。

(4)分解多對(duì)多的關(guān)系。

(5)用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型。

(6)由用戶審核邏輯數(shù)據(jù)模型。

4.邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型

具體步驟如下:

(1)刪除非戰(zhàn)略性數(shù)據(jù):數(shù)據(jù)倉(cāng)庫(kù)模型中不需要包含邏輯數(shù)據(jù)模型中的全部數(shù)據(jù)項(xiàng),某些用于操作處理的數(shù)據(jù)項(xiàng)要?jiǎng)h除。

(2)增加時(shí)間主鍵:數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一定是時(shí)間的快照,因此必須增加時(shí)間主鍵。

(3)增加派生數(shù)據(jù):對(duì)于用戶經(jīng)常需要分析的數(shù)據(jù),或者為了提高性能,可以增加派生數(shù)據(jù)。

(4)加入不同級(jí)別粒度的匯總數(shù)據(jù):數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度,粒度越大,數(shù)據(jù)的匯總程度越高。粒度是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的一個(gè)重要因素,它直接影響到駐留在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和可以執(zhí)行的查詢類型。顯然,粒度級(jí)別越低,則支持的查詢?cè)蕉?;反之,能支持的查詢就有限?/p>

  對(duì)數(shù)據(jù)操作的效率與能得到數(shù)據(jù)的詳細(xì)程度是一對(duì)矛盾,通常,人們希望建成的系統(tǒng)既有較高的效率,又能得到所需的詳細(xì)資料。實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要原則就是不要試圖包括所有詳細(xì)數(shù)據(jù),因?yàn)?0%的分析需求是在匯總數(shù)據(jù)上進(jìn)行的。試圖將粒度細(xì)化到最低層,只會(huì)增加系統(tǒng)的開銷,降低系統(tǒng)的性能。

5.數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化

  數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí),性能是一項(xiàng)主要考慮因素。在數(shù)據(jù)倉(cāng)庫(kù)建成后,也需要經(jīng)常對(duì)其性能進(jìn)行監(jiān)控,并隨著需求和數(shù)據(jù)量的變更進(jìn)行調(diào)整。

  優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的主要方法是:

·合并不同的數(shù)據(jù)表。

·通過(guò)增加匯總表避免數(shù)據(jù)的動(dòng)態(tài)匯總。

·通過(guò)冗余字段減少表連接的數(shù)量,不要超過(guò)3~5個(gè)。

·用ID代碼而不是描述信息作為鍵值。

·對(duì)數(shù)據(jù)表做分區(qū)。

6.數(shù)據(jù)清洗轉(zhuǎn)換和傳輸

  由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺(tái)不同,編碼方法不同,業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在加載到數(shù)據(jù)倉(cāng)庫(kù)之前,必須進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換,保證數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的一致性。

  在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載方案時(shí),必須考慮以下幾項(xiàng)要求:

·加載方案必須能夠支持訪問(wèn)不同的數(shù)據(jù)庫(kù)和文件系統(tǒng)。

·數(shù)據(jù)的清洗、轉(zhuǎn)換和傳輸必須滿足時(shí)間要求,能夠在規(guī)定的時(shí)間范圍內(nèi)完成。

·支持各種轉(zhuǎn)換方法,各種轉(zhuǎn)換方法可以構(gòu)成一個(gè)工作流。

·支持增量加載,只把自上一次加載以來(lái)變化的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)。

7.開發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用

  建立數(shù)據(jù)倉(cāng)庫(kù)的最終目的是為業(yè)務(wù)部門提供決策支持能力,必須為業(yè)務(wù)部門選擇合適的工具實(shí)現(xiàn)其對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行分析的要求。

  信息部門所選擇的開發(fā)工具必須能夠:

·滿足用戶的全部分析功能要求。數(shù)據(jù)倉(cāng)庫(kù)中的用戶包括了企業(yè)中各個(gè)業(yè)務(wù)部門,他們的業(yè)務(wù)不同,要求的分析功能也不同。如有的用戶只是簡(jiǎn)單的分析報(bào)表,有些用戶則要求做預(yù)測(cè)和趨勢(shì)分析。

·提供靈活的表現(xiàn)方式。分析的結(jié)果必須能夠以直觀、靈活的方式表現(xiàn),支持復(fù)雜的圖表。使用方式上,可以是客戶機(jī)/服務(wù)器方式,也可以是瀏覽器方式。

  事實(shí)上,沒有一種工具能夠滿足數(shù)據(jù)倉(cāng)庫(kù)的全部分析功能需求,一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的功能可能是由多種工具來(lái)實(shí)現(xiàn),因此必須考慮多個(gè)工具之間的接口和集成性問(wèn)題,對(duì)于用戶來(lái)說(shuō),希望看到的是一致的界面。

8.數(shù)據(jù)倉(cāng)庫(kù)的管理

  只重視數(shù)據(jù)倉(cāng)庫(kù)的建立,而忽視數(shù)據(jù)倉(cāng)庫(kù)的管理必然導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的失敗。數(shù)據(jù)倉(cāng)庫(kù)管理主要包括數(shù)據(jù)庫(kù)管理和元數(shù)據(jù)管理。

  數(shù)據(jù)庫(kù)管理需要考以下幾個(gè)方面:

·安全性管理。數(shù)據(jù)倉(cāng)庫(kù)中的用戶只能訪問(wèn)到他的授權(quán)范圍內(nèi)的數(shù)據(jù),數(shù)據(jù)在傳輸過(guò)程中的加密策略。

·數(shù)據(jù)倉(cāng)庫(kù)的備份和恢復(fù)。數(shù)據(jù)倉(cāng)庫(kù)的大小和備份的頻率直接影響到備份策略。

·如何保證數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的可用性,硬件還是軟件方法。

·數(shù)據(jù)老化。設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存放時(shí)間周期和對(duì)過(guò)期數(shù)據(jù)的老化方法,如歷史數(shù)據(jù)只保存匯總數(shù)據(jù),當(dāng)年數(shù)據(jù)保存詳細(xì)記錄。

  然而,元數(shù)據(jù)管理貫穿于整個(gè)系統(tǒng)的建設(shè)過(guò)程中,元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)采集階段,元數(shù)據(jù)主要包括下列信息:

·源數(shù)據(jù)的描述定義:類型、位置、結(jié)構(gòu)。

·數(shù)據(jù)轉(zhuǎn)換規(guī)則:編碼規(guī)則、行業(yè)標(biāo)準(zhǔn)。

·目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的模型描述:星型/雪花模型定義,維/事實(shí)結(jié)構(gòu)定義。

·源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系:函數(shù)/表達(dá)式定義。

·代碼:生成轉(zhuǎn)換程序、自動(dòng)加載程序等。

  在數(shù)據(jù)管理階段,元數(shù)據(jù)主要包括下列信息:

·匯總數(shù)據(jù)的描述:匯總/聚合層次、物化視圖結(jié)構(gòu)定義。

·歷史數(shù)據(jù)存儲(chǔ)規(guī)則:位置、存儲(chǔ)粒度。

·多維數(shù)據(jù)結(jié)構(gòu)描述:立方體定義、維結(jié)構(gòu)、度量值、鉆取層次定義等。

  在數(shù)據(jù)展現(xiàn)階段,元數(shù)據(jù)主要包括以下信息:

·報(bào)表的描述:報(bào)表結(jié)構(gòu)的定義。

·統(tǒng)計(jì)函數(shù)的描述:各類統(tǒng)計(jì)分析函數(shù)的定義。

·結(jié)果輸出的描述:圖、表輸出的定義。

  元數(shù)據(jù)不但是獨(dú)立存放,而且對(duì)用戶是透明的,標(biāo)準(zhǔn)元數(shù)據(jù)之間可以互相轉(zhuǎn)換。

審核編輯(
王靜
)
投訴建議

提交

查看更多評(píng)論
其他資訊

查看更多

2025中歐綠色建筑工業(yè)化論壇9月北京啟幕 全球智慧共推建筑產(chǎn)業(yè)“雙碳”轉(zhuǎn)型

喜訊!華強(qiáng)電子網(wǎng)榮獲“2025年中國(guó)產(chǎn)業(yè)互聯(lián)網(wǎng)創(chuàng)新企業(yè)”

深入實(shí)施“人工智能+”行動(dòng) 浪潮軟件集團(tuán)看好人工智能+工業(yè)質(zhì)檢廣闊前景,持續(xù)布局線纜行業(yè)智能質(zhì)檢

海爾新增2家卓越級(jí)智能工廠,總數(shù)品類行業(yè)雙第一

深度剖析格力打破磁懸浮壓縮機(jī)國(guó)外壟斷,底氣來(lái)自對(duì)自主創(chuàng)新的堅(jiān)守!