在整個(gè)數(shù)據(jù)分析流程中，數(shù)據(jù)處理的時(shí)間往往要占據(jù)70%以上!

這個(gè)數(shù)字有沒有讓你震驚呢?

為了提高分析效率和質(zhì)量，借用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)分析是一個(gè)很好的選擇，詳細(xì)的工作方法本文都有所介紹。

首先，我們來了解一下數(shù)據(jù)倉(cāng)庫(kù)吧!數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反應(yīng)歷史變化的數(shù)據(jù)集合。

那數(shù)據(jù)分析又是干什么的呢?

筆者憑借個(gè)人的經(jīng)驗(yàn)認(rèn)為，基于業(yè)務(wù)需求，結(jié)合歷史數(shù)據(jù)，利用相關(guān)統(tǒng)計(jì)學(xué)方法和某些數(shù)據(jù)挖掘工具對(duì)數(shù)據(jù)進(jìn)行整合、分析，并形成一套最終解決某個(gè)業(yè)務(wù)場(chǎng)景的方案就是數(shù)據(jù)分析的過程。

數(shù)據(jù)分析大致包括以下流程：業(yè)務(wù)理解–數(shù)據(jù)理解–數(shù)據(jù)準(zhǔn)備–建模–評(píng)估–部署

由于數(shù)據(jù)分析對(duì)數(shù)據(jù)質(zhì)量、格式的要求天然就比較高，對(duì)數(shù)據(jù)的理解也必須非常深刻，使得數(shù)據(jù)契合業(yè)務(wù)需求也要一定的過程，這樣，根據(jù)我們的經(jīng)驗(yàn)，在整個(gè)數(shù)據(jù)分析流程中，用于數(shù)據(jù)處理的時(shí)間往往要占據(jù)70%以上。

因此，如何高效、快速地進(jìn)行數(shù)據(jù)理解和處理，往往決定了數(shù)據(jù)分析項(xiàng)目的進(jìn)度和質(zhì)量。

而數(shù)據(jù)倉(cāng)庫(kù)具有集成、穩(wěn)定、高質(zhì)量等特點(diǎn)，基于數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)分析提供數(shù)據(jù)，往往能夠更加保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)完整性。

利用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)分析無疑能夠給我們的工作帶來很大便利，那么，究竟要如何操作呢?

我們首先需要了解數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)，數(shù)據(jù)倉(cāng)庫(kù)至少可以從如下三個(gè)方面提升數(shù)據(jù)分析效率：

1. 數(shù)據(jù)理解

數(shù)據(jù)倉(cāng)庫(kù)是面向主題的，所以其自身與業(yè)務(wù)結(jié)合就相對(duì)緊密和完善，更方便數(shù)據(jù)分析師基于數(shù)據(jù)理解業(yè)務(wù)。

下圖是Teradata關(guān)于金融行業(yè)的成熟模型：

我們可以看到，整個(gè)數(shù)據(jù)倉(cāng)庫(kù)被分為十大主題，而金融行業(yè)所有的數(shù)據(jù)、業(yè)務(wù)都會(huì)被這十大主題涵蓋。

當(dāng)我們需要找某個(gè)信用卡賬戶信息時(shí)，我們就去協(xié)議(AGREEMENT)主題，需要某次存款交易信息時(shí)就去探尋事件(EVENT)主題，需要某個(gè)理財(cái)產(chǎn)品相關(guān)信息就挖掘產(chǎn)品(PRODUCT)主題，如此類推，我們就會(huì)發(fā)現(xiàn)十大主題將整個(gè)金融行業(yè)的數(shù)據(jù)劃分得非常清晰，我們需要做的就是拿到業(yè)務(wù)需求，理解數(shù)據(jù)倉(cāng)庫(kù)的模型，數(shù)據(jù)理解也就水到渠成了。

2. 數(shù)據(jù)質(zhì)量

數(shù)據(jù)分析要求數(shù)據(jù)是干凈、完整的，而數(shù)據(jù)倉(cāng)庫(kù)最核心的一項(xiàng)工作就是ETL過程，流程如下：

而數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)對(duì)源系統(tǒng)的數(shù)據(jù)進(jìn)行了業(yè)務(wù)契合的轉(zhuǎn)換，以及臟數(shù)據(jù)的清洗，這就為數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量做了較好的保障。

3. 數(shù)據(jù)跨系統(tǒng)關(guān)聯(lián)

上圖是數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)簡(jiǎn)單架構(gòu)，可以看到，各業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)經(jīng)過ETL過程后流入數(shù)據(jù)倉(cāng)庫(kù)，當(dāng)不同系統(tǒng)數(shù)據(jù)整合到數(shù)據(jù)倉(cāng)庫(kù)之后，至少解決了數(shù)據(jù)分析中的兩個(gè)問題：

第一，跨系統(tǒng)數(shù)據(jù)收集問題，同一個(gè)客戶的儲(chǔ)蓄交易和理財(cái)交易我們?cè)谕粡埵录砭涂梢哉业?

第二，跨系統(tǒng)關(guān)聯(lián)問題，同一個(gè)客戶可能在不同系統(tǒng)中記錄了不同的客戶號(hào)，甚至存在不同的賬號(hào)，進(jìn)行數(shù)據(jù)整合時(shí)，總是需要找到共同的“紐帶”來關(guān)聯(lián)來自不同系統(tǒng)的信息，而數(shù)據(jù)倉(cāng)庫(kù)在ETL過程中就會(huì)整合相關(guān)客戶信息，完美解決跨系統(tǒng)關(guān)聯(lián)問題。

可見，數(shù)據(jù)倉(cāng)庫(kù)是整合的、面向主題的、數(shù)據(jù)質(zhì)量高的、跨系統(tǒng)的優(yōu)質(zhì)數(shù)據(jù)源，那么，我們?cè)撊绾纬浞掷眠@些優(yōu)勢(shì)呢?

筆者總結(jié)了如下經(jīng)驗(yàn)：

1. 研究數(shù)據(jù)倉(cāng)庫(kù)模型：數(shù)倉(cāng)的精髓就是面向主題的模型，能理解各大主題域范疇，熟悉不同主題間的關(guān)系，基本就掌握了數(shù)倉(cāng)的架構(gòu);

2. 學(xué)習(xí)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)文檔：設(shè)計(jì)文檔是業(yè)務(wù)與數(shù)據(jù)，數(shù)倉(cāng)與源系統(tǒng)的橋梁，熟悉表間mapping映射，就能快速定位需求變量的來源和處理邏輯，全面了解相關(guān)業(yè)務(wù);

3. 熟悉數(shù)據(jù)字典表：數(shù)據(jù)字典是數(shù)據(jù)倉(cāng)庫(kù)物理存儲(chǔ)的信息庫(kù)，可以通過數(shù)據(jù)字典了解庫(kù)、表、字段不同層級(jí)的關(guān)系、存儲(chǔ)、類型等信息;

4. 研究ETL腳本：學(xué)習(xí)幾個(gè)數(shù)據(jù)倉(cāng)庫(kù)ETL加工腳本，能更細(xì)致的探索數(shù)據(jù)加工處理邏輯，更清楚的理解數(shù)倉(cāng)加工模式，快速掌握數(shù)據(jù)加工技巧;

5. 觀察明細(xì)數(shù)據(jù)：想要真正了解數(shù)據(jù)，就必須對(duì)具體數(shù)據(jù)進(jìn)行不同維度和層次的觀察;比如事件表，從交易類型、時(shí)間、渠道、業(yè)務(wù)種類等多個(gè)維度撈幾條數(shù)據(jù)，觀察某個(gè)相同條件下不同維度的交易變化，了解銀行交易的全景信息，幫助理解業(yè)務(wù)，熟悉數(shù)據(jù)。

事實(shí)上，除此之外，數(shù)據(jù)處理人員還應(yīng)該從中學(xué)習(xí)到數(shù)據(jù)倉(cāng)庫(kù)的思想：面向主題，逐層加工。

面向主題是指讓雜亂的數(shù)據(jù)結(jié)合業(yè)務(wù)劃分，更容易著手處理原本雜亂的數(shù)據(jù)，數(shù)據(jù)處理人員只需知道哪些數(shù)據(jù)屬于哪個(gè)主題，然后基于主題再進(jìn)一步處理;

逐層加工則是指讓細(xì)粒度的數(shù)據(jù)走向?qū)挶淼倪^程清晰，有層次，數(shù)據(jù)處理過程中清楚每一步的產(chǎn)出是什么。

其實(shí)，每一個(gè)數(shù)據(jù)分析師或者數(shù)據(jù)處理師都會(huì)有自己的工作習(xí)慣和經(jīng)驗(yàn)，以上是筆者經(jīng)歷兩年多數(shù)據(jù)倉(cāng)庫(kù)開發(fā)、三年數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析兼職者的經(jīng)驗(yàn)總結(jié)的一些心得，希望對(duì)大家有所幫助。