對數(shù)據(jù)進行etl加工的數(shù)據(jù)層是:數(shù)據(jù)加載層。ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程,目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起,為企業(yè)的決策提供分析依據(jù)。
本教程操作環(huán)境:windows10系統(tǒng)、Dell G3電腦。
對數(shù)據(jù)進行etl加工的數(shù)據(jù)層是:數(shù)據(jù)加載層。
ETL(Extract-Transform-Load,數(shù)據(jù)倉庫技術(shù)),是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽?。╡xtract)、清洗轉(zhuǎn)換(transform)之后加載(load)到數(shù)據(jù)倉庫的過程,目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起,為企業(yè)的決策提供分析依據(jù), ETL是BI(商業(yè)智能)項目重要的一個環(huán)節(jié)。
數(shù)據(jù)倉庫各層說明:
1、數(shù)據(jù)加載層:ETL(Extract-Transform-Load)
2、數(shù)據(jù)運營層:ODS(Operational Data Store)
3、數(shù)據(jù)倉庫層:DW(Data Warehouse)
-
數(shù)據(jù)明細層:DWD(Data Warehouse Detail)
-
數(shù)據(jù)中間層:DWM(Data WareHouse Middle)
-
數(shù)據(jù)服務(wù)層:DWS(Data WareHouse Service)
4、數(shù)據(jù)應(yīng)用層:APP(Application)
5、維表層:DIM(Dimension)
分層好處:
-
清晰數(shù)據(jù)結(jié)構(gòu):每一個數(shù)據(jù)分層都有它的作用域和職責(zé),在使用表的時候能更方便地定位和理解
-
減少重復(fù)開發(fā):規(guī)范數(shù)據(jù)分層,開發(fā)一些通用的中間層數(shù)據(jù),能夠減少極大的重復(fù)計算
-
統(tǒng)一數(shù)據(jù)口徑:通過數(shù)據(jù)分層,提供統(tǒng)一的數(shù)據(jù)出口,統(tǒng)一對外輸出的數(shù)據(jù)口徑
-
復(fù)雜問題簡單化:將復(fù)雜的任務(wù)分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。當數(shù)據(jù)出現(xiàn)問題之后,不用修復(fù)所有的數(shù)據(jù),只需要從有問題的步驟開始修復(fù)。
-
屏蔽原始數(shù)據(jù)的異常:不必改一次業(yè)務(wù)就需要重新接入數(shù)據(jù)。