對數據進行etl加工的數據層是:數據加載層。ETL是將業(yè)務系統(tǒng)的數據經過抽取、清洗轉換之后加載到數據倉庫的過程,目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數據整合到一起,為企業(yè)的決策提供分析依據。
本教程操作環(huán)境:windows10系統(tǒng)、Dell G3電腦。
對數據進行etl加工的數據層是:數據加載層。
ETL(Extract-Transform-Load,數據倉庫技術),是將業(yè)務系統(tǒng)的數據經過抽?。╡xtract)、清洗轉換(transform)之后加載(load)到數據倉庫的過程,目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數據整合到一起,為企業(yè)的決策提供分析依據, ETL是BI(商業(yè)智能)項目重要的一個環(huán)節(jié)。
數據倉庫各層說明:
1、數據加載層:ETL(Extract-Transform-Load)
2、數據運營層:ODS(Operational Data Store)
3、數據倉庫層:DW(Data Warehouse)
-
數據明細層:DWD(Data Warehouse Detail)
-
數據中間層:DWM(Data WareHouse Middle)
-
數據服務層:DWS(Data WareHouse Service)
4、數據應用層:APP(Application)
5、維表層:DIM(Dimension)
分層好處:
-
清晰數據結構:每一個數據分層都有它的作用域和職責,在使用表的時候能更方便地定位和理解
-
減少重復開發(fā):規(guī)范數據分層,開發(fā)一些通用的中間層數據,能夠減少極大的重復計算
-
統(tǒng)一數據口徑:通過數據分層,提供統(tǒng)一的數據出口,統(tǒng)一對外輸出的數據口徑
-
復雜問題簡單化:將復雜的任務分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。當數據出現(xiàn)問題之后,不用修復所有的數據,只需要從有問題的步驟開始修復。
-
屏蔽原始數據的異常:不必改一次業(yè)務就需要重新接入數據。