本篇文章給大家?guī)砹岁P(guān)于docker中鏡像分層、容器分層和容器在磁盤占用空間的相關(guān)問題,希望對大家有幫助。
Docker是如何組織存儲的
dokcer在組織存儲內(nèi)容時很巧妙的應(yīng)用了分層復(fù)用的思想。所以我們可以以此為案例學(xué)習(xí)一下該思想。
1.鏡像分層
一個Docker鏡像在構(gòu)建的過程中分了很多層,每一層都是只讀的。結(jié)合下面例子進(jìn)行說明:
# syntax=docker/dockerfile:1 FROM ubuntu:18.04 LABEL org.opencontainers.image.authors="org@example.com" COPY . /app RUN make /app RUN rm -r $HOME/.cache CMD python /app/app.py
這個Dockerfile中會有4條指令改變了文件系統(tǒng)并創(chuàng)建了新層。
FROM
指令從ubuntu:18.04的鏡像中創(chuàng)建了基礎(chǔ)層。LABEL
指令僅僅修改了鏡像的元數(shù)據(jù),不會創(chuàng)建新層。COPY
指令將執(zhí)行本次構(gòu)建的當(dāng)前目錄中的內(nèi)容添加到鏡像當(dāng)中,會創(chuàng)建一個新層記錄改變。- 第一個
RUN
指令,構(gòu)建了程序并將結(jié)果輸出到鏡像中,會創(chuàng)建一個新層記錄改變。 - 第二個
RUN
指令,刪除了緩存目錄,會創(chuàng)建一個新層記錄改變。 CMD
指令定義了容器中運行的指令,只是修改了鏡像的元數(shù)據(jù),并不會創(chuàng)建新層。
這里每層都只記錄與其上一層的不同。當(dāng)我們創(chuàng)建一個容器的時候,這是就會創(chuàng)建一層可寫層,也叫容器層。對于正在運行中的容器的內(nèi)容的變化都會記錄在該層中。下圖描述了該關(guān)系:
2.容器分層
容器和鏡像的不同主要是最頂層的可寫層的不同,所有對于容器的寫操作都會記錄在這層中,如果容器被刪除,那么這個可寫層也會被刪除,但是鏡像會被保留。
注意:如果想要多個容器共享相同的數(shù)據(jù),可以通過Docker Volumes實現(xiàn)。
每個容器都有其自己的可寫層,所有的變換都會被存放在其中,所以多個容器可共享同一個鏡像。下圖描述了該關(guān)系:
注意 :此處還有個細(xì)節(jié),多個鏡像可能共用相同的層,比如兩個鏡像中有相同的層,那么在構(gòu)建或是拉取的時候發(fā)現(xiàn)本地以存在,則不會再次構(gòu)建或拉取。所以計算鏡像大小的時候,不能僅通過 docker images
命令顯示出的大小來匯總求和,該值有可能大于實際值。
3.容器在磁盤占用的空間
可以通過 docker ps -s
命令,來看正在運行中的容器占用的空間(部分值)。兩個列的不同代表的內(nèi)容:
- size: 容器的可寫層占用的磁盤大小
- virtual size: 包含了容器可寫層和只讀鏡像的大小。
容器占用磁盤空間的其它途徑:
- 容器產(chǎn)生的日志文件。
- 使用Volume和bind mounts掛載的內(nèi)容。
- 容器的配置文件
- 內(nèi)存中的內(nèi)容(如果開啟了swapping)
- Checkpoints(如果使用了該功能)
4.Copy-on-Write(CoW)策略
Docker中的存儲驅(qū)動都是采用該策略。
CoW策略能夠最大效率的共享和復(fù)制文件。如果一個文件在鏡像的更低層存在,那么其上層(包括可寫層)需要讀取該內(nèi)容則可以直接使用該文件。當(dāng)需要對其進(jìn)行修改時,會復(fù)制該文件到該層并進(jìn)行修改。這最大限度的減少了IO和每個后續(xù)層的大小。
4.1共享使鏡像更小
當(dāng)我們使用 docker pull
拉取鏡像或是使用一個本地沒有的鏡像創(chuàng)建容器的時候,該鏡像會被分層的存儲到本地Dockers存儲區(qū)域中。在linux中通常是 /var/lib/docker
。
我們可以去 /var/lib/docker/<storage-driver>
目錄下看我們已拉取各層鏡像。比如使用 overlay2
存儲驅(qū)動。
這么多層,我們可以通過 docker image inspect
來查看某個鏡像包含哪些層
docker image inspect --format "{{json .RootFS.Layers}}" redis docker image inspect --format "{{json .RootFS.Layers}}" mysql:5.7
通過上面查看我們可以看到redis和mysql5.7運用了同一層,這樣共享相同層就大大節(jié)省了存儲鏡像的空間,同時也提升了拉取鏡像的速度 。
我們可以通過 docker image history
命令來查看鏡像分層情況,以redis為例
docker history redis
注意 :
-
有些步驟的大小為0,是因為他們只改變了元數(shù)據(jù),并不會產(chǎn)生新層,也不會占用額外的空間(除元數(shù)據(jù)本身)。所以上述redis鏡像中包含了5層。
-
<missing>
步驟,這些步驟可能是以下情況中的一種- 在另一個系統(tǒng)上構(gòu)建的
- 從Docker Hub中提取的
- 使用BuildKit作為構(gòu)建器構(gòu)建的。
4.2復(fù)制讓容器更有效率
當(dāng)我們啟動一個容器的時候,會添加一個可寫層在鏡像之上,用于存儲所有的變化。當(dāng)對已有文件進(jìn)行修改的時候采用CoW策略。首先會到各層尋找到該文件,然后復(fù)制該文件到可寫層,然后進(jìn)行修改并存儲。
這么做能夠讓我們最大限度地減少I/O操作。
但是,很明顯的是當(dāng)一個容器中的應(yīng)用需要進(jìn)行頻繁的寫操作,那么會造成可寫層越來越龐大,此時我們可以通過Volume來幫助我們分擔(dān)壓力。
容器的元數(shù)據(jù)和日志是單獨存放的,一般是存放在 /var/lib/docker/containers
中,我們可以使用 du -sh /var/lib/docker/containers/*
來查看各個容器占用多少。(容器ID其實就是文件夾名稱的前12位)。
推薦學(xué)習(xí):《docker視頻教程》