分布式存儲(chǔ)已經(jīng)研究很多年，但直到近年來，伴隨著谷歌、亞馬遜和阿里等互聯(lián)網(wǎng)公司云計(jì)算和大數(shù)據(jù)應(yīng)用的興起，它才大規(guī)模應(yīng)用到工程實(shí)踐中。如谷歌的分布式文件系統(tǒng)GFS、分布式表格系統(tǒng)google Bigtable，亞馬遜的對(duì)象存儲(chǔ)AWS，阿里的TFS等都是很好的代表，同時(shí)也催生了一大批優(yōu)秀的開源分布式存儲(chǔ)系統(tǒng)，包括ceph、swift、Lustre和glusterfs等。

分布式存儲(chǔ)系統(tǒng)

分布式存儲(chǔ)按其存儲(chǔ)接口分為三種：文件存儲(chǔ)、塊存儲(chǔ)和對(duì)象存儲(chǔ)。

文件存儲(chǔ)

通常支持POSIX接口(如glusterfs，但GFS、HDFS是非POSIX接口的)，可以像普通文件系統(tǒng)(如ext4)那樣訪問，但又比普通文件系統(tǒng)多了并行化訪問的能力和冗余機(jī)制。主要的分布式文件存儲(chǔ)系統(tǒng)有TFS、cephfs、glusterfs和HDFS等。主要存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)，如普通文件、圖片、音視頻等?？梢圆捎肗FS和CIFS等協(xié)議訪問，共享方便。NAS是文件存儲(chǔ)類型。

塊存儲(chǔ)

這種接口通常以QEMU Driver或者Kernel Module的方式存在，主要通過qemu或iscsi協(xié)議訪問。主要的塊存儲(chǔ)系統(tǒng)有ceph塊存儲(chǔ)、sheepdog等。主要用來存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫數(shù)據(jù)。數(shù)據(jù)共享不方便。DAS和SAN都是塊存儲(chǔ)類型。

對(duì)象存儲(chǔ)

對(duì)象存儲(chǔ)系統(tǒng)綜合了NAS和SAN的優(yōu)點(diǎn)，同時(shí)具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢(shì)。以對(duì)象作為基本的存儲(chǔ)單元，向外提供RESTful數(shù)據(jù)讀寫接口，常以網(wǎng)絡(luò)服務(wù)的形式提供數(shù)據(jù)訪問。主要的對(duì)象存儲(chǔ)系統(tǒng)有AWS、swift和ceph對(duì)象存儲(chǔ)。主要用來存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)

Glusterfs

Glusterfs是一個(gè)開源分布式文件系統(tǒng)，具有強(qiáng)大的橫向擴(kuò)展能力，可支持?jǐn)?shù)PB存儲(chǔ)容量和數(shù)千客戶端，通過Infiniband RDMA 或Tcp/Ip 方式將許多廉價(jià)的x86 主機(jī)，通過網(wǎng)絡(luò)互聯(lián)成一個(gè)并行的網(wǎng)絡(luò)文件系統(tǒng)。具有可擴(kuò)展性、高性能、高可用性等特點(diǎn)。

GlusterFS概述

GlusterFS系統(tǒng)是一個(gè)可擴(kuò)展的網(wǎng)絡(luò)文件系統(tǒng)，相比其他分布式文件系統(tǒng)，GlusterFS具有高擴(kuò)展性、高可用性、高性能、可橫向擴(kuò)展等特點(diǎn)，并且其沒有元數(shù)據(jù)服務(wù)器的設(shè)計(jì)，讓整個(gè)服務(wù)沒有單點(diǎn)故障的隱患。

術(shù)語：

· Brick:GFS中的存儲(chǔ)單元，通過是一個(gè)受信存儲(chǔ)池中的服務(wù)器的一個(gè)導(dǎo)出目錄。可以通過主機(jī)名和目錄名來標(biāo)識(shí)，如‘SERVER:EXPORT‘

· Client:掛載了GFS卷的設(shè)備

· Extended Attributes:xattr是一個(gè)文件系統(tǒng)的特性，其支持用戶或程序關(guān)聯(lián)文件/目錄和元數(shù)據(jù)。

· FUSE:Filesystem Userspace是一個(gè)可加載的內(nèi)核模塊，其支持非特權(quán)用戶創(chuàng)建自己的文件系統(tǒng)而不需要修改內(nèi)核代碼。通過在用戶空間運(yùn)行文件系統(tǒng)的代碼通過FUSE代碼與內(nèi)核進(jìn)行橋接。

· Geo-Replication

· GFID:GFS卷中的每個(gè)文件或目錄都有一個(gè)唯一的128位的數(shù)據(jù)相關(guān)聯(lián)，其用于模擬inode

· Namespace:每個(gè)Gluster卷都導(dǎo)出單個(gè)ns作為POSIX的掛載點(diǎn)

· Node:一個(gè)擁有若干brick的設(shè)備

· RDMA:遠(yuǎn)程直接內(nèi)存訪問，支持不通過雙方的OS進(jìn)行直接內(nèi)存訪問。

· RRDNS:round robin DNS是一種通過DNS輪轉(zhuǎn)返回不同的設(shè)備以進(jìn)行負(fù)載均衡的方法

· Self-heal:用于后臺(tái)運(yùn)行檢測(cè)復(fù)本卷中文件和目錄的不一致性并解決這些不一致。

· Split-brain:腦裂

· Translator:

· Volfile:glusterfs進(jìn)程的配置文件，通常位于/var/lib/glusterd/vols/volname

· Volume:一組bricks的邏輯集合

1、無元數(shù)據(jù)設(shè)計(jì)

元數(shù)據(jù)是用來描述一個(gè)文件或給定區(qū)塊在分布式文件系統(tǒng)中所在的位置，簡(jiǎn)而言之就是某個(gè)文件或某個(gè)區(qū)塊存儲(chǔ)的位置。傳統(tǒng)分布式文件系統(tǒng)大都會(huì)設(shè)置元數(shù)據(jù)服務(wù)器或者功能相近的管理服務(wù)器，主要作用就是用來管理文件與數(shù)據(jù)區(qū)塊之間的存儲(chǔ)位置關(guān)系。相較其他分布式文件系統(tǒng)而言，GlusterFS并沒有集中或者分布式的元數(shù)據(jù)的概念，取而代之的是彈性哈希算法。集群中的任何服務(wù)器和客戶端都可以利用哈希算法、路徑及文件名進(jìn)行計(jì)算，就可以對(duì)數(shù)據(jù)進(jìn)行定位，并執(zhí)行讀寫訪問操作。

這種設(shè)計(jì)帶來的好處是極大的提高了擴(kuò)展性，同時(shí)也提高了系統(tǒng)的性能和可靠性;另一顯著的特點(diǎn)是如果給定確定的文件名，查找文件位置會(huì)非?？臁５侨绻谐鑫募蛘吣夸?，性能會(huì)大幅下降，因?yàn)榱谐鑫募蛘吣夸洉r(shí)，需要查詢所在節(jié)點(diǎn)并對(duì)各節(jié)點(diǎn)中的信息進(jìn)行聚合。此時(shí)有元數(shù)據(jù)服務(wù)的分布式文件系統(tǒng)的查詢效率反而會(huì)提高許多。

2、服務(wù)器間的部署

在之前的版本中服務(wù)器間的關(guān)系是對(duì)等的，也就是說每個(gè)節(jié)點(diǎn)服務(wù)器都掌握了集群的配置信息，這樣做的好處是每個(gè)節(jié)點(diǎn)度擁有節(jié)點(diǎn)的配置信息，高度自治，所有信息都可以在本地查詢。每個(gè)節(jié)點(diǎn)的信息更新都會(huì)向其他節(jié)點(diǎn)通告，保證節(jié)點(diǎn)間信息的一致性。但如果集群規(guī)模較大，節(jié)點(diǎn)眾多時(shí)，信息同步的效率就會(huì)下降，節(jié)點(diǎn)信息的非一致性概率就會(huì)大大提高。因此GlusterFS未來的版本有向集中式管理變化的趨勢(shì)。

3、客戶端訪問流程

當(dāng)客戶端訪問GlusterFS存儲(chǔ)時(shí)，首先程序通過訪問掛載點(diǎn)的形式讀寫數(shù)據(jù)，對(duì)于用戶和程序而言，集群文件系統(tǒng)是透明的，用戶和程序根本感覺不到文件系統(tǒng)是本地還是在遠(yuǎn)程服務(wù)器上。讀寫操作將會(huì)被交給VFS(Virtual File System)來處理，VFS會(huì)將請(qǐng)求交給FUSE內(nèi)核模塊，而FUSE又會(huì)通過設(shè)備/dev/fuse將數(shù)據(jù)交給GlusterFS Client。最后經(jīng)過GlusterFS Client的計(jì)算，并最終經(jīng)過網(wǎng)絡(luò)將請(qǐng)求或數(shù)據(jù)發(fā)送到GlusterFS Server上。

三、GlusterFS集群的模式

GlusterFS 集群的模式只數(shù)據(jù)在集群中的存放結(jié)構(gòu)，類似于磁盤陣列中的級(jí)別。

1、分布式卷(Distributed Volume)

又稱哈希卷，近似于RAID0，文件沒有分片，文件根據(jù)hash算法寫入各個(gè)節(jié)點(diǎn)的硬盤上，優(yōu)點(diǎn)是容量大，缺點(diǎn)是沒冗余。

2、復(fù)制卷(Replicated Volume)

相當(dāng)于raid1，復(fù)制的份數(shù)，決定集群的大小，通常與分布式卷或者條帶卷組合使用，解決前兩種存儲(chǔ)卷的冗余缺陷。缺點(diǎn)是磁盤利用率低。

復(fù)本卷在創(chuàng)建時(shí)可指定復(fù)本的數(shù)量，通常為2或者3，復(fù)本在存儲(chǔ)時(shí)會(huì)在卷的不同brick上，因此有幾個(gè)復(fù)本就必須提供至少多個(gè)brick，當(dāng)其中一臺(tái)服務(wù)器失效后，可以從另一臺(tái)服務(wù)器讀取數(shù)據(jù)，因此復(fù)制GlusterFS卷提高了數(shù)據(jù)可靠性的同事，還提供了數(shù)據(jù)冗余的功能。

3、分布式復(fù)制卷(Distributed ReplicatedVolume)

分布式復(fù)制GlusterFS卷結(jié)合了分布式和復(fù)制Gluster卷的特點(diǎn)，看起來類似RAID10，但其實(shí)不同，RAID10其實(shí)質(zhì)是條帶化，但分布式復(fù)制GlusterFS卷則沒有。

4、條帶卷(Striped Volume)

相當(dāng)于raid0，文件是分片均勻?qū)懺诟鱾€(gè)節(jié)點(diǎn)的硬盤上的，優(yōu)點(diǎn)是分布式讀寫，性能整體較好。缺點(diǎn)是沒冗余，分片隨機(jī)讀寫可能會(huì)導(dǎo)致硬盤IOPS飽和。

5、分布式條帶卷(DistributedStripedVolume)

當(dāng)單個(gè)文件的體型十分巨大，客戶端數(shù)量更多時(shí)，條帶卷已經(jīng)無法滿足需求，此時(shí)將分布式與條帶化結(jié)合起來是一個(gè)比較好的選擇。其性能與服務(wù)器數(shù)量有關(guān)。

操作環(huán)境 ：

4臺(tái)NAT模式

1 master 192.168.80.181

2 slave 192.168.80.182 192.168.80.183

1 client 192.168.80.184

用三個(gè)節(jié)點(diǎn)搭建一個(gè)glusterfs集群，再用一個(gè)作為客戶端使用

四臺(tái)都操作：

vi /etc/hosts

192.168.80.181 master

192.168.80.182 slave1

192.168.80.183 slave2

192.168.80.184 client

192.168.80.181(master)

ssh-keygen -t rsa

ssh-copy-id -i slave1

ssh-copy-id -i slave2

ssh-copy-id -i client

(嘗試在master用ssh上登陸其他三臺(tái)服務(wù)器)

四臺(tái)都操作：

配置yum源為阿里源(在每個(gè)節(jié)點(diǎn)中都執(zhí)行)

wget http://mirrors.aliyun.com/repo/Centos-7.repo

執(zhí)行yum源更新命令

yum clean all

yum makecache

安裝glusterfs

在master、slave1、slave2節(jié)點(diǎn)安裝glusterfs

yum install centos-release-gluster -y

yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

systemctl start glusterd

systemctl enable glusterd

在master節(jié)點(diǎn)上配置，將兩個(gè)slave節(jié)點(diǎn)加入到gluster集群中。

gluster peer probe master

gluster peer probe slave1

gluster peer probe slave2

查看集群狀態(tài)：在master上查看

gluster peer status

創(chuàng)建數(shù)據(jù)存儲(chǔ)目錄(在三個(gè)節(jié)點(diǎn)上都運(yùn)行)：

mkdir -p /opt/gluster/data

查看volume 狀態(tài)：

gluster volume info

創(chuàng)建GlusterFS磁盤：

gluster volume create models replica 3 master:/opt/gluster/data slave1:/opt/gluster/data slave2:/opt/gluster/data force //force強(qiáng)制執(zhí)行 volume 卷replica 3表明存儲(chǔ)3個(gè)備份，后面指定服務(wù)器的存儲(chǔ)目錄

——

GlusterFS 幾種volume 模式指令：

一、 默認(rèn)模式，既DHT, 也叫分布卷: 將文件已hash算法隨機(jī)分布到一臺(tái)服務(wù)器節(jié)點(diǎn)中存儲(chǔ)。

命令：gluster volume create test-volume server1:/exp1 server2:/exp2

二、 復(fù)制模式，既AFR, 創(chuàng)建volume 時(shí)帶replica x 數(shù)量: 將文件復(fù)制到replica x 個(gè)節(jié)點(diǎn)中。

命令：gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2

三、 條帶模式，既Striped, 創(chuàng)建volume 時(shí)帶stripe x 數(shù)量： 將文件切割成數(shù)據(jù)塊，分別存儲(chǔ)到stripe x 個(gè)節(jié)點(diǎn)中( 類似raid 0 )。

命令：gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2

四、 分布式條帶模式(組合型)，最少需要4臺(tái)服務(wù)器才能創(chuàng)建。 創(chuàng)建volume 時(shí)stripe 2 server = 4 個(gè)節(jié)點(diǎn)： 是DHT 與Striped 的組合型。

命令：gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4

五、分布式復(fù)制模式(組合型), 最少需要4臺(tái)服務(wù)器才能創(chuàng)建。 創(chuàng)建volume 時(shí)replica 2 server = 4 個(gè)節(jié)點(diǎn)：是DHT 與AFR 的組合型。

命令：gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2　server3:/exp3 server4:/exp4

六、 條帶復(fù)制卷模式(組合型), 最少需要4臺(tái)服務(wù)器才能創(chuàng)建。 創(chuàng)建volume 時(shí)stripe 2 replica 2 server = 4 個(gè)節(jié)點(diǎn)： 是Striped 與AFR 的組合型。

命令：gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4

七、 三種模式混合, 至少需要8臺(tái)服務(wù)器才能創(chuàng)建。 stripe 2 replica 2 , 每4個(gè)節(jié)點(diǎn)組成一個(gè)組。

命令：gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7 server8:/exp8

——

再次查看volume信息

gluster volume info

啟動(dòng)models

gluster volume start models

gluster 性能調(diào)優(yōu)：

開啟指定volume 的配額：(models 為volume 名稱)

gluster volume quota models enable

限制models 中/ (既總目錄) 最大使用80GB 空間

gluster volume quota models limit-usage / 80GB

設(shè)置cache 大小(此處要根據(jù)實(shí)際情況，如果設(shè)置太大可能導(dǎo)致后面客戶端掛載失敗)

gluster volume set models performance.cache-size 512MB

開啟異步，后臺(tái)操作

gluster volume set models performance.flush-behind on

設(shè)置io 線程32

gluster volume set models performance.io-thread-count 32

設(shè)置回寫(寫數(shù)據(jù)時(shí)間，先寫入緩存內(nèi)，再寫入硬盤)

gluster volume set models performance.write-behind on

調(diào)優(yōu)之后的volume信息

gluster volume info

在客戶端上：

部署GlusterFS客戶端并mount GlusterFS文件系統(tǒng)

yum install -y glusterfs glusterfs-fuse

建立掛載點(diǎn)：

mkdir -p /opt/gfsmount

mount命令：

mount -t glusterfs 192.168.80.181:models /opt/gfsmount/

df 命令檢查：df -h

測(cè)試：

往該目錄寫入文件，隨后查看gluster服務(wù)器的存儲(chǔ)情況

time dd if=/dev/zero of=/opt/gfsmount/hello bs=100M count=1

查看phn機(jī)器上/opt/gfsmount 目錄

查看master機(jī)器上/opt/gluster/data目錄

查看slave1機(jī)器上/opt/gluster/data目錄

查看slave2機(jī)器上/opt/gluster/data目錄

可以看到gluster服務(wù)器的每個(gè)節(jié)點(diǎn)上都有備份，符合之前設(shè)置的3個(gè)備份的原則

其他命令

查看GlusterFS中所有的volume:

gluster volume list

刪除GlusterFS磁盤：

gluster volume stop models //停止名字為models 的磁盤

gluster volume delete models //刪除名字為models 的磁盤

注： 刪除磁盤以后，必須刪除磁盤( /opt/gluster/data ) 中的( .glusterfs/ .trashcan/ )目錄。

否則創(chuàng)建新volume 相同的磁盤會(huì)出現(xiàn)文件不分布，或者類型錯(cuò)亂的問題。

卸載某個(gè)節(jié)點(diǎn)GlusterFS磁盤

gluster peer detach swarm-node-2

設(shè)置訪問限制,按照每個(gè)volume 來限制

gluster volume set models auth.allow 10.6.0.*,10.7.0.*

添加GlusterFS節(jié)點(diǎn)：

gluster peer probe swarm-node-3

gluster volume add-brick models swarm-node-3:/opt/gluster/data

配置卷

gluster volume set

縮容volume:

先將數(shù)據(jù)遷移到其它可用的Brick，遷移結(jié)束后才將該Brick移除：

gluster volume remove-brick models slave1:/opt/gluster/data slave2:/opt/gluster/data start

在執(zhí)行了start之后，可以使用status命令查看移除進(jìn)度：

gluster volume remove-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data status

不進(jìn)行數(shù)據(jù)遷移，直接刪除該Brick：

gluster volume remove-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data commit

注意，如果是復(fù)制卷或者條帶卷，則每次移除的Brick數(shù)必須是replica或者stripe的整數(shù)倍。

擴(kuò)容：

gluster volume add-brick models swarm-node-2:/opt/gluster/data

修復(fù)命令:

gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data commit -force

遷移volume:

gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data start

pause 為暫停遷移

gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data pause

abort 為終止遷移

gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data abort

status 查看遷移狀態(tài)

gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data status

遷移結(jié)束后使用commit 來生效

gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data commit

均衡volume:

gluster volume models lay-outstart

gluster volume models start

gluster volume models startforce

gluster volume models status

gluster volume models stop