有些表的數(shù)據(jù)量增長(zhǎng)很快，對(duì)應(yīng)SQL掃描了很多無效數(shù)據(jù)，導(dǎo)致SQL慢了下來，通過確認(rèn)之后，這些大表都是一些流水、記錄、日志類型數(shù)據(jù)，只需要保留1到3個(gè)月，此時(shí)需要對(duì)表做數(shù)據(jù)清理實(shí)現(xiàn)瘦身。

這篇文章我會(huì)從InnoDB存儲(chǔ)空間分布，delete對(duì)性能的影響，以及優(yōu)化建議方面解釋為什么不建議delete刪除數(shù)據(jù)。

InnoDB存儲(chǔ)架構(gòu)

從這張圖可以看到，InnoDB存儲(chǔ)結(jié)構(gòu)主要包括兩部分：邏輯存儲(chǔ)結(jié)構(gòu)和物理存儲(chǔ)結(jié)構(gòu)。

邏輯上是由表空間tablespace —> 段segment或者inode —> 區(qū)Extent ——>數(shù)據(jù)頁(yè)P(yáng)age構(gòu)成，Innodb邏輯管理單位是segment，空間分配的最小單位是extent，每個(gè)segment都會(huì)從表空間FREE_PAGE中分配32個(gè)page，當(dāng)這32個(gè)page不夠用時(shí)，會(huì)按照以下原則進(jìn)行擴(kuò)展：如果當(dāng)前小于1個(gè)extent，則擴(kuò)展到1個(gè)extent；當(dāng)表空間小于32MB時(shí)，每次擴(kuò)展一個(gè)extent；表空間大于32MB，每次擴(kuò)展4個(gè)extent。

物理上主要由系統(tǒng)用戶數(shù)據(jù)文件，日志文件組成，數(shù)據(jù)文件主要存儲(chǔ)MySQL字典數(shù)據(jù)和用戶數(shù)據(jù)，日志文件記錄的是data page的變更記錄，用于MySQL Crash時(shí)的恢復(fù)。

Innodb表空間

InnoDB存儲(chǔ)包括三類表空間：系統(tǒng)表空間，用戶表空間，Undo表空間。

系統(tǒng)表空間： 主要存儲(chǔ)MySQL內(nèi)部的數(shù)據(jù)字典數(shù)據(jù)，如information_schema下的數(shù)據(jù)。

用戶表空間： 當(dāng)開啟innodb_file_per_table=1時(shí)，數(shù)據(jù)表從系統(tǒng)表空間獨(dú)立出來存儲(chǔ)在以table_name.ibd命令的數(shù)據(jù)文件中，結(jié)構(gòu)信息存儲(chǔ)在table_name.frm文件中。

Undo表空間： 存儲(chǔ)Undo信息，如快照一致讀和flashback都是利用undo信息。

從MySQL 8.0開始允許用戶自定義表空間，具體語法如下：

CREATE TABLESPACE tablespace_name     ADD DATAFILE 'file_name'               #數(shù)據(jù)文件名     USE LOGFILE GROUP logfile_group        #自定義日志文件組，一般每組2個(gè)logfile。     [EXTENT_SIZE [=] extent_size]          #區(qū)大小     [INITIAL_SIZE [=] initial_size]        #初始化大小      [AUTOEXTEND_SIZE [=] autoextend_size]  #自動(dòng)擴(kuò)寬尺寸     [MAX_SIZE [=] max_size]                #單個(gè)文件最大size，最大是32G。     [NODEGROUP [=] nodegroup_id]           #節(jié)點(diǎn)組     [WAIT]     [COMMENT [=] comment_text]     ENGINE [=] engine_name

這樣的好處是可以做到數(shù)據(jù)的冷熱分離，分別用HDD和SSD來存儲(chǔ)，既能實(shí)現(xiàn)數(shù)據(jù)的高效訪問，又能節(jié)約成本，比如可以添加兩塊500G硬盤，經(jīng)過創(chuàng)建卷組vg，劃分邏輯卷lv，創(chuàng)建數(shù)據(jù)目錄并mount相應(yīng)的lv，假設(shè)劃分的兩個(gè)目錄分別是/hot_data 和 /cold_data。

這樣就可以將核心的業(yè)務(wù)表如用戶表，訂單表存儲(chǔ)在高性能SSD盤上，一些日志，流水表存儲(chǔ)在普通的HDD上，主要的操作步驟如下：

#創(chuàng)建熱數(shù)據(jù)表空間 create tablespace tbs_data_hot add datafile '/hot_data/tbs_data_hot01.dbf' max_size 20G; #創(chuàng)建核心業(yè)務(wù)表存儲(chǔ)在熱數(shù)據(jù)表空間 create table booking(id bigint not null primary key auto_increment, …… ) tablespace tbs_data_hot; #創(chuàng)建冷數(shù)據(jù)表空間 create tablespace tbs_data_cold add datafile '/hot_data/tbs_data_cold01.dbf' max_size 20G; #創(chuàng)建日志，流水，備份類的表存儲(chǔ)在冷數(shù)據(jù)表空間 create table payment_log(id bigint not null primary key auto_increment, …… ) tablespace tbs_data_cold; #可以移動(dòng)表到另一個(gè)表空間 alter table payment_log tablespace tbs_data_hot;

Inndob存儲(chǔ)分布

創(chuàng)建空表查看空間變化

mysql> create table user(id bigint not null primary key auto_increment,      -> name varchar(20) not null default '' comment '姓名',      -> age tinyint not null default 0 comment 'age',      -> gender char(1) not null default 'M'  comment '性別',     -> phone varchar(16) not null default '' comment '手機(jī)號(hào)',     -> create_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時(shí)間',     -> update_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改時(shí)間'     -> ) engine = InnoDB DEFAULT CHARSET=utf8mb4 COMMENT '用戶信息表'; Query OK, 0 rows affected (0.26 sec)

# ls -lh user1.ibd  -rw-r----- 1 mysql mysql 96K Nov  6 12:48 user.ibd

設(shè)置參數(shù)innodb_file_per_table=1時(shí)，創(chuàng)建表時(shí)會(huì)自動(dòng)創(chuàng)建一個(gè)segment，同時(shí)分配一個(gè)extent，包含32個(gè)data page的來存儲(chǔ)數(shù)據(jù)，這樣創(chuàng)建的空表默認(rèn)大小就是96KB，extent使用完之后會(huì)申請(qǐng)64個(gè)連接頁(yè)，這樣對(duì)于一些小表，或者undo segment，可以在開始時(shí)申請(qǐng)較少的空間，節(jié)省磁盤容量的開銷。

# python2 py_innodb_page_info.py -v /data2/mysql/test/user.ibd page offset 00000000, page type <File Space Header> page offset 00000001, page type <Insert Buffer Bitmap> page offset 00000002, page type <File Segment inode> page offset 00000003, page type <B-tree Node>, page level <0000> page offset 00000000, page type <Freshly Allocated Page> page offset 00000000, page type <Freshly Allocated Page> Total number of page: 6:      #總共分配的頁(yè)數(shù) Freshly Allocated Page: 2     #可用的數(shù)據(jù)頁(yè) Insert Buffer Bitmap: 1       #插入緩沖頁(yè) File Space Header: 1          #文件空間頭 B-tree Node: 1                #數(shù)據(jù)頁(yè) File Segment inode: 1         #文件端inonde，如果是在ibdata1.ibd上會(huì)有多個(gè)inode。

插入數(shù)據(jù)后的空間變化

mysql> DELIMITER $$ mysql> CREATE PROCEDURE insert_user_data(num INTEGER)      -> BEGIN     ->     DECLARE v_i int unsigned DEFAULT 0;     -> set autocommit= 0;     -> WHILE v_i < num DO     ->    insert into user(`name`, age, gender, phone) values (CONCAT('lyn',v_i), mod(v_i,120), 'M', CONCAT('152',ROUND(RAND(1)*100000000)));     ->  SET v_i = v_i+1;     -> END WHILE;     -> commit;     -> END $$ Query OK, 0 rows affected (0.01 sec) mysql> DELIMITER ;  #插入10w數(shù)據(jù) mysql> call insert_user_data(100000); Query OK, 0 rows affected (6.69 sec)

# ls -lh user.ibd -rw-r----- 1 mysql mysql 14M Nov 6 10:58 /data2/mysql/test/user.ibd  # python2 py_innodb_page_info.py -v /data2/mysql/test/user.ibd page offset 00000000, page type <File Space Header> page offset 00000001, page type <Insert Buffer Bitmap> page offset 00000002, page type <File Segment inode> page offset 00000003, page type <B-tree Node>, page level <0001>   #增加了一個(gè)非葉子節(jié)點(diǎn)，樹的高度從1變?yōu)?. ........................................................ page offset 00000000, page type <Freshly Allocated Page> Total number of page: 896: Freshly Allocated Page: 493 Insert Buffer Bitmap: 1 File Space Header: 1 B-tree Node: 400 File Segment inode: 1

delete數(shù)據(jù)后的空間變化

mysql> select min(id),max(id),count(*) from user; +---------+---------+----------+ | min(id) | max(id) | count(*) | +---------+---------+----------+ |       1 |  100000 |   100000 | +---------+---------+----------+ 1 row in set (0.05 sec) #刪除50000條數(shù)據(jù)，理論上空間應(yīng)該從14MB變長(zhǎng)7MB左右。 mysql> delete from user limit 50000; Query OK, 50000 rows affected (0.25 sec)  #數(shù)據(jù)文件大小依然是14MB，沒有縮小。 # ls -lh /data2/mysql/test/user1.ibd  -rw-r----- 1 mysql mysql 14M Nov  6 13:22 /data2/mysql/test/user.ibd  #數(shù)據(jù)頁(yè)沒有被回收。 # python2 py_innodb_page_info.py -v /data2/mysql/test/user.ibd page offset 00000000, page type <File Space Header> page offset 00000001, page type <Insert Buffer Bitmap> page offset 00000002, page type <File Segment inode> page offset 00000003, page type <B-tree Node>, page level <0001> ........................................................ page offset 00000000, page type <Freshly Allocated Page> Total number of page: 896: Freshly Allocated Page: 493 Insert Buffer Bitmap: 1 File Space Header: 1 B-tree Node: 400 File Segment inode: 1 #在MySQL內(nèi)部是標(biāo)記刪除，

mysql> use information_schema;  Database changed mysql> SELECT A.SPACE AS TBL_SPACEID, A.TABLE_ID, A.NAME AS TABLE_NAME, FILE_FORMAT, ROW_FORMAT, SPACE_TYPE,  B.INDEX_ID , B.NAME AS INDEX_NAME, PAGE_NO, B.TYPE AS INDEX_TYPE FROM INNODB_SYS_TABLES A LEFT JOIN INNODB_SYS_INDEXES B ON A.TABLE_ID =B.TABLE_ID WHERE A.NAME = 'test/user1'; +-------------+----------+------------+-------------+------------+------------+----------+------------+---------+------------+ | TBL_SPACEID | TABLE_ID | TABLE_NAME | FILE_FORMAT | ROW_FORMAT | SPACE_TYPE | INDEX_ID | INDEX_NAME | PAGE_NO | INDEX_TYPE | +-------------+----------+------------+-------------+------------+------------+----------+------------+---------+------------+ |        1283 |     1207 | test/user | Barracuda   | Dynamic    | Single     |     2236 | PRIMARY    |       3 |          3 | +-------------+----------+------------+-------------+------------+------------+----------+------------+---------+------------+ 1 row in set (0.01 sec)  PAGE_NO = 3 標(biāo)識(shí)B-tree的root page是3號(hào)頁(yè)，INDEX_TYPE = 3是聚集索引。 INDEX_TYPE取值如下： 0 = nonunique secondary index;  1 = automatically generated clustered index (GEN_CLUST_INDEX);  2 = unique nonclustered index;  3 = clustered index;  32 = full-text index; #收縮空間再后進(jìn)行觀察

MySQL內(nèi)部不會(huì)真正刪除空間，而且做標(biāo)記刪除，即將delflag:N修改為delflag:Y，commit之后會(huì)會(huì)被purge進(jìn)入刪除鏈表，如果下一次insert更大的記錄，delete之后的空間不會(huì)被重用，如果插入的記錄小于等于delete的記錄空會(huì)被重用，這塊內(nèi)容可以通過知數(shù)堂的innblock工具進(jìn)行分析。

Innodb中的碎片

碎片的產(chǎn)生

我們知道數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)上的，總是不能100%利用分配給它的物理空間，刪除數(shù)據(jù)會(huì)在頁(yè)面上留下一些”空洞”，或者隨機(jī)寫入（聚集索引非線性增加）會(huì)導(dǎo)致頁(yè)分裂，頁(yè)分裂導(dǎo)致頁(yè)面的利用空間少于50%，另外對(duì)表進(jìn)行增刪改會(huì)引起對(duì)應(yīng)的二級(jí)索引值的隨機(jī)的增刪改，也會(huì)導(dǎo)致索引結(jié)構(gòu)中的數(shù)據(jù)頁(yè)面上留下一些"空洞"，雖然這些空洞有可能會(huì)被重復(fù)利用，但終究會(huì)導(dǎo)致部分物理空間未被使用，也就是碎片。

同時(shí)，即便是設(shè)置了填充因子為100%，Innodb也會(huì)主動(dòng)留下page頁(yè)面1/16的空間作為預(yù)留使用（An innodb_fill_factor setting of 100 leaves 1/16 of the space in clustered index pages free for future index growth）防止update帶來的行溢出。

mysql> select table_schema,     ->        table_name,ENGINE,     ->        round(DATA_LENGTH/1024/1024+ INDEX_LENGTH/1024/1024) total_mb,TABLE_ROWS,     ->        round(DATA_LENGTH/1024/1024) data_mb, round(INDEX_LENGTH/1024/1024) index_mb, round(DATA_FREE/1024/1024) free_mb, round(DATA_FREE/DATA_LENGTH*100,2) free_ratio     -> from information_schema.TABLES where  TABLE_SCHEMA= 'test'     -> and TABLE_NAME= 'user'; +--------------+------------+--------+----------+------------+---------+----------+---------+------------+ | table_schema | table_name | ENGINE | total_mb | TABLE_ROWS | data_mb | index_mb | free_mb | free_ratio | +--------------+------------+--------+----------+------------+---------+----------+---------+------------+ | test         | user      | InnoDB |        4 |      50000 |       4 |        0 |       6 |     149.42 | +--------------+------------+--------+----------+------------+---------+----------+---------+------------+ 1 row in set (0.00 sec)

其中data_free是分配了未使用的字節(jié)數(shù)，并不能說明完全是碎片空間。

碎片的回收

對(duì)于InnoDB的表，可以通過以下命令來回收碎片，釋放空間，這個(gè)是隨機(jī)讀IO操作，會(huì)比較耗時(shí)，也會(huì)阻塞表上正常的DML運(yùn)行，同時(shí)需要占用額外