有些表的數(shù)據(jù)量增長很快，對應SQL掃描了很多無效數(shù)據(jù)，導致SQL慢了下來，通過確認之后，這些大表都是一些流水、記錄、日志類型數(shù)據(jù)，只需要保留1到3個月，此時需要對表做數(shù)據(jù)清理實現(xiàn)瘦身。

這篇文章我會從InnoDB存儲空間分布，delete對性能的影響，以及優(yōu)化建議方面解釋為什么不建議delete刪除數(shù)據(jù)。

InnoDB存儲架構

從這張圖可以看到，InnoDB存儲結構主要包括兩部分：邏輯存儲結構和物理存儲結構。

邏輯上是由表空間tablespace —> 段segment或者inode —> 區(qū)Extent ——>數(shù)據(jù)頁Page構成，Innodb邏輯管理單位是segment，空間分配的最小單位是extent，每個segment都會從表空間FREE_PAGE中分配32個page，當這32個page不夠用時，會按照以下原則進行擴展：如果當前小于1個extent，則擴展到1個extent；當表空間小于32MB時，每次擴展一個extent；表空間大于32MB，每次擴展4個extent。

物理上主要由系統(tǒng)用戶數(shù)據(jù)文件，日志文件組成，數(shù)據(jù)文件主要存儲MySQL字典數(shù)據(jù)和用戶數(shù)據(jù)，日志文件記錄的是data page的變更記錄，用于MySQL Crash時的恢復。

Innodb表空間

InnoDB存儲包括三類表空間：系統(tǒng)表空間，用戶表空間，Undo表空間。

系統(tǒng)表空間： 主要存儲MySQL內部的數(shù)據(jù)字典數(shù)據(jù)，如information_schema下的數(shù)據(jù)。

用戶表空間： 當開啟innodb_file_per_table=1時，數(shù)據(jù)表從系統(tǒng)表空間獨立出來存儲在以table_name.ibd命令的數(shù)據(jù)文件中，結構信息存儲在table_name.frm文件中。

Undo表空間： 存儲Undo信息，如快照一致讀和flashback都是利用undo信息。

從MySQL 8.0開始允許用戶自定義表空間，具體語法如下：

CREATE TABLESPACE tablespace_name     ADD DATAFILE 'file_name'               #數(shù)據(jù)文件名     USE LOGFILE GROUP logfile_group        #自定義日志文件組，一般每組2個logfile。     [EXTENT_SIZE [=] extent_size]          #區(qū)大小     [INITIAL_SIZE [=] initial_size]        #初始化大小      [AUTOEXTEND_SIZE [=] autoextend_size]  #自動擴寬尺寸     [MAX_SIZE [=] max_size]                #單個文件最大size，最大是32G。     [NODEGROUP [=] nodegroup_id]           #節(jié)點組     [WAIT]     [COMMENT [=] comment_text]     ENGINE [=] engine_name

這樣的好處是可以做到數(shù)據(jù)的冷熱分離，分別用HDD和SSD來存儲，既能實現(xiàn)數(shù)據(jù)的高效訪問，又能節(jié)約成本，比如可以添加兩塊500G硬盤，經(jīng)過創(chuàng)建卷組vg，劃分邏輯卷lv，創(chuàng)建數(shù)據(jù)目錄并mount相應的lv，假設劃分的兩個目錄分別是/hot_data 和 /cold_data。

這樣就可以將核心的業(yè)務表如用戶表，訂單表存儲在高性能SSD盤上，一些日志，流水表存儲在普通的HDD上，主要的操作步驟如下：

#創(chuàng)建熱數(shù)據(jù)表空間 create tablespace tbs_data_hot add datafile '/hot_data/tbs_data_hot01.dbf' max_size 20G; #創(chuàng)建核心業(yè)務表存儲在熱數(shù)據(jù)表空間 create table booking(id bigint not null primary key auto_increment, …… ) tablespace tbs_data_hot; #創(chuàng)建冷數(shù)據(jù)表空間 create tablespace tbs_data_cold add datafile '/hot_data/tbs_data_cold01.dbf' max_size 20G; #創(chuàng)建日志，流水，備份類的表存儲在冷數(shù)據(jù)表空間 create table payment_log(id bigint not null primary key auto_increment, …… ) tablespace tbs_data_cold; #可以移動表到另一個表空間 alter table payment_log tablespace tbs_data_hot;

Inndob存儲分布

創(chuàng)建空表查看空間變化

mysql> create table user(id bigint not null primary key auto_increment,      -> name varchar(20) not null default '' comment '姓名',      -> age tinyint not null default 0 comment 'age',      -> gender char(1) not null default 'M'  comment '性別',     -> phone varchar(16) not null default '' comment '手機號',     -> create_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時間',     -> update_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改時間'     -> ) engine = InnoDB DEFAULT CHARSET=utf8mb4 COMMENT '用戶信息表'; Query OK, 0 rows affected (0.26 sec)

# ls -lh user1.ibd  -rw-r----- 1 mysql mysql 96K Nov  6 12:48 user.ibd

設置參數(shù)innodb_file_per_table=1時，創(chuàng)建表時會自動創(chuàng)建一個segment，同時分配一個extent，包含32個data page的來存儲數(shù)據(jù)，這樣創(chuàng)建的空表默認大小就是96KB，extent使用完之后會申請64個連接頁，這樣對于一些小表，或者undo segment，可以在開始時申請較少的空間，節(jié)省磁盤容量的開銷。

# python2 py_innodb_page_info.py -v /data2/mysql/test/user.ibd page offset 00000000, page type <File Space Header> page offset 00000001, page type <Insert Buffer Bitmap> page offset 00000002, page type <File Segment inode> page offset 00000003, page type <B-tree Node>, page level <0000> page offset 00000000, page type <Freshly Allocated Page> page offset 00000000, page type <Freshly Allocated Page> Total number of page: 6:      #總共分配的頁數(shù) Freshly Allocated Page: 2     #可用的數(shù)據(jù)頁 Insert Buffer Bitmap: 1       #插入緩沖頁 File Space Header: 1          #文件空間頭 B-tree Node: 1                #數(shù)據(jù)頁 File Segment inode: 1         #文件端inonde，如果是在ibdata1.ibd上會有多個inode。

插入數(shù)據(jù)后的空間變化

mysql> DELIMITER $$ mysql> CREATE PROCEDURE insert_user_data(num INTEGER)      -> BEGIN     ->     DECLARE v_i int unsigned DEFAULT 0;     -> set autocommit= 0;     -> WHILE v_i < num DO     ->    insert into user(`name`, age, gender, phone) values (CONCAT('lyn',v_i), mod(v_i,120), 'M', CONCAT('152',ROUND(RAND(1)*100000000)));     ->  SET v_i = v_i+1;     -> END WHILE;     -> commit;     -> END $$ Query OK, 0 rows affected (0.01 sec) mysql> DELIMITER ;  #插入10w數(shù)據(jù) mysql> call insert_user_data(100000); Query OK, 0 rows affected (6.69 sec)

# ls -lh user.ibd -rw-r----- 1 mysql mysql 14M Nov 6 10:58 /data2/mysql/test/user.ibd  # python2 py_innodb_page_info.py -v /data2/mysql/test/user.ibd page offset 00000000, page type <File Space Header> page offset 00000001, page type <Insert Buffer Bitmap> page offset 00000002, page type <File Segment inode> page offset 00000003, page type <B-tree Node>, page level <0001>   #增加了一個非葉子節(jié)點，樹的高度從1變?yōu)?. ........................................................ page offset 00000000, page type <Freshly Allocated Page> Total number of page: 896: Freshly Allocated Page: 493 Insert Buffer Bitmap: 1 File Space Header: 1 B-tree Node: 400 File Segment inode: 1

delete數(shù)據(jù)后的空間變化

mysql> select min(id),max(id),count(*) from user; +---------+---------+----------+ | min(id) | max(id) | count(*) | +---------+---------+----------+ |       1 |  100000 |   100000 | +---------+---------+----------+ 1 row in set (0.05 sec) #刪除50000條數(shù)據(jù)，理論上空間應該從14MB變長7MB左右。 mysql> delete from user limit 50000; Query OK, 50000 rows affected (0.25 sec)  #數(shù)據(jù)文件大小依然是14MB，沒有縮小。 # ls -lh /data2/mysql/test/user1.ibd  -rw-r----- 1 mysql mysql 14M Nov  6 13:22 /data2/mysql/test/user.ibd  #數(shù)據(jù)頁沒有被回收。 # python2 py_innodb_page_info.py -v /data2/mysql/test/user.ibd page offset 00000000, page type <File Space Header> page offset 00000001, page type <Insert Buffer Bitmap> page offset 00000002, page type <File Segment inode> page offset 00000003, page type <B-tree Node>, page level <0001> ........................................................ page offset 00000000, page type <Freshly Allocated Page> Total number of page: 896: Freshly Allocated Page: 493 Insert Buffer Bitmap: 1 File Space Header: 1 B-tree Node: 400 File Segment inode: 1 #在MySQL內部是標記刪除，

mysql> use information_schema;  Database changed mysql> SELECT A.SPACE AS TBL_SPACEID, A.TABLE_ID, A.NAME AS TABLE_NAME, FILE_FORMAT, ROW_FORMAT, SPACE_TYPE,  B.INDEX_ID , B.NAME AS INDEX_NAME, PAGE_NO, B.TYPE AS INDEX_TYPE FROM INNODB_SYS_TABLES A LEFT JOIN INNODB_SYS_INDEXES B ON A.TABLE_ID =B.TABLE_ID WHERE A.NAME = 'test/user1'; +-------------+----------+------------+-------------+------------+------------+----------+------------+---------+------------+ | TBL_SPACEID | TABLE_ID | TABLE_NAME | FILE_FORMAT | ROW_FORMAT | SPACE_TYPE | INDEX_ID | INDEX_NAME | PAGE_NO | INDEX_TYPE | +-------------+----------+------------+-------------+------------+------------+----------+------------+---------+------------+ |        1283 |     1207 | test/user | Barracuda   | Dynamic    | Single     |     2236 | PRIMARY    |       3 |          3 | +-------------+----------+------------+-------------+------------+------------+----------+------------+---------+------------+ 1 row in set (0.01 sec)  PAGE_NO = 3 標識B-tree的root page是3號頁，INDEX_TYPE = 3是聚集索引。 INDEX_TYPE取值如下： 0 = nonunique secondary index;  1 = automatically generated clustered index (GEN_CLUST_INDEX);  2 = unique nonclustered index;  3 = clustered index;  32 = full-text index; #收縮空間再后進行觀察

MySQL內部不會真正刪除空間，而且做標記刪除，即將delflag:N修改為delflag:Y，commit之后會會被purge進入刪除鏈表，如果下一次insert更大的記錄，delete之后的空間不會被重用，如果插入的記錄小于等于delete的記錄空會被重用，這塊內容可以通過知數(shù)堂的innblock工具進行分析。

Innodb中的碎片

碎片的產(chǎn)生

我們知道數(shù)據(jù)存儲在文件系統(tǒng)上的，總是不能100%利用分配給它的物理空間，刪除數(shù)據(jù)會在頁面上留下一些”空洞”，或者隨機寫入（聚集索引非線性增加）會導致頁分裂，頁分裂導致頁面的利用空間少于50%，另外對表進行增刪改會引起對應的二級索引值的隨機的增刪改，也會導致索引結構中的數(shù)據(jù)頁面上留下一些"空洞"，雖然這些空洞有可能會被重復利用，但終究會導致部分物理空間未被使用，也就是碎片。

同時，即便是設置了填充因子為100%，Innodb也會主動留下page頁面1/16的空間作為預留使用（An innodb_fill_factor setting of 100 leaves 1/16 of the space in clustered index pages free for future index growth）防止update帶來的行溢出。

mysql> select table_schema,     ->        table_name,ENGINE,     ->        round(DATA_LENGTH/1024/1024+ INDEX_LENGTH/1024/1024) total_mb,TABLE_ROWS,     ->        round(DATA_LENGTH/1024/1024) data_mb, round(INDEX_LENGTH/1024/1024) index_mb, round(DATA_FREE/1024/1024) free_mb, round(DATA_FREE/DATA_LENGTH*100,2) free_ratio     -> from information_schema.TABLES where  TABLE_SCHEMA= 'test'     -> and TABLE_NAME= 'user'; +--------------+------------+--------+----------+------------+---------+----------+---------+------------+ | table_schema | table_name | ENGINE | total_mb | TABLE_ROWS | data_mb | index_mb | free_mb | free_ratio | +--------------+------------+--------+----------+------------+---------+----------+---------+------------+ | test         | user      | InnoDB |        4 |      50000 |       4 |        0 |       6 |     149.42 | +--------------+------------+--------+----------+------------+---------+----------+---------+------------+ 1 row in set (0.00 sec)

其中data_free是分配了未使用的字節(jié)數(shù)，并不能說明完全是碎片空間。

碎片的回收

對于InnoDB的表，可以通過以下命令來回收碎片，釋放空間，這個是隨機讀IO操作，會比較耗時，也會阻塞表上正常的DML運行，同時需要占用額外