8 月 31 日-9 月 4 日，第 46 屆 VLDB 會議以線上直播的方式舉行(原定于日本東京召開)，PingCAP 團隊的論文《TiDB: A Raft-based HTAP Database 》入選 VLDB 2020，成為業(yè)界第一篇 Real-time HTAP 分布式數(shù)據(jù)庫工業(yè)實現(xiàn)的論文。PingCAP 聯(lián)合創(chuàng)始人、CTO 黃東旭獲邀在會上進行演講，分享關于論文的深度解讀及在線答疑。

　　VLDB(International Conference on Very Large Databases)是數(shù)據(jù)庫領域頂尖的三大學術會議之一，于 1975 年在美國成立，由非盈利性機構(gòu) VLDB 基金會贊助和運營，以在全球普及數(shù)據(jù)庫技術研究和交流作為使命。

　　在本篇論文中，PingCAP 重點介紹了其研發(fā)的 TiDB 作為一款定位于在線事務處理和在線實時分析(HTAP)混合負載融合型分布式數(shù)據(jù)庫產(chǎn)品的系統(tǒng)架構(gòu)和核心特性。TiDB 受 Google 發(fā)布的 Spanner / F1 論文 ，以及 2014 年 Stanford 工業(yè)級分布式一致性協(xié)議算法 Raft 論文的啟發(fā)。經(jīng)過 5 年多的產(chǎn)品研發(fā)、生產(chǎn)環(huán)境上線驗證，取得了一系列成果，此次被 VLDB 2020 收錄也是對學術界的反哺。

　　HTAP(Hybrid Transactional / Analytical Processing) 是近些年為數(shù)據(jù)庫界所關注的研究方向。HTAP 數(shù)據(jù)庫需要能夠同時兼具處理交易以及分析兩種作業(yè)的能力，這使得交易數(shù)據(jù)能夠被實時分析，大大縮短決策的周期，同時大幅簡化平臺架構(gòu)。

　　但是 HTAP 能力并不容易構(gòu)建：交易業(yè)務需要行存，分析業(yè)務仰賴列存，且列存往往難于實時更新。以往的分析平臺往往需要將數(shù)據(jù)從行存的交易庫向列存的分析庫進行數(shù)據(jù)遷移，這使得我們的數(shù)據(jù)分析往往基于歷史數(shù)據(jù)。現(xiàn)今越來越多的用戶不再滿足于基于對歷史數(shù)據(jù)進行分析，而是希望能用更新鮮的數(shù)據(jù)支持決策。例如生鮮零售業(yè)，基于更新鮮的數(shù)據(jù)進行物流調(diào)度可以大大減少貨損。

　　技術上來說，Real-time HTAP 并不容易實現(xiàn)。首先，數(shù)據(jù)庫需要同時具備行存和列存兩種能力;并且列存需要能實時反映行存的變更;最后，兩種業(yè)務需要能互相之間無干擾運行。

　　TiDB 最新版本中引入了專為 Real-time HTAP 場景設計的以 Raft 為基礎的行列混合體系。本論文也是以這個架構(gòu)為主軸來闡述其獨特之處。

　　TiDB 為支持 Real-time HTAP 架構(gòu)實現(xiàn)了：

　　可實時更新的列存。與傳統(tǒng)的列存不同，TiDB 實現(xiàn)了一套可實時根據(jù)主鍵更新的列存引擎，并使用了與 TiKV 的 LSM 不同的 DeltaTree 設計，避免了范圍讀取下 LSM 多路歸并負擔過重的問題。

　　通過以 Raft Learner 角色加入 Multi-Raft 副本體系，以異步的方式進行從行到列的數(shù)據(jù)復制，以求盡最小化對在線交易業(yè)務的影響。同時，雖然是異步復制，通過共識協(xié)議的 Learner Read 算法，TiFlash 仍然可以提供一致性的讀取效果。

　　通過與行存一致的代價估算模型，TiDB 可以智能選取行存，列存或者混合的方式響應查詢，以期獲得最佳性能。

　　以上是 TiDB HTAP 架構(gòu)圖，與以往不同的是，新的架構(gòu)下增加了 TiFlash 列式存儲節(jié)點。通過 Raft 共識算法進行復制，每個 Region 可以擁有行存和列存兩種副本，而用戶查詢會根據(jù)統(tǒng)計信息和代價估算自動選擇副本類型。

　　TiDB 創(chuàng)新性地利用 Raft 共識協(xié)議同時實現(xiàn)了行列混合，負載隔離，以及異步復制下的一致性讀取，為 HTAP 架構(gòu)設計提供了新的思路。PingCAP 聯(lián)合創(chuàng)始人、CTO 黃東旭表示，我們相信，HTAP 將會隨著業(yè)務對實時決策的需求不斷增加而越來越普及，與此同時，希望我們的探索可以啟發(fā)其他數(shù)據(jù)庫開發(fā)者。

　　TiDB 目前已經(jīng)有近 1000 家海內(nèi)外頭部公司用戶將其用于線上生產(chǎn)環(huán)境，涉及互聯(lián)網(wǎng)、游戲、銀行、保險、證券、航空、制造業(yè)、電信、新零售、政府等多個行業(yè)。包括國內(nèi)的光大銀行、北京銀行、微眾銀行、美團點評、中通快遞、知乎、愛奇藝等;海外用戶如日本最大的支付公司 Paypay，視頻公司 U-Next， 越南的獨角獸 VNG，以及支付公司 ZaloPay，印度的 Zomato，BookMyShow，東南亞最大的電商 Shopee，法國視頻互聯(lián)網(wǎng)公司 Dailymotion 等，目前已經(jīng)成為業(yè)內(nèi)的分布式數(shù)據(jù)庫事實標準。

　　本文于 2020 年八月的 PVLDB, Volume 13, Issue 12 刊登。論文下載地址：http://www.vldb.org/pvldb/vol13/p3072-huang.pdf

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內(nèi)容。本站不承擔此類作品侵權(quán)行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。