sql教程欄目介紹如何處理千萬(wàn)單位的記錄。

推薦：sql教程

項(xiàng)目背景

這是給某數(shù)據(jù)中心做的一個(gè)項(xiàng)目，項(xiàng)目難度之大令人發(fā)指，這個(gè)項(xiàng)目真正的讓我感覺(jué)到了，商場(chǎng)如戰(zhàn)場(chǎng)，而我只是其中的一個(gè)小兵，太多的戰(zhàn)術(shù)，太多的高層之間的較量，太多的內(nèi)幕了。具體這個(gè)項(xiàng)目的情況，我有空再寫(xiě)相關(guān)的博文出來(lái)。

這個(gè)項(xiàng)目是要求做環(huán)境監(jiān)控，我們暫且把受監(jiān)控的設(shè)備稱為采集設(shè)備，采集設(shè)備的屬性稱為監(jiān)控指標(biāo)。項(xiàng)目要求：系統(tǒng)支持不少于10w個(gè)監(jiān)控指標(biāo)，每個(gè)監(jiān)控指標(biāo)的數(shù)據(jù)更新不大于20秒，存儲(chǔ)延遲不超過(guò)120秒。那么，我們可以通過(guò)簡(jiǎn)單的計(jì)算得出較理想的狀態(tài)——要存儲(chǔ)的數(shù)據(jù)為：每分鐘30w，每個(gè)小時(shí)1800w，也就是每天4億3千兩百萬(wàn)。而實(shí)際，數(shù)據(jù)量會(huì)比這個(gè)大5%左右。（實(shí)際上大部分是信息垃圾，可以通過(guò)數(shù)據(jù)壓縮進(jìn)行處理的，但是別人就是要搞你，能咋辦）

上面是項(xiàng)目要求的指標(biāo)，我想很多有不少大數(shù)據(jù)處理經(jīng)驗(yàn)的同學(xué)都會(huì)呲之以鼻，就這么點(diǎn)？嗯，我也看了很多大數(shù)據(jù)處理的東西，但是之前沒(méi)處理過(guò)，看別人是頭頭是道，什么分布式，什么讀寫(xiě)分離，看起來(lái)確實(shí)很容易解決。但是，問(wèn)題沒(méi)這么簡(jiǎn)單，上面我說(shuō)了，這是一個(gè)非常惡劣的項(xiàng)目，是一個(gè)行業(yè)惡性競(jìng)爭(zhēng)典型的項(xiàng)目。

1. 沒(méi)有