站長資訊網(wǎng)本篇文章給大家?guī)砹岁P(guān)于PHP+csv的相關(guān)知識，其中主要介紹了php百萬數(shù)據(jù)怎么通過腳本文件寫入csv的相關(guān)內(nèi)容，下面一起來看看怎么實(shí)現(xiàn)的吧，希望對大家有幫助。
需求：
百萬數(shù)據(jù)寫入 csv。
框架：
N 多年前老框架，百度都搜不到了，所以寫法趨近原生
分析：
數(shù)據(jù)量過大，不能用瀏覽器請求寫入 csv 下載，所以寫個(gè)腳本調(diào)取
偽代碼：
//xxx - 根據(jù)自己項(xiàng)目替換 //調(diào)取腳本文件 exec(xxx); //腳本文件 //設(shè)置執(zhí)行時(shí)間和內(nèi)存 set_time_limit(0); ini_set('memory_limit', '128M'); //循環(huán)獲取 $id = 0; $data = 'xxx'.'n';//表頭 while(true){ //SQL $list = xxx WHERE id > $id ORDER BY id ASC LIMIT 10000; //每次取1w防止數(shù)據(jù)庫壓力大,根據(jù)sql來，我這個(gè)有聯(lián)表， if(empty($list)){ break; } foreach($list as $row){ $data .= '"' . $row['xxx'] . '",'; $data .= "n"; $id = $row['id'];//更新最大id } //追加寫入csv file_put_contents('xxx', mb_convert_encoding($data, 'gbk'),FILE_APPEND); unset($data);//基礎(chǔ)不好不確定初始化能不能清內(nèi)存就先unset了 $data = '';//初始化 }
登錄后復(fù)制
本質(zhì)上就是分批寫入，剛開始試驗(yàn)的時(shí)候是打算不把 file_put_contents 寫在循環(huán)里的，后來發(fā)現(xiàn)數(shù)據(jù)量大的時(shí)候，幾十萬數(shù)據(jù) $data 內(nèi)存就超了另外如果超百萬數(shù)據(jù)的話需要做分文件導(dǎo)出，excel 不支持打開超過 1048576 行，理論上就是加個(gè) $all_count 參數(shù)計(jì)當(dāng)前查詢的總數(shù)，超過百萬再加新文件。
如果有更好的方法，或者代碼優(yōu)化部分歡迎討論。
推薦學(xué)習(xí)：《PHP視頻教程》
