下面由golang教程欄目給大家介紹兩個(gè)Golang超大文件讀取的方案，希望對(duì)需要的朋友有所幫助！

Golang超大文件讀取的兩個(gè)方案

1.流處理方式

2.分片處理

去年的面試中我被問到超大文件你怎么處理，這個(gè)問題確實(shí)當(dāng)時(shí)沒多想，回來之后仔細(xì)研究和討論了下這個(gè)問題，對(duì)大文件讀取做了一個(gè)分析

比如我們有一個(gè)log文件，運(yùn)行了幾年，有100G之大。按照我們之前的操作可能代碼會(huì)這樣寫：

func ReadFile(filePath string) []byte{     content, err := ioutil.ReadFile(filePath)     if err != nil {         log.Println("Read error")     }     return content }

上面的代碼讀取幾兆的文件可以，但是如果大于你本身及其內(nèi)存，那就直接翻車了。因?yàn)樯厦娴拇a，是把文件所有的內(nèi)容全部都讀取到內(nèi)存之后返回，幾兆的文件，你內(nèi)存夠大可以處理，但是一旦上幾百兆的文件，就沒那么好處理了。那么，正確的方法有兩種，第一個(gè)是使用流處理方式代碼如下：

func ReadFile(filePath string, handle func(string)) error {     f, err := os.Open(filePath)     defer f.Close()     if err != nil {         return err     }     buf := bufio.NewReader(f)      for {         line, err := buf.ReadLine("n")         line = strings.TrimSpace(line)         handle(line)         if err != nil {             if err == io.EOF{                 return nil             }             return err         }         return nil     } }

第二個(gè)方案就是分片處理，當(dāng)讀取的是二進(jìn)制文件，沒有換行符的時(shí)候，使用下面的方案一樣處理大文件

func ReadBigFile(fileName string, handle func([]byte)) error {     f, err := os.Open(fileName)     if err != nil {         fmt.Println("can't opened this file")         return err     }     defer f.Close()     s := make([]byte, 4096)     for {         switch nr, err := f.Read(s[:]); true {         case nr < 0:             fmt.Fprintf(os.Stderr, "cat: error reading: %sn