Linux傳統(tǒng)IO

大家好，我是一段躺在Linux磁盤(pán)上的數(shù)據(jù)。現(xiàn)在要把我從磁盤(pán)發(fā)到網(wǎng)卡，需要經(jīng)過(guò)以下步驟：

讀操作

如上圖：操作系統(tǒng)把內(nèi)存分為了內(nèi)核空間和用戶(hù)空間。首先位于用戶(hù)空間的應(yīng)用程序使用發(fā)起數(shù)據(jù)讀操作，比如JVM發(fā)起read()系統(tǒng)調(diào)用。這個(gè)時(shí)候操作系統(tǒng)會(huì)進(jìn)行一次上下文切換：從用戶(hù)空間切換到內(nèi)核空間。

然后內(nèi)核空間通知磁盤(pán)，內(nèi)核把我從磁盤(pán)copy到內(nèi)核緩沖區(qū)。這個(gè)過(guò)程是由一個(gè)叫“DMA（Direct memory access）”的硬件來(lái)做的，所以不需要CPU的參與。

然后內(nèi)核把我從內(nèi)核緩沖區(qū)copy到應(yīng)用程序緩沖區(qū)，這里需要CPU的參與。

最后進(jìn)行上下文切換，又換回到用戶(hù)空間的上下文。

整個(gè)讀操作的過(guò)程需要兩次上下文切換和兩次copy。

相關(guān)學(xué)習(xí)推薦：Java視頻教程

寫(xiě)操作

寫(xiě)操作與讀操作類(lèi)似，只是方向相反而已，仍然需要兩次上下文切換和兩次數(shù)據(jù)的copy。我可能會(huì)被寫(xiě)到磁盤(pán)，也可能會(huì)被寫(xiě)到網(wǎng)卡。

內(nèi)存映射

從上面的過(guò)程可以看到，如果想把我從磁盤(pán)發(fā)送到網(wǎng)卡，需要總共4次上下文切換和4次copy操作。我被操作系統(tǒng)在內(nèi)核空間和用戶(hù)空間之間來(lái)回復(fù)制，但其實(shí)我在這期間什么也沒(méi)有做，什么也沒(méi)有變化，就是復(fù)制而已，所以這個(gè)IO模型太浪費(fèi)操作系統(tǒng)資源了，我被復(fù)制這么多次，身心疲憊。而且操作系統(tǒng)的資源是非常寶貴滴~

現(xiàn)在主流的操作系統(tǒng)都使用了虛擬內(nèi)存。簡(jiǎn)單來(lái)說(shuō)，就是用虛擬地址取代物理地址，這樣做可以讓多個(gè)虛擬內(nèi)存只想同一個(gè)物理地址，虛擬內(nèi)存的空間可以遠(yuǎn)遠(yuǎn)大于物理內(nèi)存的空間。

那如果操作系統(tǒng)能夠把用戶(hù)空間的應(yīng)用程序緩沖區(qū)和內(nèi)核空間的內(nèi)核緩沖區(qū)映射到同一個(gè)物理地址，那豈不是就少了很多復(fù)制的過(guò)程？如下圖：

Linux零拷貝

所以為了解決這個(gè)問(wèn)題，聰明的Linux開(kāi)發(fā)者們寫(xiě)了一些新的系統(tǒng)調(diào)用來(lái)做這個(gè)事。主要有兩種方式：

• mmap + write
• sendfile

mmap + write

mmap()系統(tǒng)調(diào)用首先會(huì)使用DMA copy的方式將我從磁盤(pán)讀取到內(nèi)核緩沖區(qū)，然后通過(guò)內(nèi)存映射的方式，使用戶(hù)緩沖區(qū)和內(nèi)核讀緩沖區(qū)的內(nèi)存地址為同一內(nèi)存地址，也就是說(shuō)，不需要CPU再將我從內(nèi)核讀緩沖區(qū)復(fù)制到用戶(hù)緩沖區(qū)啦！

當(dāng)使用write()系統(tǒng)調(diào)用的時(shí)候，CPU將我從內(nèi)核緩沖區(qū)（等同于用戶(hù)緩沖區(qū)）直接寫(xiě)入到需要發(fā)送的內(nèi)核緩沖區(qū)，比如網(wǎng)絡(luò)發(fā)送緩沖區(qū)（socket buffer），然后通過(guò)DMA的方式將我傳入到網(wǎng)卡驅(qū)動(dòng)程序（或磁盤(pán)）中準(zhǔn)備發(fā)送。

mmap + write的方式讀寫(xiě)數(shù)據(jù)總共需要兩次系統(tǒng)調(diào)用，4次上下文切換，2次DMA Copy和1次CPU Copy。

sendfile

sendfile也是一個(gè)系統(tǒng)調(diào)用，它其實(shí)本質(zhì)上就是把上述兩個(gè)系統(tǒng)調(diào)用的功能合起來(lái)，變成了一個(gè)調(diào)用。這樣做的好處是，操作系統(tǒng)只需要2次上下文切換了，減少了2次上下文切換的開(kāi)銷(xiāo)。

gather

Linux2.4內(nèi)核對(duì)sendfile進(jìn)行了優(yōu)化，提供了gather操作，這個(gè)操作可以把上圖中的最后一次CPU copy去掉，原理就是不復(fù)制數(shù)據(jù)，而是把數(shù)據(jù)在之前的內(nèi)核緩沖區(qū)（比如圖中的案例是Read Buffer）的內(nèi)存地址、偏移量記錄發(fā)送給目標(biāo)內(nèi)核緩沖區(qū)（比如圖中案例的Socket Buffer），這樣在最后的DMA copy階段就可以拿著這個(gè)指針直接去找數(shù)據(jù)copy了。

Java NIO使用零拷貝

Linux的零拷貝確實(shí)能夠節(jié)約一些操作系統(tǒng)的資源。所以Java的NIO為了支持零拷貝，提供了一些類(lèi)：

• DirectByteBuffer
• FileChannel

在之前的《Java NIO – Buffer》這篇文章里大概介紹了DirectByteBuffer。ByteBuffer主要有兩種實(shí)現(xiàn)，一種是DirectByteBuffer， 一種是HeapByteBuffer。

其中，DirectByteBuffer直接在堆外分配內(nèi)存，底層是直接通過(guò)JNI調(diào)用操作系統(tǒng)的NIO系統(tǒng)調(diào)用，所以性能會(huì)比較高。而HeapByteBuffer是堆內(nèi)內(nèi)存，而且數(shù)據(jù)需要多一次拷貝，所以性能比較低。

FileChannel是Java NIO提供的用于復(fù)制文件的類(lèi)，可以把文件復(fù)制到磁盤(pán)或者網(wǎng)絡(luò)等。

map方法其實(shí)就是采用了操作系統(tǒng)中的內(nèi)存映射方式，將內(nèi)核緩沖區(qū)的內(nèi)存和用戶(hù)緩沖區(qū)的內(nèi)存做了一個(gè)地址映射。

transferTo方法直接將當(dāng)前通道內(nèi)容傳輸?shù)搅硪粋€(gè)通道，也就是說(shuō)這種方式不會(huì)有內(nèi)核緩沖區(qū)到用戶(hù)緩沖區(qū)的讀寫(xiě)問(wèn)題。底層是sendfile系統(tǒng)調(diào)用。transferFrom方法同理。

示例代碼：

File file = new File("test.txt");RandomAccessFile raf = new RandomAccessFile(file, "rw");FileChannel fileChannel = raf.getChannel();SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("", 8080));// 直接使用了transferTo()進(jìn)行通道間的數(shù)據(jù)傳輸fileChannel.transferTo(0, fileChannel.size(), socketChannel);

作者：公眾號(hào)_xy的技術(shù)圈

鏈接：www.imooc.com/article/289550

來(lái)源：慕課網(wǎng)

以上內(nèi)容來(lái)自幕課網(wǎng)

零拷貝的再次理解

1. 零拷貝，是從操作系統(tǒng)的角度來(lái)說(shuō)的。因?yàn)閮?nèi)核緩沖區(qū)之間，沒(méi)有數(shù)據(jù)是重復(fù)的（只有 kernel buffer 有一份數(shù)據(jù)）。

2. 零拷貝不僅僅帶來(lái)更少的數(shù)據(jù)復(fù)制，還能帶來(lái)其他的性能優(yōu)勢(shì)，例如更少的上下文切換，更少的 CPU 緩存?zhèn)喂蚕硪约盁o(wú) CPU 校驗(yàn)和計(jì)算。

mmap和sendFile的區(qū)別

1. mmap 適合小數(shù)據(jù)量讀寫(xiě)，sendFile 適合大文件傳輸。

2. mmap 需要 4 次上下文切換，3 次數(shù)據(jù)拷貝；sendFile 需要 3 次上下文切換，最少 2 次數(shù)據(jù)拷貝。

3. sendFile 可以利用 DMA 方式，減少 CPU 拷貝，mmap 則不能（必須從內(nèi)核拷貝到 Socket 緩沖區(qū)）。