淺談Linux的內存管理機制

一 物理內存和虛擬內存

我們知道,直接從物理內存讀寫數據要比從硬碟讀寫數據要快的多,因此,我們希望所有數據的讀取和寫入都在內存完成,而內存是有限的,這樣就引出了物理內存與虛擬內存的概念.
物理內存就是系統硬體提供的內存大小,是真正的內存,相對於物理內存,在linux下還有一個虛擬內存的概念,虛擬內存就是為了滿足物理內存的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯內存,用作虛擬內存的磁碟空間被稱為交換空間（Swap Space）.
作為物理內存的擴展,linux會在物理內存不足時,使用交換分區的虛擬內存,更詳細的說,就是內核會將暫時不用的內存塊信息寫到交換空間,這樣以來,物理內存得到了釋放,這塊內存就可以用於其它目的,當需要用到原始的內容時,這些信息會被重新從交換空間讀入物理內存.
linux的內存管理採取的是分頁存取機制,為了保證物理內存能得到充分的利用,內核會在適當的時候將物理內存中不經常使用的數據塊自動交換到虛擬內存中,而將經常使用的信息保留到物理內存.
要深入了解linux內存運行機制,需要知道下面提到的幾個方面：
首先,Linux系統會不時的進行頁面交換操作,以保持儘可能多的空閑物理內存,即使並沒有什麼事情需要內存,Linux也會交換出暫時不用的內存頁面.這可以避免等待交換所需的時間.
其次,linux進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬內存,linux內核根據”最近最經常使用“演算法,僅僅將一些不經常使用的頁面文件交換到虛擬內存,有時我們會看到這麼一個現象：linux物理內存還有很多,但是交換空間也使用了很多.其實,這並不奇怪,例如,一個佔用很大內存的進程運行時,需要耗費很多內存資源,此時就會有一些不常用頁面文件被交換到虛擬內存中,但後來這個佔用很多內存資源的進程結束並釋放了很多內存時,剛才被交換出去的頁面文件並不會自動的交換進物理內存,除非有這個必要,那麼此刻系統物理內存就會空閑很多,同時交換空間也在被使用,就出現了剛才所說的現象了.關於這點,不用擔心什麼,只要知道是怎麼一回事就可以了.

,交換空間的頁面在使用時會首先被交換到物理內存,如果此時沒有足夠的物理內存來容納這些頁面,它們又會被馬上交換出去,如此以來,虛擬內存中可能沒有足夠空間來存儲這些交換頁面,最終會導致linux出現假死機、服務異常等問題,linux雖然可以在一段時間內自行恢復,但是恢復后的系統已經基本不可用了.
因此,合理規劃和設計linux內存的使用,是非常重要的.

二 內存的監控
作為一名linux系統管理員,監控內存的使用狀態是非常重要的,通過監控有助於了解內存的使用狀態,比如內存佔用是否正常,內存是否緊缺等等,監控內存最常使用的命令有free、top等,下面是某個系統free的輸出：
[haixigov@WEBServer ~]$ free
total used free shared buffers cached
Mem: 16402432 16360492 41940 0 465404 12714880
-/ buffers/cache: 3180208 13222224
Swap: 8193108 264 8192844
我們解釋下輸出結果中每個選項的含義：
首先是第一行：
 total：物理內存的總大小.
 used：已經使用的物理內存多小.
 free：空閑的物理內存值.
 shared：多個進程共享的內存值.
 buffers/cached：磁碟緩存的大小.
第二行Mem：代表物理內存使用情況.
第三行(-/ buffers/cached)：代表磁碟緩存使用狀態.
第四行：Swap表示交換空間內存使用狀態.
free命令輸出的內存狀態,可以通過兩個角度來查看：一個是從內核的角度來看,一個是從應用層的角度來看的.

1．從內核的角度來查看內存的狀態
就是內核目前可以直接分配到,不需要額外的操作,即為上面free命令輸出中第二行Mem項的值,可以看出,此系統物理內存有16G,空閑的內存只有41940K,也就是40M多一點,我們來做一個這樣的計算：

16402432－16360492＝41940
其實就是總的物理內存減去已經使用的物理內存得到的就是空閑的物理內存大小,注意這裡的可用內存值41940並不包含處於buffers和cached狀態的內存大小.
如果你認為這個系統空閑內存太小,那你就錯了,實際上,內核完全控制著內存的使用情況,linux會在需要內存的時候,或在系統運行逐步推進時,將buffers和cached狀態的內存變為free狀態的內存,以供系統使用.

2．從應用層的角度來看系統內存的使用狀態
也就是linux上運行的應用程序可以使用的內存大小,即free命令第三行“(-/ buffers/cached)”的輸出,可以看到,此系統已經使用的內存才3180208K,而空閑的內存達到13222224K,繼續做這樣一個計算：
41940＋（465404＋12714880）＝13222224
通過這個等式可知,應用程序可用的物理內存值是Mem項的free值加上buffers和cached值之和,也就是說,這個free值是包括buffers和cached項大小的,
對於應用程序來說,buffers/cached佔有的內存是可用的,buffers/cached是為了提高文件讀取的性能,當應用程序需要用到內存的時候,buffers/cached會很快地被回收,以供應用程序使用.

3．buffers與cached的異同
　在 Linux 操作系統中,當應用程序需要讀取文件中的數據時,操作系統先分配一些內存,將數據從磁碟讀入到這些內存中,然後再將數據分發給應用程序；當需要往文件中寫數據時,操作系統先分配內存接收用戶數據,然後再將數據從內存寫到磁碟上.然而,如果有大量數據需要從磁碟讀取到內存或者由內存寫入磁碟時,系統的讀寫性能就變得非常低下,無論是從磁碟讀數據,還是寫數據到磁碟,都是一個很消耗時間和資源的過程,在這種情況下,linux引入了buffers和cached機制.

buffers與cached都是內存操作,用來保存系統曾經打開過的文件以及文件屬性信息,這樣當操作系統需要讀取某些文件時,會首先在buffers與cached內存區查找,如果找到,直接讀出傳送給應用程序,如果沒有找到需要數據,才從磁碟讀取,這就是操作系統的緩存機制,通過緩存,大大提高了操作系統的性能.但buffers與cached緩衝的內容卻是不同的.
buffers是用來緩衝塊設備做的,它只記錄文件系統的元數據（metadata）以及 tracking in-flight pages,而cached是用來給文件做緩衝.更通俗一點說：buffers主要用來存放目錄裡面有什麼內容,文件的屬性以及許可權等等.而cached直接用來記憶我們打開過的文件和程序.
為了驗證我們的結論是否正確,可以通過vi打開一個非常大的文件,看看cached的變化,然後再次vi這個文件,感覺一下兩次打開的速度有何異同,是不是第二次打開的速度明顯快於第一次呢？
接著執行下面的命令：
find /* -name *.conf
看看buffers的值是否變化,然後重複執行find命令,看看兩次顯示速度有何不同.
Linux操作系統的內存運行原理,很大程度上是根據伺服器的需求來設計的,例如系統的緩衝機制會把經常使用到的文件和數據緩存在cached中,linux總是在力求緩存更多的數據和信息,這樣再次需要這些數據時可以直接從內存中取,而不需要有一個漫長的磁碟操作,這種設計思路提高了系統的整體性能.

三 交換空間swap的使用
雖然現在的內存已經變得非常廉價,但是swap仍然有很大的使用價值,合理的規劃和使用swap分區,對系統穩定運行至關重要.Linux下可以使用文件系統中的一個常規文件或者一個獨立分區作為交換空間使用.同時linux允許使用多個交換分區或者交換文件.

1．創建swap交換空間
創建交換空間所需的交換文件是一個普通的文件,但是,創建交換文件與創建普通文件不同,必須通過dd命令來完成,同時這個文件必須位於本地硬碟上,不能在網路文件系統（NFS）上創建swap交換文件.例如：
[root@localhost ~]# dd if=/dev/zero of=/data/swapfile bs=1024 count=65536
65536 0 records in
65536 0 records out
這樣就創建一個有連續空間的交換文件,大小為60M左右,關於dd命令做簡單的講述:
if＝輸入文件,或者設備名稱.
of＝輸出文件或者設備名稱.
ibs=bytes 表示一次讀入bytes 個位元組(即一個塊大小為 bytes 個位元組).
obs=bytes 表示一次寫bytes 個位元組(即一個塊大小為 bytes 個位元組).
bs＝bytes,同時設置讀寫塊的大小,以bytes為單位,此參數可代替 ibs 和 obs.
count=blocks 僅拷貝blocks個塊.
skip=blocks 表示從輸入文件開頭跳過 blocks 個塊后再開始複製.
seek=blocks表示從輸出文件開頭跳過 blocks 個塊后再開始複製.(通常只有當輸出文件是磁碟或磁帶時才有效)
這裡的輸入設備/dev/zero代表一個輸出永遠為0的設備文件,使用它作輸入可以得到全為空的文件.

2．激活和使用swap
首先通過mkswap命令指定作為交換空間的設備或者文件：
[root@localhost ~]#mkswap /data/swapfile
Setting up swapspace version 1, size = 67104 kB
[root@localhost backup]# free
total used free shared buffers cached
Mem: 2066632 1998188 68444 0 26160 1588044
-/ buffers/cache: 383984 1682648
Swap: 4088500 101036 3987464
從上面輸出可知,我們指定了一個67104 kB的交換空間,而此時新建的交換空間還未被使用,下面簡單介紹下mkswap命令,mkswap的一般使用格式為：

mkswap [參數] [設備名稱或文件][交換區大小]
參數：
-c：建立交換區前,先檢查是否有損壞的區塊.
-v0：建立舊式交換區,此為預設值.
-v1：建立新式交換區.
交換區大小：指定交換區的大小,單位為1024位元組.
設置交換分區后,接著通過swapon命令激活swap：
[root@localhost ~]#/usr/sbin/swapon /data/swapfile
[root@localhost backup]# free
total used free shared buffers cached
Mem: 2066632 1997668 68964 0 27404 1588880
-/ buffers/cache: 381384 1685248
Swap: 4154028 100976 4053052
通過free命令可以看出,swap大小已經由4088500k變為4154028k,相差的值是60M左右,剛好等於我們增加的一個交換文件大小,這說明新增的交換分區已經可以使用了,但是如果linux重啟,那麼新增的swap空間將變得不可用,因此需要在/etc/fstab中添加自動載入設置：
/data/swapfile none swap sw 0 0
如此以來,linux在重啟后就可以實現自動載入swap分區了.其實linux在啟動過程中會執行“swapon -a”命令,此命令會載入列在/etc/fstab中的所有交換空間.

3．移除swap
通過swapoff即可移除一個交換空間
[root@localhost ~]#/usr/sbin/swapoff /data/swapfile
其實也可以通過“swapoff -a”移除在/etc/fstab中定義的所有交換空間,這裡的“swapoff -a”與上面提到的“swapon -a”對應.執行“swapoff -a”后,free命令輸出如下：
[root@localhost backup]# free
total used free shared buffers cached
Mem: 2066632 2048724 17908 0 30352 1642748
-/ buffers/cache: 375624 1691008

Swap: 0 0 0

本文出自 「技術成就夢想」 博客,請務必保留此出處http://ixdba.blog.51cto.com/2895551/541355

Tags: linux system 系統