【系統監控】效能監測 vmstat,mpstat,iostat
一、系統整體效能監測工具：uptime
[root@WebServer ~]# uptime （同w命令輸出的第一行資訊） 09:40:52 up 5 days, 57 min, 1 user, load average: 0.00, 0.00, 0.00
uptime命令用於檢視伺服器運行了多長時間以及有多少個使用者登入，快速獲知伺服器執行的負載情況。
load average，顯示了最近1，5，15分鐘的負荷情況。
它的值代表等待CPU處理的程序數，如果CPU沒有時間處理這些程序，load average值會升高；反之則會降低。
在CPU數量不同的情況下，值有所不同。
二、CPU監測：mpstat （請參考MAN手冊）
mpstat 1111[1秒重新整理，111次] 語法：mpstat [ options... ] [ <interval> [ <count> ] ] [root@WebServer ~]# mpstat 1 Linux 2.6.9-89.ELsmp (WebServer) 08/18/09 10:08:25 CPU %user %nice %system %iowait %irq %soft %idle intr/s 10:08:26 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1005.00 10:08:27 all 0.00 0.00 0.00 0.12 0.00 0.00 99.88 1031.00 10:08:28 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1009.00 10:08:29 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1030.00 10:08:30 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1006.00
-
1.CPU （處理器編號，all表示所有處理器的平均數值）
Processor number. The keyword all indicates that statistics are calculated as averages among all processors.
-
2.%user （使用者態的CPU利用率百分比）
Show the percentage of CPU utilization that occurred while executing at the user level (application).
-
3.%nice （使用者態的優先級別CPU的利用率百分比）
Show the percentage of CPU utilization that occurred while executing at the user level with nice priority.
-
4.%system （核心態的CPU利用率百分比）
Show the percentage of CPU utilization that occurred while executing at the system level (kernel). Note that
this does not include the time spent servicing interrupts or softirqs.
-
5.%iowait （在interval間段內io的等待百分比，interval 為取樣頻率，如本文的1為每一秒鐘取樣一次）
Show the percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.
-
6.%irq （在interval間段內,CPU的中斷百分比）
Show the percentage of time spent by the CPU or CPUs to service interrupts.
-
7.%soft （在interval間段內,CPU的軟中斷百分比）
Show the percentage of time spent by the CPU or CPUs to service softirqs. A softirq (software interrupt) is
one of up to 32 enumerated software interrupts which can run on multiple CPUs at once.
-
8.%idle （在interval間段內，CPU的閒置百分比，不包括I/O請求的等待）
Show the percentage of time that the CPU or CPUs were idle and the system did not have an outstanding
disk I/O request.
-
9.intr/s （在interval間段內所有的CPU每秒中斷數）
Show the total number of interrupts received per second by the CPU or CPUs.
三、記憶體監測：vmstat （請參考MAN手冊）
vmstat是一個很全面的效能分析工具，可以觀察到系統的程序狀態、記憶體使用、虛擬記憶體使用、磁碟的IO、中斷、上下文切換、CPU使用等。對於 Linux 的效能分析，100%理解 vmstat 輸出內容的含義，並能靈活應用，那對系統性能分析的能力就算是基本掌握了。
下面是vmstat命令的輸出結果：
[root@monitor-www ~]# vmstat 1 5 procs — ———–memory——————–swap——io—– —-system— —–cpu— rbswpdfreebuffcachesi sobiboincsus syid wa st 1 0 84780 909744 267428 19120760 020940021951 0 1 2 84780 894968 267428 19122160 00 13962301 1133783890 0 1 0 84780 900680 267428 19123400 0 76 14281854 808272900 0 1 0 84780 902544 267432 19125480 0 116 9281655 750272920 0 2 0 84780 900076 267432 19129480 0 180 904 1963 8703103870 0
對輸出解釋如下：
1）procs
a.r 列表示執行和等待CPU時間片的程序數，這個值如果長期大於系統CPU個數，就說明CPU資源不足，可以考慮增加CPU；
b.b列表示在等待資源的程序數，比如正在等待I/O或者記憶體交換等。
2）memory
a.swp 列表示切換到記憶體交換區的記憶體數量（以KB為單位）。如果swp的值不為0或者比較大，而且si、so的值長期為0，那麼這種情況一般不用擔心，不會影響系統性能；
b.free列表示當前空閒的實體記憶體數量（以KB為單位）；
c. buff列表示buffers cache的記憶體數量，一般對塊裝置的讀寫才需要緩衝；
d. cache列表示page cached的記憶體數量，一般作檔案系統的cached，頻繁訪問的檔案都會被cached。如果cached值較大，就說明cached檔案數較多。如果此時IO中的bi比較小，就說明檔案系統效率比較好。
3）swap
a.si列表示由磁碟調入記憶體 ，也就是記憶體進入記憶體交換區的數量；
b.so 列表示由記憶體調入磁碟 ，也就是記憶體交換區進入記憶體的數量
c.一般情況下，si、so的值都為0，如果si、so的值長期不為0，則表示系統記憶體不足，需要考慮是否增加系統記憶體 。
4）IO
a.bi列表示從塊裝置讀入的資料總量（即讀磁碟，單位KB/秒）
b.bo列表示寫入到塊裝置的資料總量（即寫磁碟，單位KB/秒）
這裡設定的bi+bo參考值為1000，如果超過1000，而且wa值比較大，則表示系統磁碟IO效能瓶頸。
5）system
a.in列表示在某一時間間隔中觀察到的每秒裝置中斷數；
b.cs列表示每秒產生的上下文切換次數。
上面這兩個值越大，會看到核心消耗的CPU時間就越多。
6）CPU
a.us列顯示了使用者程序消耗CPU的時間百分比。us的值比較高時，說明使用者程序消耗的CPU時間多，如果長期大於50%，需要考慮優化程式啥的。
b.sy列顯示了核心程序消耗CPU的時間百分比。sy的值比較高時，就說明核心消耗的CPU時間多；如果us+sy超過80%，就說明CPU的資源存在不足。
c.id列顯示了CPU處在空閒狀態的時間百分比；
d.wa列表示IO等待所佔的CPU時間百分比。wa值越高，說明IO等待越嚴重。如果wa值超過20%，說明IO等待嚴重 。
e.st列一般不關注，虛擬機器佔用的時間百分比。 （Linux 2.6.11）
四、磁碟io效能監測: iostat
iostat 吞吐量
# iostat -x1 avg-cpu:%user%nice %system %iowait%steal%idle 24.130.008.222.500.0065.15 Device:rrqm/swrqm/sr/sw/srsec/swsec/s avgrq-sz avgqu-szawaitsvctm%util sda17.51107.989.9814.52250.06980.0750.203.23131.702.536.19
引數 -d 表示，顯示裝置（磁碟）使用狀態；
-k 某些使用block為單位的列強制使用Kilobytes為單位；
1 10表示，資料顯示每隔1秒重新整理一次，共顯示10次。
tin 顯示了系統為所有 tty 讀取的字元總數。
tout 顯示了系統為所有 tty 寫入的字元總數。
% user 顯示了在使用者級（應用程式）執行時產生的 CPU 使用率百分比。
% sys 顯示了在系統級（核心）執行時產生的 CPU 使用率百分比。
% idle 顯示了在 CPU 空閒並且系統沒有未完成的磁碟 I/O 請求時的時間百分比。
% iowait 顯示了 CPU 空閒期間系統有未完成的磁碟 I/O 請求時的時間百分比。
rrqm/s: 每秒進行 merge 的讀運算元目.即 delta(rmerge)/s
wrqm/s: 每秒進行 merge 的寫運算元目.即 delta(wmerge)/s
r/s: 每秒完成的讀 I/O 裝置次數.即 delta(rio)/s
w/s : 每秒完成的寫 I/O 裝置次數.即 delta(wio)/s
rsec/s: 每秒讀扇區數.即 delta(rsect)/s
wsec/s: 每秒寫扇區數.即 delta(wsect)/s
rkB/s: 每秒讀K位元組數.是 rsect/s 的一半,因為每扇區大小為512位元組.(需要計算)
wkB/s: 每秒寫K位元組數.是 wsect/s 的一半.(需要計算)
avgrq-sz: 平均每次裝置I/O操作的資料大小 (扇區).delta(rsect+wsect)/delta(rio+wio)
avgqu-sz : 平均I/O佇列長度.即 delta(aveq)/s/1000 (因為aveq的單位為毫秒).
await: 平均每次裝置I/O操作的等待時間 (毫秒).即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次裝置I/O操作的服務時間 (毫秒).即 delta(use)/delta(rio+wio)
%util : 一秒中有百分之多少的時間用於 I/O 操作,或者說一秒中有多少時間 I/O 佇列是非空的.即 delta(use)/s/1000 (因為use的單位為毫秒)
如果 %util 接近 100%,說明產生的I/O請求太多,I/O系統已經滿負荷,該磁碟可能存在瓶頸.
idle小於70% IO壓力就較大了,一般讀取速度有較多的wait. 同時可以結合vmstat 檢視檢視b引數(等待資源的程序數) 和wa引數(IO等待所佔用的CPU時間的百分比,高過30%時IO壓力高)
另外 await 的引數也要多和 svctm 來參考.差的過高就一定有 IO 的問題.
avgqu-sz 也是個做 IO
調優時需要注意的地方,這個就是直接每次操作的資料的大小,如果次數多,但資料拿的小的話,其實 IO 也會很小.如果資料拿的大,才IO 的資料會高.也可以通過 avgqu-sz × ( r/s or w/s ) = rsec/s or wsec/s.也就是講,讀定速度是這個來決定的.
Linux系統出現了效能問題，一般我們可以通過top、iostat、free、vmstat等命令來檢視初步定位問題。其中iostat可以給我們提供豐富的IO狀態資料。
1. 基本使用
$iostat -d -k 1 10
引數 -d 表示，顯示裝置（磁碟）使用狀態；-k某些使用block為單位的列強制使用Kilobytes為單位；1 10表示，資料顯示每隔1秒重新整理一次，共顯示10次。
$iostat -d -k 1 10 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 39.29 21.14 1.44 441339807 29990031 sda1 0.00 0.00 0.00 1623 523 sda2 1.32 1.43 4.54 29834273 94827104 sda3 6.30 0.85 24.95 17816289 520725244 sda5 0.85 0.46 3.40 9543503 70970116 sda6 0.00 0.00 0.00 550 236 sda7 0.00 0.00 0.00 406 0 sda8 0.00 0.00 0.00 406 0 sda9 0.00 0.00 0.00 406 0 sda10 60.68 18.35 71.43 383002263 1490928140 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 327.55 5159.18 102.04 5056 100 sda1 0.00 0.00 0.00 0 0
tps：該裝置每秒的傳輸次數（Indicate the number of transfers per second that were issued to the device.）。“一次傳輸”意思是“一次I/O請求”。多個邏輯請求可能會被合併為“一次I/O請求”。“一次傳輸”請求的大小是未知的。
kB_read/s：每秒從裝置（drive expressed）讀取的資料量；
kB_wrtn/s：每秒向裝置（drive expressed）寫入的資料量；
kB_read：讀取的總資料量；
kB_wrtn：寫入的總數量資料量；
這些單位都為Kilobytes。
上面的例子中，我們可以看到磁碟sda以及它的各個分割槽的統計資料，當時統計的磁碟總TPS是39.29，下面是各個分割槽的TPS。（因為是瞬間值，所以總TPS並不嚴格等於各個分割槽TPS的總和）
2.-x 引數
使用-x引數我們可以獲得更多統計資訊。
iostat -d -x -k 1 10 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 1.56 28.31 7.80 31.49 42.51 2.92 21.26 1.46 1.16 0.03 0.79 2.62 10.28 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 2.00 20.00 381.00 7.00 12320.00 216.00 6160.00 108.00 32.31 1.75 4.50 2.17 84.20
rrqm/s：每秒這個裝置相關的讀取請求有多少被Merge了（當系統呼叫需要讀取資料的時候，VFS將請求發到各個FS，如果FS發現不同的讀取請求讀取的是相同Block的資料，FS會將這個請求合併Merge）；wrqm/s：每秒這個裝置相關的寫入請求有多少被Merge了。
rsec/s：每秒讀取的扇區數；wsec/：每秒寫入的扇區數。r/s：The number of read requests that were issued to the device per second；w/s：The number of write requests that were issued to the device per second；
await：每一個IO請求的處理的平均時間（單位是微秒毫秒）。這裡可以理解為IO的響應時間，一般地系統IO響應時間應該低於5ms，如果大於10ms就比較大了。
%util：在統計時間內所有處理IO時間，除以總共統計時間。例如，如果統計間隔1秒，該裝置有0.8秒在處理IO，而0.2秒閒置，那麼該裝置的%util = 0.8/1 = 80%，所以該引數暗示了裝置的繁忙程度。一般地，如果該引數是100%表示裝置已經接近滿負荷運行了 （當然如果是多磁碟，即使%util是100%，因為磁碟的併發能力，所以磁碟使用未必就到了瓶頸）。
3.-c 引數
iostat還可以用來獲取cpu部分狀態值：
iostat -c 1 10 avg-cpu: %user %nice %sys %iowait %idle 1.98 0.00 0.35 11.45 86.22 avg-cpu: %user %nice %sys %iowait %idle 1.62 0.00 0.25 34.46 63.67
4.常見用法
$iostat -d -k 1 10 #檢視TPS和吞吐量資訊 iostat -d -x -k 1 10 #檢視裝置使用率（%util）、響應時間（await） iostat -c 1 10 #檢視cpu狀態
5.例項分析
$iostat -d -k 1 |grep sda10 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda10 60.72 18.95 71.53 395637647 1493241908 sda10 299.02 4266.67 129.41 4352 132 sda10 483.84 4589.90 4117.17 4544 4076 sda10 218.00 3360.00 100.00 3360 100 sda10 546.00 8784.00 124.00 8784 124 sda10 827.00 13232.00 136.00 13232 136
上面看到，磁碟每秒傳輸次數平均約400；每秒磁碟讀取約5MB，寫入約1MB。
iostat -d -x -k 1 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 1.56 28.31 7.84 31.50 43.65 3.16 21.82 1.58 1.19 0.03 0.80 2.61 10.29 sda 1.98 24.75 419.80 6.93 13465.35 253.47 6732.67 126.73 32.15 2.00 4.70 2.00 85.25 sda 3.06 41.84 444.90 54.08 14204.08 2048.98 7102.04 1024.49 32.57 2.10 4.21 1.85 92.24
可以看到磁碟的平均響應時間<5ms，磁碟使用率>80。磁碟響應正常，但是已經很繁忙了。
五、網路監測： lsof （請參考MAN手冊）
由於公司的程式要在一個埠監聽，所以要監測該埠的狀態資訊。這裡用22埠講解
[root@WebServer ~]# lsof -i:22 COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME sshd 11664 root 3u IPv6 109820 TCP 192.168.0.157:22->192.168.0.99:1174 (ESTABLISHED) sshd 24927 root 3u IPv6 62643 TCP *:22 (LISTEN)