系統監控:top vs Htop vs Glances
在開發軟體或監控執行的系統時,遙測和環境監測都很重要。在理解了歷史情境下什麼是正常行為之後,通常兩個最緊迫的問題是:(1)什麼發生了變化?(2)什麼表現出異常?
本文將介紹三個用於臨時監控的流行工具,以及一種用於監控分散式系統的簡單解決方案。
top
在幾乎任何類UNIX的現代作業系統中,您都可以通過輸入top來檢視一些系統性能指標,這些指標每幾秒鐘更新一次。
$ top -b -n2 -d5
top - 09:43:05 up1:08,0 users,load average: 0.52, 0.58, 0.59 Tasks:4 total,1 running,3 sleeping,0 stopped,0 zombie %Cpu0:4.1 us, 22.2 sy,0.0 ni, 72.3 id,0.0 wa,1.4 hi,0.0 si,0.0 st %Cpu1:4.3 us,7.1 sy,0.0 ni, 87.7 id,0.0 wa,0.9 hi,0.0 si,0.0 st %Cpu2:4.4 us,9.0 sy,0.0 ni, 85.3 id,0.0 wa,1.2 hi,0.0 si,0.0 st %Cpu3:3.6 us,6.7 sy,0.0 ni, 88.6 id,0.0 wa,1.0 hi,0.0 si,0.0 st KiB Mem:33431016 total,9521052 used, 23909964 free,34032 buffers KiB Swap: 62455548 total,27064 used, 62428484 free.188576 cached Mem PID USERPRNIVIRTRESSHR S%CPU %MEMTIME+ COMMAND 1 root2008304132104 S0.00.00:00.14 /init ro 3 root20083089656 S0.00.00:00.00 /init ro 4 mark2001785653085192 S0.00.00:00.35 -bash 228 mark2001445216681172 R0.00.00:00.01 top -b -n2 -d5
其二進位制執行過程與Comcast公司的James Warner編寫的top版本最相似。這個版本的top是全新的,並且是作為由包括Lockheed Martin and Heidelberg University在內的各個組織開發人員的合寫版本的替代品開發而成的。
top.c原始碼本身相當簡單,在撰寫本文時,總共有ofollow,noindex" target="_blank">約4900 行C程式碼。目前top仍然處於開發過程中,其原始碼可以在GitLab的procps 倉庫找到。該倉庫中還包含其他工具,包括kill、ps、sysctl、uptime和watch。
其預設佈局一直沒有改變過。但是通過過去幾十年與UNIX系統打交道,每次在一臺新機器上使用top,我都會習慣性地輸入zc1M。
top預設採用單色顯示模式,使用z將切換至指定顏色模式。數字1將顯示單個CPU的狀態,並且能夠突出顯示單個CPU核的負載。我喜歡輸入M,以檢視基於記憶體容量使用壓力排序後的各程序資訊。top總共提供了49個供檢視和排序的指標。
預設情況下,命令會截斷顯示,輸入c會顯示有關其路徑和引數的更多擴充套件資訊。 我唯一不滿意的是命令和引數被截斷了。如果只保留每條命令和引數的開頭與結尾,以便區分不同程序,會更加實用。
top配置的更改只會在當前session有效。為了解決這個問題,輸入大寫的W會預設將當前配置儲存到~/.toprc中。我對該檔案唯一不滿的地方是,它包含了大於0x7F的位元組值,因而不易在top之外對其進行更改。
$ hexdump -C ~/.toprc | head
0000000074 6f 70 27 73 20 43 6f6e 66 69 67 20 46 69 6c|top's Config Fil| 0000001065 20 28 4c 69 6e 75 7820 70 72 6f 63 65 73 73|e (Linux process| 0000002065 73 20 77 69 74 68 2077 69 6e 64 6f 77 73 29|es with windows)| 000000300a 49 64 3a 69 2c 20 4d6f 64 65 5f 61 6c 74 73|.Id:i, Mode_alts| 0000004063 72 3d 30 2c 20 4d 6f64 65 5f 69 72 69 78 70|cr=0, Mode_irixp| 0000005073 3d 31 2c 20 44 65 6c61 79 5f 74 69 6d 65 3d|s=1, Delay_time=| 0000006033 2e 30 2c 20 43 75 7277 69 6e 3d 30 0a 44 65|3.0, Curwin=0.De| 0000007066 09 66 69 65 6c 64 7363 75 72 3d a5 a8 b3 b4|f.fieldscur=....| 00000080bb bd c0 c4 b7 ba b9 c526 27 29 2a 2b 2c 2d 2e|........&')*+,-.| 000000902f 30 31 32 35 36 38 3c3e 3f 41 42 43 46 47 48|/012568<>?ABCFGH|
Htop
2004年,Hisham Muhammad 開始致力於建立一個截然不同的系統遙測監控工具。Htop關注遙測顯示的重新佈局:使用條形圖展示CPU和記憶體的關鍵指標;使用F5快捷鍵,使程序資訊在扁平化列表和層次結構之間切換顯示;通過滑鼠點選,可以實現屬性排序;並且支援7種不同的顏色模式。
該軟體能夠很好地使您停留在應用當中。如果您想要檢視一個程序使用的檔案,您可以選擇該程序,並只需輸入l;如果您想要通過strace執行該程序,在以授權使用者身份執行htop的情況下,只需輸入s。
在Ubuntu 16.04.2 LTS上安裝和執行htop:
$ sudo apt install htop $ htop
1[0.0%]Tasks: 37, 145 thr; 1 running 2[0.0%]Load average: 0.03 0.05 0.07 3[0.0%]Uptime: 01:31:42 4[0.0%] Mem[||||||||||||||||||||||||||||||||1.03G/3.84G] Swp[0K/4.00G] PID USERPRINIVIRTRESSHR S CPU% MEM%TIME+Command 1 root200 3755656684004 S0.00.10:03.03 /sbin/init noprompt 27884 clickhous200 3716M359M 49184 S0.79.10:24.93 ├─ /usr/bin/clickhouse-server --config=/etc/cli 29668 clickhous200 3716M359M 49184 S0.09.10:00.10 │├─ /usr/bin/clickhouse-server --config=/etc/ 29667 clickhous200 3716M359M 49184 S0.09.10:01.02 │├─ /usr/bin/clickhouse-server --config=/etc/ 29666 clickhous200 3716M359M 49184 S0.09.10:00.08 │├─ /usr/bin/clickhouse-server --config=/etc/ 29665 clickhous200 3716M359M 49184 S0.09.10:00.48 │├─ /usr/bin/clickhouse-server --config=/etc/ 29409 clickhous200 3716M359M 49184 S0.09.10:03.48 │├─ /usr/bin/clickhouse-server --config=/etc/ 29408 clickhous200 3716M359M 49184 S0.09.10:02.15 │├─ /usr/bin/clickhouse-server --config=/etc/
至於配置方面,使用該軟體的過程中,任何配置修改都會預設自動儲存至~/.config/htop/htoprc。該檔案是個文字檔案,但是附有下面的警告:
$ head -n2 ~/.config/htop/htoprc
# Beware! This file is rewritten by htop when settings are changed in the interface. # The parser is also very primitive, and not human-friendly.
鑑於其提供的功能比較簡單,它的原始碼量還是相當小的。在撰寫本文時,它總共有約12000行C程式碼,同時還包含約3000行程式碼的其他檔案。
Glances
Glances 是一個基於Python的系統遙測監控工具。該專案由Nicolas Hennion於2011年開始建立。Nilcolas的領英簡介顯示,他在法國南部的Thales Alenia Space衛星控制中心部門擔任專案經理。
當啟動Glances時,除了常見的CPU、記憶體和程序列表,您還將看到雲虛擬機器型別以及網路、硬碟、和Docker容器活動等等。
$ glances
ubuntu (Ubuntu 16.04 64bit / Linux 4.4.0-62-generic)Uptime: 18:55:00 CPU[1.7%]CPU -1.7%nice:0.0%ctx_sw:923MEM -53.1%SWAP -0.1%LOAD4-core MEM[ 53.1%]user:0.8%irq:0.0%inter:587total:3.84Gtotal:4.00G1 min:0.20 SWAP [0.1%]system:0.7%iowait:0.0%sw_int:786used:2.04Gused:3.27M5 min:0.14 idle:98.4%steal:0.0%free:1.80Gfree:3.99G15 min:0.10 NETWORKRx/sTx/sTASKS 203 (349 thr), 1 run, 202 slp, 0 oth sorted automatically by CPU consumption ens33152b3Kb lo59Kb59KbCPU%MEM%VIRTRESPID USERTIME+ THRNI SR/s W/sCommand 2.64.5524M178M16470 mark35:48 10 S0 0/home/mark/. DISK I/OR/sW/s2.30.6372M24.5M14672 mark0:01 10 R0 0/home/mark/. fd0001.023.75.42G 931M21151 root13:00 710 S? ?java -Xmx1G loop0000.79.83.71G 385M27884 clickhous5:29 460 S? ?/usr/bin/cli loop1000.32.83.53G 109M12883 zookeeper1:36 200 S? ?/usr/bin/jav loop2000.30.231.4M 6.80M333 root0:53 10 S? ?/lib/systemd loop3000.30.113.8M 2.68M4353 mark1:07 10 S0 0watch ifconf loop4000.00.3186M9.86M1447 root0:35 20 S? ?/usr/bin/vmt loop5000.00.275.2M 8.11M1470 root0:00 10 S? ?/usr/bin/VGA loop6000.00.290.6M 6.59M4381 root0:00 10 S? ?sshd: mark [ loop7000.00.1269M5.75M595 root0:13 30 S? ?/usr/lib/acc sda078K0.00.136.7M 5.37M1 root0:37 10 S? ?/sbin/init n sda1078K0.00.164.0M 5.31M4246 root0:00 10 S? ?/usr/sbin/ss sda2000.00.144.3M 5.05M3402 mark0:00 10 S0 0/lib/systemd sda5000.00.121.8M 5.04M4403 mark27:23 10 S0 0-bash sr0000.00.121.8M 4.93M21493 mark0:10 10 S0 0/bin/bash sr1000.00.121.7M 4.62M16114 mark0:03 10 S0 0/bin/bash 0.00.121.7M 4.47M21119 mark0:00 10 S0 0/bin/bash FILE SYSUsedTotal0.00.190.6M 4.14M4402 mark0:08 10 S? ?0 / (sda1)2.48G15.6G0.00.1250M3.97M588 syslog0:28 40 S? ?/usr/sbin/rs 0.00.121.8M 3.87M3407 mark0:04 10 S0 0-bash SENSORS0.00.151.5M 3.76M21144 root0:00 10 S? ?sudo nohup / Physical id100C0.00.141.9M 3.64M597 messagebu0:00 10 S? ?/usr/bin/dbu Core 0100C0.00.143.2M 3.45M396 root0:01 10 S? ?/lib/systemd Core 1100C0.00.164.3M 3.21M3377 root0:00 10 S? ?/bin/login - Core 2100C0.00.128.0M 2.91M592 root0:00 10 S? ?/lib/systemd Core 3100C0.00.126.7M 2.86M16113 mark0:06 10 S? ?SCREEN 0.00.115.7M 2.81M774 root0:00 10 S? ?/sbin/dhclie
Glances由約1萬行Python程式碼和約2.5萬行JavaScript程式碼寫成,並依賴於psutil 軟體包以用於遙測資料收集。它還含有大量外掛 ,包括支援監控GPU、Kafka、RAID設定、資料夾監控以及WiFi等等。
除了基於ncurses 的介面,Glances也能以Web應用的形式執行。當您在Windows 10上通過cmd.exe執行Glances的時候,將啟動一個執行在TCP埠為61209的Bottle Web應用。在瀏覽器中開啟http://127.0.0.1:61209,您會看到一個AngularJS應用程式的歡迎頁面。該頁面模仿了ncurses介面。
您也可以通過呼叫其暴露的API介面,配合其他工具使用:
$ curl http://127.0.0.1:61209/api/3/all \ | python -mjson.tool \ | head -n50 { "alert": [], "amps": [], "batpercent": [], "cloud": {}, "core": { "log": 4, "phys": 4 }, "cpu": { "cpucore": 4, "ctx_switches": 182358, "idle": 82.9, "interrupts": 113134, "soft_interrupts": 0, "syscalls": 215848, "system": 12.5, "time_since_update": 8.532670974731445, "total": 9.8, "user": 3.1 }, "diskio": [ { "disk_name": "PhysicalDrive6", "key": "disk_name", "read_bytes": 0, "read_count": 0, "time_since_update": 8.492774963378906, "write_bytes": 0, "write_count": 0 }, { "disk_name": "PhysicalDrive2", "key": "disk_name", "read_bytes": 0, "read_count": 0, "time_since_update": 8.492774963378906, "write_bytes": 0, "write_count": 0 }, ...
雖然預設的配置檔案 有些冗長,但是使用者編輯起來還算方便。
Glances還支援將遙測資料匯出到16個以上不同的目標檔案中,包括StatsD、Kafka、RabbitMQ、JSON、SVG、ElasticSearch、CSV以及自定義RESTful API。
將Glances匯入Kafka
以下將介紹將遙測資料匯入CSV檔案,再匯入Kafka 。我認為本地硬碟通常要比網路連線更靠譜。當網路連接出現問題的時候,我們還可以利用本地檔案再次回填Kafka。
以下命令執行在新安裝的Ubuntu 16.04.2 LTS上:
$ sudo apt update $ sudo apt install \ kafkacat \ python-pip \ python-virtualenv \ screen \ zookeeperd
使用Apache映象上的二進位制包,手動安裝Kafka:
$ sudo mkdir -p /opt/kafka $ wget -c -O kafka.tgz \ http://www-eu.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz $ sudo tar xzvf kafka.tgz \ --directory=/opt/kafka \ --strip 1
為Kafka建立日誌檔案,其許可權使用我的UNIX賬號:
$ sudo touch /var/log/kafka.log $ sudo chown mark /var/log/kafka.log
ZooKeeper 支援了Kafka的大多數分散式功能,以下命令將啟動ZooKeeper服務:
$ sudo /etc/init.d/zookeeper start
啟動完ZooKeeper,啟動Kafka伺服器程序:
$ sudo nohup /opt/kafka/bin/kafka-server-start.sh \ /opt/kafka/config/server.properties \ > /var/log/kafka.log 2>&1 &
建立Python虛擬環境,並安裝Glances以及CSVKit,以便分析Glances的CSV檔案輸出:
$ virtualenv ~/.monitoring $ source ~/.monitoring/bin/activate $ pip install \ csvkit \ glances
接著,啟動screen會話和Glances。它將顯示ncurses介面,並向~/glances.csv中寫入215條資料:
$ screen $ glances --export csv \ --export-csv-file ~/glances.csv
一旦執行起來,按CTRL-A,接著按CTRL-D,返回到常規的Shell介面。
如下所示,這裡有大量收集到的遙測資料:
$ csvstat --type ~/glances.csv | tail
206. mem_available: Number 207. mem_used: Number 208. mem_cached: Number 209. mem_percent: Number 210. mem_free: Number 211. mem_inactive: Number 212. mem_active: Number 213. mem_shared: Number 214. mem_total: Number 215. mem_buffers: Number
Kafkacat 是採用C語言寫的一個非JVM的Kafka生產者和消費者。靜態連結的包大小要小於150KB。使用它,將~/glances.csv中的內容匯入Kafka Topic “glances_log”中,並對內容進行Snappy 壓縮。
$ screen $ tail -F ~/glances.csv \ | kafkacat -b localhost:9092 \ -t glances_log \ -z snappy
接下來,一旦執行起來,按CTRL-A,然後按CTRL-D,返回到常規Shell介面。
以上這些執行在screen會話中的任何命令,都可以方便地新增到Supervisord 。另外,如果這些程序因為任何原因掛了,都能很好地重啟它們。
完成上述操作之後,檢視前100條記錄的前三列資料:
$ /opt/kafka/bin/kafka-console-consumer.sh \ --topic glances_log \ --from-beginning \ --zookeeper localhost:2181 \ | head -n100 \ | csvstat --columns 1-3 \ --no-header-row
以下是基於前100條記錄,收集到的時間戳、CPU核數以及一分鐘負載均值的統計資訊:
1. "a" Type of data:DateTime Contains null values:False Unique values:100 Smallest value:2018-10-07 05:53:49 Largest value:2018-10-07 05:58:55 Most common values:2018-10-07 05:53:49 (1x) 2018-10-07 05:53:52 (1x) 2018-10-07 05:53:55 (1x) 2018-10-07 05:53:58 (1x) 2018-10-07 05:54:01 (1x) 2. "b" Type of data:Number Contains null values:False Unique values:1 Smallest value:4 Largest value:4 Sum:400 Mean:4 Median:4 StDev:0 Most common values:4 (100x) 3. "c" Type of data:Number Contains null values:False Unique values:18 Smallest value:0.02 Largest value:0.22 Sum:6.57 Mean:0.066 Median:0.05 StDev:0.045 Most common values:0.04 (15x) 0.02 (14x) 0.03 (13x) 0.06 (9x) 0.05 (9x)
英文原文:http://tech.marksblogg.com/top-htop-glances.html
感謝小大非對本文的審校。