linux系統管理的常用shell命令

參考文檔：http://bbs.linuxtone.org/thread-16-1-1.html http://yunhaozou.org/perl-shell/162.html

1.顯示消耗內存/CPU最多的10個進程 ps aux | sort -nk 4 | tail ps aux | sort -nk 3 | tail 2.查看進程
按內存從大到小排列 ps -e -o "%C : %p : %z : %a"|sort -k5 -nr 3.按cpu利用率從大到小排列 ps -e -o "%C : %p : %z : %a"|sort -nr 3.查看Apache的併發請求數及其TCP連接狀態 netstat -n | awk ‘/^tcp/ { S[$NF]} END {for(a in S) print a, S[a]}’ 4. 查找佔用磁碟IO最多的進程 wget -c http://linux.web.psi.ch/dist/scientific/5/gfa/all/dstat-0.6.7-1.rf.noarch.rpm
dstat -M topio -d -M topbio 5.找出自己最常用的10條命令及使用次數（或求訪問最多的ip數） sed -e ‘s/| /n/g’ ~/.bash_history |cut -d ‘ ‘ -f 1 | sort | uniq -c | sort -nr | head 6.日誌中第10個欄位表示連接時間,求平均連接時間 cat access_log |grep “connect cbp” |awk ‘BEGIN{sum=0;count=0;}{sum =$10;count ;}END{printf(“sum=%d,count=%d,avg=%fn”,sum,count, sum/count)}’ 7.lsof命令 lsof abc.txt 顯示開啟文件abc.txt的進程 lsof -i :22 知道22埠現在運行什麼程序 lsof -c abc 顯示abc進程現在打開的文件 lsof -p 12 看進程號為12的進程打開了哪些文件 8.rsync命令（要求只同步某天的壓縮文件,而且遠程目錄保持與本地目錄一致） /usr/bin/rsync -azvR –password-file=/etc/rsync.secrets `find . -name “*$yesterday.gz” -type f ` storage@192.168.2.23::logbackup/13.21/ 9.把目錄下*.sh文件改名為*.SH find . -name “*.sh” | sed ’s/(.*).sh/mv 1.SH/’ |sh find . -name “*.sh” | sed ’s/(.*).sh/mv & 1.SH/’|sh （跟上面那個效果一樣） 10.ssh執行遠程的程序,並在本地顯示 ssh -n -l zouyunhao 192.168.2.14 “ls -al /home/zouyunhao” 11.shell段註釋 :<<’echo hello,world!’ 12.查看網卡是否有網線物理連接 /sbin/mii-tool 13.查看linux系統或者mysql錯誤碼錶示的意思,如查看13錯誤碼錶示的意思： perror 13 14.刪除

0位元組文件 find -type f -size 0 -exec rm -rf {} ; 15.1.如何殺掉mysql進程： ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9 (從中了解到awk的用途) pgrep mysql |xargs kill -9 killall -TERM mysqld kill -9 `cat /usr/local/apache2/logs/httpd.pid` 試試查殺進程PID

16.顯示運行3級別開啟的服務: ls /etc/rc3.d/S* |cut -c 15- (從中了解到cut的用途,截取數據)

17.如何在編寫SHELL顯示多個信息,用EOF cat << EOF
--------------------------------------------------------------
| === Welcome to Tunoff services === |
--------------------------------------------------------------
EOF 18. 取IP地址： ifconfig eth0|sed -n '2p'|awk '{print $2}'|cut -c 6-30 或者: ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者 ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}' 或者： ifconfig eth0 | sed -n '/inet /{s/.*addr://;s/ .*//;p}' Perl實現獲取IP的方法: ifconfig -a | perl -ne 'if ( m/^s*inet (?:addr:)?([d.] ).*?cast/ ) { print qq($1n); exit 0; }' 19.內存的大小: free -m |grep "Mem" | awk '{print $2}'
20 CPU負載 # cat /proc/loadavg
檢查前三個輸出值是否超過了系統邏輯CPU的4倍.

21 CPU負載 #mpstat 1 1
檢查%idle是否過低(比如小於5%)

22 內存空間 # free
檢查free值是否過低 也可以用 # cat /proc/meminfo

23 swap空間 # free
檢查swap used值是否過高 如果swap used值過高,進一步檢查swap動作是否頻繁：
# vmstat 1 5
觀察si和so值是否較大

24 磁碟空間 # df -h
檢查是否有分區使用率(Use%)過高(比如超過90%) 如發現某個分區空間接近用盡,可以進入該分區的掛載點,用以下命令找出佔用空間最多的文件或目錄：
# du -cks * | sort -rn | head -n 10

25 磁碟I/O負載 # iostat -x 1 2
檢查I/O使用率(%util)是否超過100%

26 網路負載 # sar -n DEV
檢查網路流量(rxbyt/s, txbyt/s)是否過高

24 網路錯誤 # netstat -i
檢查是否有網路錯誤(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev

25 網路連接數目 # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n

26 進程總數 # ps aux | wc -l
檢查進程個數是否正常 (比如超過250)

27 可運行進程數目 # vmwtat 1 5
列給出的是可運行進程的數目,檢查其是否超過系統邏輯CPU的4倍


28 進程 # top -id 1
觀察是否有異常進程出現

29 網路狀態 檢查DNS, 網關等是否可以正常連通

30 用戶 # who | wc -l
檢查登錄用戶是否過多 (比如超過50個) 也可以用命令：# uptime

31 系統日誌 # cat /var/log/rflogview/*errors
檢查是否有異常錯誤記錄 也可以搜尋一些異常關鍵字,例如：
# grep -i error /var/log/messages
# grep -i fail /var/log/messages
# egrep -i 'error|warn' /var/log/messages 查看系統異常
32 核心日誌 # dmesg
檢查是否有異常錯誤記錄

34 打開文件數目 # lsof | wc -l
檢查打開文件總數是否過多

35 日誌 # logwatch ?print 配置/etc/log.d/logwatch.conf,將 Mailto 設置為自己的email 地址,啟動mail服務 (sendmail或者postfix),這樣就可以每天收到日誌報告了.

預設logwatch只報告昨天的日誌,可以用# logwatch ?print ?range all 獲得所有的日誌分析結果.
可以用# logwatch ?print ?detail high 獲得更具體的日誌分析結果(而不僅僅是出錯日誌).

36.殺掉80埠相關的進程 lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh 37.清除僵死進程. ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9 38.tcpdump 抓包 ,用來防止80埠被人攻擊時可以分析數據 # tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts 39.然後檢查IP的重複數 並從小到大排序 注意 "-t 0" 中間是兩個空格 # less pkts | awk {'printf $3"n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"n"'} | sort -n -t 0

40.查看有多少個活動的php-cgi進程 netstat -anp | grep php-cgi | grep ^tcp | wc -l 41.利用iptables對應簡單攻擊 netstat -an | grep -v LISTEN | awk ‘{print $5}’ |grep -v 127.0.0.1|grep -v 本機ip|sed “s/::ffff://g”|awk ‘BEGIN { FS=”:” } { Num[$1] } END { for(i in Num) if(Num>8) { print i} }’ |grep ‘[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}’| xargs -i[] iptables -I INPUT -s [] -j DROP

Num>8部分設定值為閥值,這條句子會自動將netstat -an 中查到的來自同一ＩＰ的超過一定量的連接的列入禁止範圍. 基中本機ip改成你的伺服器的ip地址

42. 怎樣知道某個進程在哪個CPU上運行？ # ps -eo pid,args,psr
43. 統計var目錄下文件以M為大小,以列表形式列出來.
find /var -type f | xargs ls -s | sort -rn | awk '{size=$1/1024; printf("%dMb %sn", size,$2);}' | head

查找var目錄下文件大於100M的文件,並統計文件的個數
find /var -size 100M -type f | tee file_list | wc -l

44. sed 查找並替換內容 sed -i "s/varnish/LTCache/g" `grep "Via" -rl /usr/local/src/varnish-2.0.4`

sed -i "s/X-Varnish/X-LTCache/g" `grep "X-Varnish" -rl /usr/local/src/varnish-2.0.4`
45. 統計目錄下文件的大小（按M列印顯示） du $1 --max-depth=1 | sort -n|awk '{printf "%7.2fM ----> %sn",$1/1024,$2}'|sed 's:/.*/([^/]{1,})$:1:g'
46.關於CND實施幾個相關的統計 統計一個目錄中的目錄個數
ls -l | awk '/^d/' | wc -l 統計一個目錄中的文件個數
ls -l | awk '/^-/' | wc -l 統計一個目錄中的全部文件數
find ./ -type f -print | wc -l 統計一個目錄中的全部子目錄數
find ./ -type d -print | wc -l 統計某類文件的大小:
find ./ -name "*.jpg" -exec wc -c {} ;|awk '{print $1}'|awk '{a =$1}END{print a}' 47. 去掉第一列（如行號代碼） awk '{for(i=2;i<=NF;i ) if(i!=NF){printf $i" "}else{print $i} }' list 48.查看PHP-CGI佔用的內存總數： total=0; for i in `ps -C php-cgi -o rss=`; do total=$(($total $i)); done; echo "PHP-CGI Memory usage: $total kb"

49查看當前有哪些進程；查看進程打開的文件:
ps -A ；lsof -p PID
50.統計每個單詞出現的頻率,並排序
awk '{arr[$1] =1 }END{for(i in arr){print arr"t"i}}' 文件名 | sort -r



51.列出當前文件夾目錄大小,以G,M,K顯示.
du -b --max-depth 1 | sort -nr | perl -pe 's{([0-9] )}{sprintf"%.1f%s", $1>=2**30? ($1/2**30, "G"): $1>=2**20? ($1/2**20, "M"):$1>=2**10? ($1/2**10, "K"): ($1, "")}e'

shaw答案 ：du -hs $(du -sk ./`ls -F |grep /` |sort -nr |awk '{print $NF}')
也可 以實現,不過不是特別完美.但好記.

52.清空linux buffer cache
sync && echo 3 > /proc/sys/vm/drop_caches

53.將當前目錄文件名全部轉換成小寫
for i in *; do mv "$i" "$(echo $i|tr A-Z a-z)"; done

53.消除vim中的^M的幾種方法
1)dos2uninx filename
2)sed -e 's/^M//' filename
3)vim中 :s/^M//gc
4)col -bx < dosfile > newfile
5)tr -s "rn" "n" < file > newfile

54. 清除所有arp緩存
arp -n|awk '/^[1-9]/ {print "arp -d "$1}'|sh

55. 綁定已知機器的arp地址
cat /proc/net/arp | awk '{print $1 " " $4}' |sort -t. -n 3 -4 > /etc/ethers

perl的
perl -ne 'm/^([^#][^s=] )s*(=.*|)/ && printf("%-35s%sn", $1, $2)' /etc/my.cnf 55.查看ssh暴力攻擊的ip和攻擊次數 grep -o '[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}' /var/log/secure | sort | uniq -c

Tags: linux system 系統