[學習共享]數據的採集，監控，分析
在IT運維中，避免不了對數據的處理。對數據的採集方式，對數據的監控手段，對數據的分析思維不盡相同，各有各的一套經驗與方法。 無論是shell / perl 等腳本語言，還是各種工具都成為了各位牛人的武器。下面我們來討論和分享個中的經驗吧。
本期話題：
1。數據的採集：方式（ftp, sftp, http...）和工具。
2。數據的監控：腳本，軟體（hpom, sm...），對不同指標（os, net, 中間件）的處理技巧。
3。數據的分析：腳本，工具和思想（hadoop...）。
活動時間：2013.03.28 - 2013.05.28
《解決方案》
採集
系統日誌 syslog=>syslog-ng
web日誌: tengine=>syslog-ng 做性能分析
tengine=>flume-ng=>hdfs 做類似cnzz的分析
應用日誌:flume-ng=>hdfs
監控:
shell/perl/python分析,主要做性能分析.另外關鍵字報警,系統日誌針對一些常見異常進行報警,應用日誌對一些OOM或結合業務特殊情況報警
分析:
對業務日誌和web伺服器日誌hadoop+hive
分析這塊的開發,由專門的部門來負責,超出了運維的範疇
