轉載: 誰為HPC電費買單?
http://www.linpack.org/viewnews-64
有一個客戶的亞太數據中心整體遷移到了上海, 200多個42U的Rack, 規劃最大功率2MW, 目前2000多台x86 server. 初步幫客戶估算了一下電費開支:
2000多台server, 每台平均功耗300W, 也就是說單純伺服器每年的耗電量為: 2000*300W*24 Hour* 365day = 5,256,000 千瓦時
考慮到精密空調散熱以及連接伺服器的交換機, KVM等功耗平均占伺服器正常功耗的30%, 也就是說5,256,000×1.3 = 6832800 千瓦時.
整個數據中心目前存儲將近100TB(含Centera歸檔設備, 不計入磁帶). 每個光纖3.5'磁碟功耗為25W.
估算所有磁碟陣列功耗時, 在數量眾多的磁碟數量中, 陣列控制器的功耗反而佔用比例很小, 因此略去不計.
以RAID 5來估算, 裸容量為100TB/0.8 = 125TB, 按照146GB FC來估算: 125TB/ 146GB *25W *24Hour*365 = 187500千瓦時
Total: 6832800 + 187500 = 7020300 千瓦時
目前工業用電是0.9 RMB 每千瓦時, 7020300*0.9 = 6,318,270 RMB = 6.3 M RMB
也就是說, 每個月需要花至少50W RMB在電費開支上. 而2000台PC Server的採購成本按照每台平均30K RMB來估算, 每年的電費開支可以用來購買6.3M/30K = 210 units.
每年的電費開支(不含任何其他續保, 管理人員開支), 達到了初始購買成本的210units/2000units =10%.
目前耗電量為621KW的時候電費開支已經是每年6.3M, 那麼達到規劃容量的80%也就是1.6MW時, 電費開支將達到16.3M, 也就是說一千六百萬.
固然虛擬化可以減少伺服器數量大幅降低功耗, 但是對於HPC應用來說, 為了達到系統運算的峰值, 往往需要滿負荷運行, 這時功耗往往是最高的.
從維護成本來看, HPC確實是電老虎, 每年維護成本高昂, 也難怪要提Green HPC了.
當然, 歸根到底, 伺服器功耗無法下降的最大根源在於處理器製造商.
目前的x86處理器一個很大的弊病在於, 系統滿負荷的功耗, 跟系統處於idle狀態的功耗, 相差很小,
一般一台1U x86伺服器, 2 CPU, 4G Mem, 4* SAS HDD, 無其他額外的板卡, 最低功耗也需要200W, 而最高功耗一般在300左右.
等於說, 即使系統不運行任何應用, 你依然要掏出200/300 =66%的電費出來.
期待著下一代處理器能在空閑狀態功耗上做出改進, 屆時將大大降低HPC耗電。 畢竟, 並不是任何時候都需要滿負荷進行科學運算的.
[ 本帖最後由 overquota 於 2008-7-15 09:50 編輯 ]
《解決方案》
很高深的領域啊！！！
《解決方案》
回復 #1 overquota 的帖子
摟主的計算有問題，首先，你所有的數值都是估算的，沒有具體數據。最大的漏洞，就是硬碟的功率計算，如果每塊硬碟的功率都有25W，那麼一個14塊硬碟的磁碟櫃的電源功率應該是多少呢？可是人和一個廠家的磁碟櫃（14塊硬碟以內單盤櫃）電源功率都不超過1200W，還是2個電源合計的功率，就是說，壞一個電源是不影響運行的。所以，還是要看具體的案例分析才行。
《解決方案》
回復 #3 19730512 的帖子
磁碟陣列的功率估算我已經不計入硬碟櫃跟控制器的功耗了,但是假定所有磁碟處於讀取運行狀態。
你指的磁碟櫃電源功率是指電源模塊所能提供的最大功率, 跟整個柜子實際消耗的功率是兩碼事.
比如並不能說一台2U機架伺服器電源模塊上標稱是800w, 就覺得伺服器實際運行需要消耗800W, 完全兩個概念.
估算設備的功耗要按照設備所有組件實際運行所需功耗總和來估算，而不是簡單的看電源模塊上功率.
至於我所估算伺服器的功耗更是基於實際運行數據的平均值。
這個估算跟客戶每個月的電費開支預算誤差不超過10% :)
每個廠商都有公開的功率計算工具來做數據中心的sizing, 比如IBM/HP/Dell, 有興趣的話可以google一下。
《解決方案》
原帖由 overquota 於 2008-7-15 18:40 發表 http://linux.chinaunix.net/bbs/images/common/back.gif
磁碟陣列的功率估算我已經不計入硬碟櫃跟控制器的功耗了,但是假定所有磁碟處於讀取運行狀態。
你指的磁碟櫃電源功率是指電源模塊所能提供的最大功率, 跟整個柜子實際消耗的功率是兩碼事.
比如並不能說一台2 ...
正確
《解決方案》
原帖由 19730512 於 2008-7-15 14:04 發表 http://linux.chinaunix.net/bbs/images/common/back.gif
摟主的計算有問題，首先，你所有的數值都是估算的，沒有具體數據。最大的漏洞，就是硬碟的功率計算，如果每塊硬碟的功率都有25W，那麼一個14塊硬碟的磁碟櫃的電源功率應該是多少呢？可是人和一個廠家的磁碟櫃（ ...
這個是基本常識，額定功率和真實消耗的完全是兩碼事。況且你把盤陣電源功率和磁碟消耗功率搞在一起根本就是錯的.
《解決方案》
目前cpu確實在空載的時候功耗還是很高的。
對於HPC，我估計未來的趨勢肯定是在CPU中加入代碼，在沒任務的時候，降頻或者直接把多個core中的其他剩餘core給處於不存在狀態。
目前cpu的功耗看通過提升晶元的線寬是不大可能了，每次升級之後，cpu的晶體管也會同規模的上升。
比如我們公司設計的兩代產品，第一代採用130nm設計，大概1200萬門。下一代產品採用65nm的時候，晶體管也相應
提升到了2000萬門以上了，因為功能更強大了嘛，設計複雜度更高。
所以，降低功耗的方法是引入新的設計方法，更好的管理電源的使用，而不是完全靠改善工藝。
另外發現，製冷設備的耗電量也是非常嚇人的，這個如果能引入一定方式，比如冬天的時候，直接將外部的冷空氣引入降溫，也許是一個不錯的辦法。但是這個完全是製冷設備的改進了。
《解決方案》
回復 #7 soway 的帖子
是的, 製冷的功耗非常嚇人.
這也是為什麼微軟要在西伯利亞建立數據中心了, 呵呵.
另外一種比較昂貴的方法是通過數據中心頂部的太陽能電板來供電, HP剛剛宣布進入這個領域。
關於降低散熱量在電源模塊上還有一些方法, 比如Rackable的直流機櫃
Rackable這個廠商大家可能比較陌生, 但確是微軟, Facebook, google的主要伺服器提供商之一。
它的核心技術在於在提供交流電的普通機房中, 交流電接入它的機櫃直流電轉換模塊, 再統一分配到機櫃內部的伺服器。
48V直流電相對於220V交流電能夠大大降低散熱量,
同時提高部署密度,這也是為什麼Rackable能夠在一個42U機櫃裡面最多放置84 units x86 pc server(它的產品設計上是半長的,1U的空間可以放置2個Units)
《解決方案》
回復 #6 nntp 的帖子
Thanks Joe...
關於之前提到的估算工具介紹跟下載鏈接如下:
http://www.linpack.org/viewnews-65
[ 本帖最後由 overquota 於 2008-7-16 17:00 編輯 ]
《解決方案》
我們學校的機房裡也是這樣的.機器沒有人用.天天在空轉.我都心痛
