Linux集群走向主流zt
正像Linux領導著開源軟體乘風破浪、勇往直前一樣，Linux與集群技術的結合，創造了一片新天地。Linux集群以更低的成本獲得更出色的性能，並已開始步入高性能計算（HPC）的主流市場，也順應了HPC平民化的發展趨勢，在教育、科學計算、石油勘探、天氣預報甚至核爆炸模擬等領域都可以見到它的身影。不過，如何構建性價比更好的Linux集群呢？構建Linux集群應該選擇哪些技術與產品？用戶在定製自己的Linux集群時應該注意哪些問題？Linux集群產品主題會給出一些建議。
集群是高性能計算領域增長最快的，Linux集群是集群領域增長最快的。Linux集群的低成本、開放性、標準化是其受到追捧的主要原因。
Linux集群增長最快
近年來高性能計算領域有很多熱門辭彙，其中之一就是代表全球高性能計算機最高水平的「TOP500」。TOP500項目始於1993年，每年兩次對全球範圍內的高性能計算機根據Linpack測試排名。每次「HPC全球TOP500排行榜」的公布不僅全面反映當前高性能計算領域的最新成就，而且預示著未來高性能計算的發展方向。毋庸置疑，TOP500已經成了高性能計算領域的晴雨表。
從近幾年TOP500公布的計算機列表中，可以看到一個明顯的現象：在TOP500列表中集群系統所佔的比例迅速增加，1997年只有一台，但是到2005年11月發布的第26次世界最快超級計算機TOP500排行榜中已經達到360台，佔到TOP500的72％。如圖1所示。
圖1 TOP500集群數量變化趨勢
集群系統能有今天的地位，很重要的一個原因就是得益於Linux操作系統的發展。在TOP500的操作系統中，Linux系統伴隨著集群系統的興起也有不凡表現，1998年只有一套，但是到2005年已經達到371套，佔到了TOP500的74.2 %，如圖2所示。
圖2 TOP500 Linux系統數量變化趨勢
透過TOP500我們可以看出高性能計算技術的發展方向，Linux集群應該是我們需要重點關注的焦點之一，Linux和集群技術的日益普及已經深刻影響了高性能計算產業的發展，並推動中國高性能計算產業進入一個泛高性能計算時代，俗稱「平民化時代」。
Linux集群魅力四射
所謂Linux集群，就是利用商品化的工業標準互聯網路，將各種普通Linux伺服器連接起來，通過特定的方法，向用戶提供更高的系統計算性能、存儲性能和I/O性能，並具備單一系統映像（SSI）特徵的分散式存儲MIMD(多指令流多數據流)并行計算機系統。
與SMP(對稱多處理系統)、MPP(大規模并行處理)及beowulf集群相比（如右頁表所示），集群在性能價格比、可靠性、可擴展性、可管理性、應用支持性方面有著更為明顯的優勢。
需要強調的是，Linux集群系統並非採用商品化部件、開源監控管理、作業調度等軟體堆疊的非標準化、零散性、無序性、與應用脫節的PC伺服器群，而是通過相關軟硬體整合而成的標準化的、一體化的、專用化的、好用的、高可用的、安全的、智能化的系統。隨著Linux集群應用的普及，Linux集群技術已成為高性能計算技術中的熱點，並日漸成熟。
Linux集群應用遍地開花
正是因為集群具有上述優勢，再加上開源Linux操作系統及商品化計算部件、交換和存儲部件的推動，Linux集群近年來得到了廣泛應用。按照Linux集群的應用領域，我們可將Linux集群劃分為科學計算應用、信息服務應用和事務處理應用三類。科學計算Linux集群可以應用於各種需要大規模高性能計算的領域，如基因數據的分析、氣象預報、石油勘探等，支持作業級并行和進程級并行，具有靈活的體系結構，同時其Linux節點可按照應用需求定製，以滿足應用所需要的高計算量、高吞吐量。科學計算集群配備標準的科學計算編程環境（如MPI、PVM）、數學庫、函數庫、并行調試器、并行優化器等工具。
信息服務Linux集群可以支持大規模的網頁瀏覽、電子郵件、流媒體等服務，具有極好的可擴展性和很高的性價比。它採用先進的動態負載均衡技術以及高可用技術，使得集群內部無通信瓶頸，而對外具有很高的吞吐量和可用性。信息服務Linux集群系統內部連接靈活的存儲子系統，包括分散式全局文件系統和高性能的存儲網路，可以充分滿足信息服務對大容量數據的需求。
事務處理Linux集群是面向商業事務處理領域的集群，比如機場票務處理、銀行事務處理等，它不僅要具備高性能和高可靠性的特點，一般還對集群的安全性、容錯性、數據存儲等有嚴格的要求。
Linux集群呈現五大發展趨勢
縱觀Linux集群技術的現狀，其在2006年面臨如下發展趨勢：
1．基於刀片式伺服器的集群架構興起
刀片式伺服器技術研究經歷了不同的發展階段，從1999年～2001年最初的Blade Swich領域，及其後的Architecture、存儲虛擬化，到2004年刀片式伺服器整體性能提升技術研究，再到2005年刀片式伺服器的專用化研究，可以說刀片式伺服器產品在多核、低功耗技術的推動下已完成從最初一味追求高計算密度的第一代刀片，發展到強調整體綜合性能、高生產力的第三代刀片產品。未來的兩到三年，刀片式伺服器將以其高服務密度、敏捷式部署維護、全方位監控管理融合、高可擴展性、高可用性，全面取代傳統的基於機架式伺服器的Linux集群體系架構。2006年我們預期基於刀片式伺服器的Linux集群架構將興起。
2．集群標準化深入泛高性能計算時代
2005年9月，國內伺服器廠商曙光公司把泛高性能計算時代下集群技術總結為十大標準，為Linux集群技術及應用推廣普及打下了非常好的基礎。繼此之後，集群在遠程\異地操作控制、一體化監控、集群負載均衡、智能機櫃、異構支持、集群簡易管理、集群快速部署、集群高速并行吞吐、集群安全、行業應用等方面的技術標準慢慢浮出水面，並被高性能計算行業所接受。標準化是行業應用成熟化的標誌，在面臨高性能計算進一步平民化的2006年，我們期待以上集群標準技術會有更進一步的發展和普及。
3．虛擬計算技術在集群應用中向更深層次發展
伴隨Microsoft的Virtual Server、VMware的VMware Workstation和Xensource的Xen，以及Intel的Vanderpool、AMD的Pacifica等部件級及系統級虛擬技術的興起，我們期望2006年虛擬技術在集群系統應用中將會有更深一步的發展。基於應用級集群虛擬計算技術不僅將給我們帶來更高的集群部件利用率，同時也會為我們帶來支持應用動態遷移、故障自動隔離、系統自動重構的高可靠集群應用環境，以及更為簡潔、統一的Linux集群管理模式。
4. 集群可信計算環境構造技術浮出水面
2006年基於商業計算及信息化應用對集群架構的普及推動，我們期望基於內外網隔離、統一身份認證、訪問控制、分散式入侵檢測、流量分析、應用層及傳輸層加密傳輸協議、主動防護等技術催生全新的集群應用可信計算環境構造技術框架，從而打造從物理層到應用層全方位的、多層次的、立體的集群應用安全環境。
5．細分專用，應用導向
曙光4000H面向生物信息處理的專用Linux集群、曙光氣象專用伺服器、曙光石油專用機的橫空出世讓我們期待2006年Linux集群的發展將繼續以滿足行業細分應用為導向，以高生產力為驅動，以行業應用軟體整合為契機，可以預期，在2006年的伺服器市場將出現更多行業應用專用Linux集群。(作者單位:國家智能計算機研究中心)
·觀點·
標準化、開放化促進HPC快速發展
今天，HPC結構已經進入相對平穩的時期，並會持續三到四年。這個時間非常有利於應用的普及，同時非常有利於學術界、產業界在體系架構方面做出全新的突破。來自各方面的信息都表明，標準化與開放化是HPC發展的主流與方向。
Linux Networx公司的CEO Robert(Bo) H. Ewald接受記者的採訪時言及，每天都有不同類型的用戶轉向使用Linux操作系統。而寶德公司副總裁馬竹茂先生說，寶德高性能計算機產品最重要的是做到了開放化，堅持採用工業標準，以更高的性能價格比滿足客戶的個性化需求。寶德的特色是透明公開的架構，包括硬體是開放式IA架構計算節點；軟體採用最先進、最穩定、性價比最好的商業軟體和免費中間件；互聯主推性價比良好的標準乙太網和高性能Infiniband技術。整體系統架構對用戶透明，各個環境都整合了業界最好的技術。
Unisys公司系統與科技事業部亞太區營銷副總裁李志明先生則認為，Unisys公司的大機發展方向是在「開放系統的價格、主機性能」上不斷推陳出新。Unisys廣泛使用Intel處理器和微軟產品系列來開發垂直與水平解決方案。未來的Unisys實時基礎架構解決方案將能夠實現基礎架構組件的標準化，以降低業務和IT運營成本。
曙光公司總工在接受記者的採訪時也認為，集群佔有率不斷提高。集群結構從應用上來說未來的發展有三種形式：一種是「核武器」類，強調的是針對特定應用在最短的時間提供最高的系統，會採用專用配件，也會採用專用的軟體，成本並不是重點要考慮的因素；第二種是高科技武器，採用一部分通用部件，同時要定製一些專用部件，最大化地提高性價比，講究在單位功耗、單位成本下，最大化地滿足用戶需求；第三種，實際上更多的是DIY，根據商品化的屬性，採用開源的軟體構建的集群，追求低成本的營運模式。
未來兩個方向值得重視:一是輕型體系架構方面的研究，會從單純地提高CPU的速度和單純地降低CPU一級、二級的訪問延遲，發展到綜合考慮CPU、存儲器、I/O等各種因素；其次商品化、標準化以及好用性、平民化也已經成為今天要考慮的重點因素。(鳴秦)
《解決方案》
學習ING
