1簡介
地球科學包括地質學、地理學、大氣、海洋等諸多學科,是直接面對人類與自然關系的自然科學的壹部分。地球科學不僅是了解地球固體、液體、氣體各層及其與人類關系的渠道,而且通過礦產勘查、氣象預報、水文、測繪、地震等學科的科技實踐活動,直接服務於資源、能源、環境、防災減災等方面的社會經濟。
衛星通信技術、網絡技術和計算機技術改變了傳統的地球科學研究模式。隨著遙感、信息技術和各種實時觀測分析技術的發展,地球科學進入了覆蓋全球、跨越圈層的新階段,即地球系統科學,從對局部現象的描述推進到對行星機制的探索,獲得了全球性、系統性的信息。
在應用方面,地球科學的作用幾乎無處不在,從采掘業、工業和農業到建築規劃、旅遊和軍事。而且隨著社會的發展,環境的惡化和自然災害後果的加重,使得原本主要面向資源的地球科學向環境和減災防災方向發展,從而拓寬了地球科學為社會服務的領域。
隨著現代檢測手段和信息技術的應用,產生了PB/TB級別的地理空間數據,這些數據需要超級計算機進行超過萬億次的處理、解釋、訪問和利用。另壹方面,數字化信息與傳播環境的發展也改變了傳統基礎學科研究的手段和方法。多學科研究團隊是完成大規模科學研究和工程實現的重要保證。先進的超級計算機和網格計算技術為基礎跨學科研究提供了壹個多學科平臺。自2002年以來,美國、英國、日本、澳大利亞和歐盟都開始了“電子研究”或“電子科學”項目,投資從6543.8+億美元到6543.8+億美元不等。其目的是利用網格技術和中間件技術,將國家或地區高校或研究室的超級計算機連接起來,形成壹個多學科資源協同的虛擬平臺。同時,先進發達國家正在建立以地球科學為核心的多學科資源共享平臺。
超級計算機
正如摩爾定律所解釋的那樣,計算機的運行速度在迅速提高(每18個月翻壹番),制造成本在急劇下降,超級計算的成本趨於合理。目前國內大部分大學都買得起壹臺萬億計算能力的超級計算機。根據最新的超級計算機性能統計,TOP500顯示(截至65438+2004年2月),其中2004年新裝358臺,2003年新裝95臺。它們加在壹起占全球最快500臺計算機的90%以上,如表1所示。計算機提速不是技術問題,關鍵是軟件系統的開發,這是我們的薄弱環節。
在基礎學科研究領域,地球科學是使用超級計算機最多的領域。根據TOP500的最新統計(截至2004年2月為65438+臺),如表2所示,性能最高的500臺超級計算機中,地球物理占51,占總數的10%以上。如天氣和氣象研究、天氣預報等。都加上,地球科學占用的超級計算機比例就更大了。
表1
表2
目前,國內許多高校和研究機構也開展了超級計算體系結構的研究,例如,基於Linux操作系統的集群計算機體系結構。這種架構在大型計算機和超級計算機價格昂貴但現在無法滿足更大規模計算要求的情況下,為超級計算任務提供了可行的解決方案。其主要問題是性能比差、可靠性低、維護困難、擴展性差、安全性差。科研人員花費太多精力在系統的建設上,成本也不壹定低。
2003年,美國科學院院士、《時代》周刊封面人物陳世清博士回國,在深圳殼牌應星公司發明了超級刀片計算機。陳世清博士也是世界著名的CRAY-MP和Y-MP超級計算機開發的領導者。
超級葉片計算機的葉片設計理念類似於噴氣發動機的渦輪葉片。這些“刀片”可以隨時拆卸更換,擰在壹起會產生強大的動力。超級刀片電腦充分利用了這種設計理念,簡潔樸素,采用了全新的技術。計算節點的升級只需添加“刀片”,無需重新布線和配置。這種計算機就像壹臺裝滿“刀片”的發動機,每壹個“刀片”都是壹個運算單元,理論上可以無限擴展,可以隨時添加和更換,不需要停機。超級刀片計算機采用全新的設計理念和系統架構,運算速度可超過每秒50萬億浮點數,達到美國、日本等先進國家的超級計算機水平。超級刀片計算機具有持久的生命力、安全可靠、合理的性價比和實時協作模式。
地球科學研究中的3個超級計算問題
地球科學研究中的超級計算問題包括:地震數據處理與解釋、遙感信息處理與解釋、大規模地理信息系統、地理空間數據處理與可視化、地球、大氣、海洋等各種自然現象的動態模擬,如地震、洪水、沙塵暴、工程地質結構模擬、物質分子動力學模擬等。此外,在地球科學的研究中,有很多超級計算涉及多學科、跨學科的問題。有些問題是實時、協作的工作流模式。
4基於高性能網絡的超級計算
隨著計算機和信息技術的發展和應用,特別是高速網絡及相關設備的建設和應用,深刻地影響了科學研究的方法,改變了研究的手段,同時也導致了e-Research和e-Science概念的出現。
E-Science是壹種超大規模的科研基礎設施的定義,它需要全世界科學家的合作,並使用互聯網和相關技術。這些協同科研的壹個典型特點是,科學家需要訪問海量數據集,使用獨特的科研設施,消耗大量科學計算資源,進行高性能分析、建模和可視化展示。這種超大規模研究的另壹個重要方面是為科學家和交叉學科之間的信息交流和新概念的萌發提供壹個跨學科的平臺。
E-Research是e-Science的壹個更壹般的定義和概括,它包括非科學研究的行為和活動。例如,電子研究包括人類學和社會學研究。為了共同工作和享受知識,電子研究還具有使用分布式計算資源的特點。
網格技術在電子研究和電子科學的發展中發揮了重要作用。正如客戶和企業可以獲得電力供應壹樣,網格使研究人員和研究機構能夠以某種方式訪問分布在網絡上的數據倉庫、專用科學設備、知識服務和強大的計算功能。它們可以實現靈活、安全的知識共享,在科研人員個體、研究機構和資源的動態組合中協調解決科研問題。這種方法通常也被稱為虛擬組織。
網絡基礎設施代表了由分布式計算機、信息和通信技術形成的新的虛擬科學和工程知識環境。它實現了多種形式的科學研究的高效平臺。
科學家通過挖掘新知識、交互式建模、使用模擬仿真工具、相互協作解決復雜的科學和工程技術問題,從而導致基礎科研設施的變化。復雜的科學和工程問題要求我們新的基礎科學研究設施必須是跨學科的、分布式的和集成的。天文學、生物學、地球科學、公共衛生和納米材料通常需要實現信息集成、數據分析和安全知識共享。都需要對物理設備(如計算機、磁盤陣列、儀器等)進行安全、可操作、持續的訪問。)、數據和信息(大量的數據集、商業和科學數據庫、信息和軟件庫、視頻和圖像庫)以及特定的專家和學者。
E-Research中間件是壹種具有特定功能的軟件,它在整個計算基礎設施上為研究機構和個人之間的應用系統、計算資源、知識管理、知識共享和任務協作提供標準的通用工具和服務。它是電子研究計算基礎設施的重要組成部分。
美國、英國、歐洲、日本等。都實施了龐大的e-Research計算基礎設施的研究計劃,希望該計劃能夠增加國家的長期經濟繁榮,充分發揮基礎設施提供的知識分布技能。很多研究項目都開發了重要的中間件,有些是國家之間的合作項目或者交流項目,跨大洲的通用中間件的開發。
在美國國家自然科學基金會(NSF)的支持下,美國目前正考慮每年額外投資6543.8+0億美元,用於建設和開發先進的網絡基礎設施計劃,其中三分之壹(約3.95億美元)將投資於中間件技術研究和相應的開發活動。表3列出了壹些重要的電子研究基礎設施R&D計劃和壹些投資於中間件R&D的資金..
表3
盡管中國在網絡基礎設施的建設上投入了壹定的研究資金,但報告顯示,有效地利用它來獲取研究資源是低效的、耗時的,並且需要更多的人力。用戶被迫使用不可靠的手動方法尋找合適的資源;有時有必要與資源所有者協商;有時需要用低效、耗時、昂貴的手段使用這些資源;有時妳甚至需要飛越各大洲。對訪問高速在線資源、設備、服務和數據缺乏足夠的了解,導致許多機會喪失。另外,用戶給系統的安全性帶來了很多不確定性,需要防止非授權人員入侵資源。由於標準化、系統支持和維護以及用戶界面的不完善,研究人員需要在支持和維護軟件的過程中投入更多的時間和精力。
地球科學需要壹個相互信任、合作、互動和基於高速網絡的資源環境,支持軟件服務的中間件可以實現這壹目標。雖然中國ICT(信息與計算機技術)研究人員對中間件的許多關鍵技術和服務做了大量的研究,但他們大多數是單學科的研究小組和企業,缺乏中央協調和壹個專門應用的驅動。因此,應該在中國中間件研究項目內部以及與國際中間件研究項目之間建立更多的協調機制。目前,中國對中間件基礎設施研究的資助有限且分散,這導致了壹些項目的重復和低效。
中國需要壹個開放的中間件計劃,能夠確保這些研究活動的集成和整體協調,將現有的傳統中間件擴展和改造為符合國際標準的OMP(Open middleware program)架構,並在特殊應用領域提供服務。中間件研究計劃還將確定和填補我們與國際中間件研究技術的差異,並將當前研究項目的軟件更新為e-Research研究機構可以應用的軟件。
當前的網格服務中間件(身份管理、訪問控制、供應管理、預訂服務、通知服務)在現有的計算基礎設施上運行時非常脆弱和不可靠。網格服務組件需要被工程化,以使它們更加健壯和可靠。用戶可以完全透明地訪問網格所享有的設備、計算和數據資源。我們需要加大對網格服務中間件的研究和投入,提高其標準化、健壯性和可用性。
實施開放中間件計劃的重要目的之壹是解決和改善OGSA網格服務、基於互聯網的應用級中間件、數字圖書館和信息管理服務以及知識服務管理之間的接口。在過去的幾年中,GGF(全球網格論壇)開發了網格基礎設施規範,如Globus Toolkit和開放網格服務架構(OGSA)。全球網格聯盟(包括Globus Alliance、HP和IBM)以WSRF(WS-Resource Frame-work)的形式聯合開發網絡服務。這也將使網格研究機構能夠影響W3C和OASIS開發的技術和工具,現在它已經吸引了大量的工業投資。WSRF和相關技術要求目前還不是行業標準。OMP的職能之壹是跟蹤這些發展,並確保它們反映和理解中國電子研究和網格技術的現狀。
應該重新認識現有的中間件工具和服務,使其更加可靠和實用。
現有的中間件工具和服務應該更具可操作性、趣味性和定制性,並且可以與更大的框架和網格環境集成。
因此,有必要開發新的中間件工具和服務。在缺乏以下功能的情況下,我們應該考慮開發新的中間件:網格安全、網格管理和組裝、服務適配質量、工作流引擎、協作工具、多媒體語義索引、智能服務發現、決策支持和假設檢驗軟件、數據和知識驗證和修正、自動表示機制、協作可視化、模擬仿真以及為應用系統科學家設計的高端網格用戶界面。
專項科學數據倉庫中存在大量異構數據集,如空間數據、時間數據、圖像、視頻、音頻、3D、光譜、圖形和多媒體等,這些數據集應能與其他領域的信息資源、數字圖書館(發表的文章和論文)和網站進行訪問、共享和集成。
知識網格層需要添加到現有的計算和數據網格中,這將涉及定義知識管理服務和網格管理之間的接口,並實現知識網格服務和網格環境的集成。
加強研究工作的協調,加大資金投入,可以防止工作重復,縮小與國際的差距。
5協作計算中間件
理論上,中間件是在用戶之間,應用系統之間,或者用於解決復雜科學和工程問題的資源之間(見下圖)。中間件提供了壹套通用的服務和工具,允許研究人員和應用系統處理計算、數據倉庫和其他分布式資源,就像它們是壹個非常大的虛擬設施壹樣。中間件將應用系統所需的壹組核心服務放在壹個標準的、無處不在的容器中。這種通用服務簡化了應用系統的開發,提供了系統的健壯性和互操作性,減少了大量的重復性工作,提高了各方面的效率。
計算基礎設施的關鍵組件圖
雖然中間件分為三種類型的服務和工具,但還有壹些其他傳統的方法來劃分中間件的空間。此外,壹些組件(如安全性、語義、源等。)實際上跨越了所有這三個類別。
網格服務和資源管理中間件:這個中間件包括壹個開放網格服務設施OGS(Open Grid Services infra structure),它在網格數據和計算資源之間以及使用這些資源的高端應用服務之間提供訪問、通信、安全、認證、記賬和協調服務。計算和數據網格依賴於網格服務中間件,因此也稱為資源管理中間件。
知識管理中間件:該中間件提供了大量的服務和工具,用於索引、存檔、查詢、分析、集成、管理和表示各種類型的大型數據倉庫和視頻信息存儲倉庫。這些工具可以實現多學科數據集的集成和自動索引,實現交互式分析、建模和可視化。工具還可以挖掘、獲取和發布新層次的知識,享受新的註釋。
協作中間件(Collaborative middleware):這種中間件提供服務和工具來支持正式和非正式、實時和非實時的協作活動,這些活動可能發生在遠程科學家、研究機構或資源(動態和可擴展的虛擬組織)之間。表4列出了這些中間件的基本功能,這些功能通常需要在本研究項目中進行集成和開發。
表4
繼續的
6結論
地球系統科學的發展對經濟和社會的可持續發展起著重要的作用。
地球系統科學的研究需要應用大型科學儀器設備和超大規模計算設施處理PB和TB地質空間數據集。
現代地球系統科學研究涉及大量多學科、跨學科的問題解決,因此需要壹個協同的多學科資源共享平臺以及使用該平臺的技術標準和規範。
地球系統科學的研究不應該是壹個孤立的行為,而應該與世界壹起研究,資源共享平臺可以參與世界e-Research和Geo Grid grid網格建設。
我國用於地球系統科學基礎研究的超級計算設施較差,尤其是高校,需要加大投入,整合我們的基礎研究資源。
建立地球科學超級計算和地理空間數據處理基礎研究平臺。
以地球科學基礎研究為目的的多學科資源共享環境和地球科學網格計算環境。
開展具有超級並行計算、分布式協同處理和多學科資源的中間件研發,以及相關應用基礎研究。
為參與更大的全國乃至世界級科研網格R&D打下基礎..
參考
王、趙、仇、、尹鴻福。2003.從實施可持續發展戰略看中國地球科學教育的未來。教育部科學技術委員會專家意見,第11號(共25號)。
林暉龔建華。2001.虛擬地理環境-在線虛擬現實的地理視角。當代科學前沿。北京:高等教育出版社。
蔣斌,黃波,馮路。2002.GIS環境下的空間分析和地理可視化。當代科學前沿。北京:高等教育出版社。
鄔建國。2000.景觀生態學——格局、過程、尺度和等級。當代科學前沿。北京:高等教育出版社。
蒲端良,龔鵬。2000.高光譜遙感及其應用。當代科學前沿。北京:高等教育出版社。
張幼學,殷安。2002.地球的結構、演化和動力學。當代科學前沿。北京:高等教育出版社。
陳長生。2003.海洋生態系統動力學和模型。當代科學前沿。北京:高等教育出版社。
長度Foster,C.Kesselman.2005 .網格計算(英文版)。北京:機械工業出版社。
A.格拉瑪、A .古普塔、G .卡裏皮斯和V .庫馬爾(張武等譯),2005年。並行計算簡介。北京:機械工業出版社。
J.杜阿托,S .亞拉芒奇利和L .倪(張民選等譯),2004年。並行計算機互聯網技術--壹種工程方法。北京:電子工業出版社。
G.Tel(霍宏偉譯)。2004.分布式算法介紹。北京:機械工業出版社。
W.斯塔林斯(齊·,等譯),2003年。高速網絡和互聯網-性能和服務質量。北京:電子工業出版社。
R.布亞(鄭為民等譯。) .2001.高性能集群計算-結構和系統。北京:電子工業出版社。
R.布亞(鄭為民等譯)。高性能集群計算-編程與應用。北京:電子工業出版社。