作者: 黃麗蓉| 《國家實驗研究院-台灣颱風洪水研究中心》助理研究員

歐洲中期天氣預報中心(ECMWF )在數值模式技術及預報能力均是全球指標性的氣象作業單位,而維持一個佔據世界龍頭地位的氣象作業中心,需要多少計算資源呢?現在就讓我們來一探究竟。

ECMWF的新一代數值預報模式 − IFS於2016年3月8日正式上線,其全球模式的水平解析度由16公里提高為9公里。(IFS的演進及技術細節可在以下網頁查詢:http://www.ecmwf.int/en/forecasts/documentation-and-support/changes-ecmwf-model)。目前版本的正式名稱為” Cycle 41r2″,此次升級是IFS長期發展計畫的一部分,而根據ECMWF 的規劃,在Cycle 41r2(原稱為T2047)之後還有兩次主要的升級,分別是 2024年的 T3999(全球 5公里) 及 2032年的 T7999(全球2.5公里)。值得注意的是,2013 年ECMWF已經開始發表T3999L137 及T7999L137 的科學成果,而其分別是距離當時 11年及19年後將要上線的版本,卻早在2013年之前就已經展開一系列的研究,可以想見ECMWF的企圖心與實力。

在模式提升空間與時間解析度的同時,另一個重大挑戰就是要如何保存每日產出的龐大資料並供未來研究使用。ECMWF曾表示,由於資料容量是非線性迅速成長,任何刪除舊資料以釋放空間給新資料的舉動都是毫無意義的,所以ECMWF自1975成立以來,所有的資料都完整保存。2016年的資料顯示,ECMWF每日新增的檔案容量為100 TiB[1],共 1.5億筆氣象場;目前累積的總資料量為99.6 PiB,1,360萬個檔案,2,450 億筆氣象場,由1995年開始運作的MARS(氣象資料儲存及檢索系統,Meteorological Archival and Retrieval System)負責管理,主要的儲存媒體為磁帶。值得一提的是, MARS的使用者介面非常簡單,科學家僅需幾行文字檔即可存取所有的歷史資料;MARS會自動從磁帶下載資料,擷取指定的範圍並內插至需要的解析度。MARS目前每日平均提供1,000名使用者200萬筆的資料查詢服務。

在計算資源方面,ECMWF 的計算資源由兩台完全一樣的超級電腦所提供,分別安裝在不同的機房。每套超級電腦都有完整獨立的磁碟陣列系統,並互相掛載另一套系統的磁碟陣列,每日作業的資料同時寫到兩邊的磁碟陣列,若一套系統嚴重故障或機房發生意外,另一套系統可以完全取代並獨力完成作業(圖1為ECMWF目前的超級電腦系統架構示意圖)。目前ECMWF的超級電腦於2013年6月完成公開招標與評選,第一階段於2014年9月17日正式上線作業。兩台超級電腦系統各自具備3,465個計算節點,83,160個計算核心。理論計算性能(Rpeak)為1.80 PFLOPS,HPL 實測持續性能 (Rmax) 為 1.55 PFLOPS (每秒完成1,550兆個雙精度浮點運算),在2015年11月份TOP500排行中分占第45及46名(韓國氣象廳是28及29,美國NCEP是41及42, 日本氣象廳 是84)。今年初展開的第二階段升級的計畫已經完成,系統在持續運作的情況下分階段更換處理器(Intel E5-2677v2更新為E5-2695v4)、記憶體(DDR3更新為DDR4)及處理器子卡(因處理器及記憶體腳位更換,無法沿用上一代子卡),其他所有的裝備則沿用第一階段的系統。目前兩套系統各自具備126,468 個計算核心,Rpeak 為 4.25, Rmax 為 3.94 PFLOPS。在2016年6月份的 TOP500 的排行分別為  17 及 18 名,成為全球氣象作業單位中最快的電腦。根據 ECMWF 的長期發展計畫,此系統將於 2018年中除役,由下一代超級電腦系統取代。此外,磁碟陣列系統也是一個重要的性能指標,因為超級電腦產生更多更密的預報資料,且輸出的頻率越來越高,以滿足精緻化預報的需求,但是每天預報截止的時間是不變的,因此氣象中心往往需要極高的磁碟陣列輸入/輸出頻寬,才能在時限之內完成預報。根據ECMWF的簡介,目前每一台超級電腦的磁碟陣列都具備250 GBytes/s的讀與寫的實測頻寬與6 PBytes 的容量。

很多人都有同樣的問題,氣象作業中心每天到底有多少程式要執行?為什麼需要這麼快 (大)的超級電腦? ECMWF的網頁(http://www.ecmwf.int/en/computing/our-facilities/supercomputer)提供了以下的資料:每一台超級電腦平均每日要完成245,000支程式,其中54%(132,300支)是序列程式(serial,無法平行或平行不具效益,使用單核心運算),25%(61,250支)小型平行化程式,使用不超過一個計算節點(24核心)的資源,只有21%(51,450支)是大型的平行化程式(使用超過一個計算節點),而這僅占21% 的程式卻使用超過99%的計算資源。

ECMWF IFS模式的優異表現,除了傑出的數值模式,最重要的就是使用非常大量的資料來進行四維資料同化,以彌補傳統觀測資料在空間及時間上的不連續性。根據2015年的資料,每日用於資料同化的資料數量為3億筆,來自於130個以上不同的來源。由於ECMWF希望盡可能提高資料同化的數量與品質,所以增加資料同化的作業時間,但也因此嚴重壓縮IFS 的作業時間。目前 IFS Cycle 41r2的作業時間與流程尚無法由網路上的資源取得,但是ECMWF對於未來IFS T3999及T7999的作業需求,已經有非常明確的目標,都是一小時完成10天全球預報,ECMWF稱之為critical time。根據最近的研究顯示,2032年T7999 達成critical time所需的計算資源,足夠滿足50個成員的T3999 系集預報系統;而 2024年T3999如何滿足critical time,仍未有定論。許多相關的研究已在進行中,包括GPGPU、MIC或其他處理器技術的應用等,就讓我們拭目以待吧!

圖1 現行ECMWF超級電腦架構示意圖。(圖片來源:http://www.ecmwf.int/en/computing/our-facilities/supercomputer)
圖1 現行ECMWF超級電腦架構示意圖。(圖片來源:http://www.ecmwf.int/en/computing/our-facilities/supercomputer)
圖2 ECMWF每日執行的程式數量與比例。(圖片來源:http://www.ecmwf.int/en/computing/our-facilities/supercomputer)
圖2 ECMWF每日執行的程式數量與比例。(圖片來源:http://www.ecmwf.int/en/computing/our-facilities/supercomputer)

[1] TiB = 240 = 10244 ,  TB = 10004,  兩者相差10.0%。PiB = 250 = 10245 ,  TB = 10005,兩者相差12.6%。

 

http://www.ttfri.narl.org.tw/sp/wp-content/uploads/2016/11/fig1.pnghttp://www.ttfri.narl.org.tw/sp/wp-content/uploads/2016/11/fig1-150x150.png編輯團隊文章作者: 黃麗蓉| 《國家實驗研究院-台灣颱風洪水研究中心》助理研究員 歐洲中期天氣預報中心(ECMWF )在數值模式技術及預報能力均是全球指標性的氣象作業單位,而維持一個佔據世界龍頭地位的氣象作業中心,需要多少計算資源呢?現在就讓我們來一探究竟。 ECMWF的新一代數值預報模式 − IFS於2016年3月8日正式上線,其全球模式的水平解析度由16公里提高為9公里。(IFS的演進及技術細節可在以下網頁查詢:http://www.ecmwf.int/en/forecasts/documentation-and-support/changes-ecmwf-model)。目前版本的正式名稱為' Cycle 41r2',此次升級是IFS長期發展計畫的一部分,而根據ECMWF 的規劃,在Cycle 41r2(原稱為T2047)之後還有兩次主要的升級,分別是 2024年的 T3999(全球 5公里) 及 2032年的 T7999(全球2.5公里)。值得注意的是,2013 年ECMWF已經開始發表T3999L137 及T7999L137 的科學成果,而其分別是距離當時 11年及19年後將要上線的版本,卻早在2013年之前就已經展開一系列的研究,可以想見ECMWF的企圖心與實力。 在模式提升空間與時間解析度的同時,另一個重大挑戰就是要如何保存每日產出的龐大資料並供未來研究使用。ECMWF曾表示,由於資料容量是非線性迅速成長,任何刪除舊資料以釋放空間給新資料的舉動都是毫無意義的,所以ECMWF自1975成立以來,所有的資料都完整保存。2016年的資料顯示,ECMWF每日新增的檔案容量為100 TiB,共 1.5億筆氣象場;目前累積的總資料量為99.6 PiB,1,360萬個檔案,2,450 億筆氣象場,由1995年開始運作的MARS(氣象資料儲存及檢索系統,Meteorological Archival and Retrieval System)負責管理,主要的儲存媒體為磁帶。值得一提的是, MARS的使用者介面非常簡單,科學家僅需幾行文字檔即可存取所有的歷史資料;MARS會自動從磁帶下載資料,擷取指定的範圍並內插至需要的解析度。MARS目前每日平均提供1,000名使用者200萬筆的資料查詢服務。 在計算資源方面,ECMWF 的計算資源由兩台完全一樣的超級電腦所提供,分別安裝在不同的機房。每套超級電腦都有完整獨立的磁碟陣列系統,並互相掛載另一套系統的磁碟陣列,每日作業的資料同時寫到兩邊的磁碟陣列,若一套系統嚴重故障或機房發生意外,另一套系統可以完全取代並獨力完成作業(圖1為ECMWF目前的超級電腦系統架構示意圖)。目前ECMWF的超級電腦於2013年6月完成公開招標與評選,第一階段於2014年9月17日正式上線作業。兩台超級電腦系統各自具備3,465個計算節點,83,160個計算核心。理論計算性能(Rpeak)為1.80 PFLOPS,HPL 實測持續性能 (Rmax) 為 1.55 PFLOPS (每秒完成1,550兆個雙精度浮點運算),在2015年11月份TOP500排行中分占第45及46名(韓國氣象廳是28及29,美國NCEP是41及42, 日本氣象廳 是84)。今年初展開的第二階段升級的計畫已經完成,系統在持續運作的情況下分階段更換處理器(Intel E5-2677v2更新為E5-2695v4)、記憶體(DDR3更新為DDR4)及處理器子卡(因處理器及記憶體腳位更換,無法沿用上一代子卡),其他所有的裝備則沿用第一階段的系統。目前兩套系統各自具備126,468 個計算核心,Rpeak 為 4.25, Rmax 為 3.94 PFLOPS。在2016年6月份的 TOP500 的排行分別為 ...Typhoon and Flood Knowledge Sharing Network