如何提升CAE/CFD的高性能計(jì)算應(yīng)用效率？

2017-04-27 by:CAE仿真在線來源:互聯(lián)網(wǎng)

CAE(Computer Aided Engineering)是指利用計(jì)算機(jī)對(duì)工程及工業(yè)產(chǎn)品的結(jié)構(gòu)、性能及運(yùn)行狀態(tài)等進(jìn)行仿真。

CFD(Computational Fluid Dynamics)是指利用計(jì)算機(jī)數(shù)值求解流體力學(xué)問題。

目前,基于高性能計(jì)算機(jī)的CAE/CFD仿真在航空航天、汽車船舶、石油化工、土木建筑等領(lǐng)域有廣泛的應(yīng)用。并且,隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展,CAE/CFD在上述領(lǐng)域的作用愈漸重要,特別是在航空航天領(lǐng)域,CAE/CFD已經(jīng)成為與理論分析和風(fēng)洞實(shí)驗(yàn)并列的三種研究手段之一。美國航天局NASA預(yù)測,航空航天飛行器的設(shè)計(jì)會(huì)在不遠(yuǎn)的將來發(fā)生革命性的變化,即實(shí)現(xiàn)在基于CAE/CFD仿真數(shù)據(jù)的數(shù)值風(fēng)洞中的虛擬飛行。

如何提升CAE/CFD的高性能計(jì)算應(yīng)用效率？fluent培訓(xùn)的效果圖片1

CAE/CFD仿真分析圖

高性能計(jì)算在CAE/CFD上應(yīng)用的首要目標(biāo)是用最低的成本獲取最接近真實(shí)的結(jié)果。目前,CAE/CFD行業(yè)軟件眾多,客戶對(duì)這些軟件的應(yīng)用要求也是千差萬別,難以形成統(tǒng)一的解決方案。

高性能計(jì)算CAE/CFD中應(yīng)如何應(yīng)用優(yōu)化

CAE/CFD特征分析

CAE/CFD軟件基本上采用有限元法或有限體積法求解控制方程,在計(jì)算時(shí)涉及大量的前后時(shí)間步迭代以及交界區(qū)域處理,屬于計(jì)算密集型,對(duì)CPU性能的要求自然是越高越好。

一般來講,采用顯式時(shí)間格式的CAE/CFD軟件對(duì)內(nèi)存容量的要求一般,而采用隱式時(shí)間格式的CAE/CFD軟件對(duì)內(nèi)存容量有比較高的要,至于對(duì)內(nèi)存帶寬的要求則是與單節(jié)點(diǎn)內(nèi)的進(jìn)程數(shù)直接關(guān)聯(lián)的,進(jìn)程數(shù)越多,內(nèi)存帶寬要求越高。

如何提升CAE/CFD的高性能計(jì)算應(yīng)用效率？fluent培訓(xùn)課程圖片2

CAE/CFD對(duì)客機(jī)分析圖

在I/O層面上,多數(shù)CAE/CFD軟件在讀操作時(shí),由主進(jìn)程讀入數(shù)據(jù),然后向從進(jìn)程分發(fā)數(shù)據(jù);在寫操作時(shí),由主進(jìn)程統(tǒng)一收集從進(jìn)程的數(shù)據(jù),然后主進(jìn)程寫出數(shù)據(jù)。也就是說,只有主進(jìn)程直接負(fù)責(zé)I/O操作。因此,CAE/CFD對(duì)I/O存儲(chǔ)的壓力一般。

如前所述,由于CAE/CFD軟件在計(jì)算時(shí)要做前后時(shí)間步迭代和交界區(qū)域處理,因此,對(duì)網(wǎng)絡(luò)通信也比較高,宜采用InfiniBand網(wǎng)絡(luò)。

如何進(jìn)行CAE/CFD運(yùn)行優(yōu)化

由于CAE/CFD多為商業(yè)軟件,一般只能做硬件級(jí)優(yōu)化與運(yùn)行級(jí)優(yōu)化。

考慮到前文的特征分析,在硬件級(jí)優(yōu)化層面,我們可以通過配置高主頻CPU和四通道內(nèi)存來分別提高CPU、內(nèi)存的性能,更可以通過對(duì)網(wǎng)絡(luò)接連拓?fù)?路由選擇算法以及RDMA等方面進(jìn)行優(yōu)化來提升InfiniBand網(wǎng)絡(luò)的通信能力。

在運(yùn)行級(jí)優(yōu)化層面,一般是采用MPI優(yōu)化的策略。例如,MPI進(jìn)程綁定優(yōu)化,MPI消息傳遞機(jī)制優(yōu)化,以及MPI通信共享內(nèi)存優(yōu)化等。隨著PGAS(Partitioned Global Address Space)編程模型,以及GPU、MIC等加速協(xié)處理器的發(fā)展,上述傳統(tǒng)算法將會(huì)被極大改進(jìn)。

以Fluent算例為例,浪潮使用其自主開發(fā)的“天眼”高性能應(yīng)用特征監(jiān)控分析系統(tǒng)(英文:Teye),監(jiān)測和分析了Fluent的應(yīng)用特征。在Intel Xeon E5-2680v3 CPU平臺(tái)上和144個(gè)進(jìn)程下,計(jì)算了1000萬網(wǎng)格規(guī)模的Fluent算例。

在下圖中,通過浪潮天眼可以看出Fluent 的CPU利用率接近100%,參與計(jì)算的物理核心基本上在滿載運(yùn)行,說明了Fluent屬于計(jì)算密集型。

如何提升CAE/CFD的高性能計(jì)算應(yīng)用效率？fluent培訓(xùn)課程圖片3

浪潮天眼分析Fluent算例的CPU利用率

在內(nèi)存帶寬方面,天眼監(jiān)測到Fluent的內(nèi)存帶寬需求主要發(fā)生在網(wǎng)格構(gòu)建、合并及劃分之后總內(nèi)存帶寬約為45GB/s。其中,讀內(nèi)存帶寬約為40GB/s,寫內(nèi)存帶寬約為5GB/s。Fluent由主進(jìn)程讀入和寫出數(shù)據(jù),從進(jìn)程不直接參與I/O操作。另外,數(shù)據(jù)讀寫量與Fluent算例大小成正關(guān)系。

如何提升CAE/CFD的高性能計(jì)算應(yīng)用效率？fluent培訓(xùn)課程圖片4

浪潮天眼分析Fluent算例的內(nèi)存帶寬

此外,我們還可以看到除開始階段主節(jié)點(diǎn)的讀操作速率達(dá)到40MB/s外,在Fluent的整個(gè)計(jì)算過程中,I/O操作壓力比較小。作為典型的CFD軟件,Fluent需要采用InfiniBand網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)通信。

如何提升CAE/CFD的高性能計(jì)算應(yīng)用效率？fluent分析案例圖片5

浪潮天眼監(jiān)測Fluent算例的磁盤讀寫操作情況

在計(jì)算初期,Fluent通過網(wǎng)絡(luò)進(jìn)行大量的數(shù)據(jù)發(fā)送與接收操作。在之后的計(jì)算過程中,數(shù)據(jù)發(fā)送與接收呈現(xiàn)連續(xù)流特征,其速率維持在60MB/s ~ 100 MB/s。由此可見,Fluent是一款網(wǎng)絡(luò)密集型軟件。