適用于高計算代價數值計算模型參數反分析的協同優化法
【技術領域】
[0001] 本發明屬于人工智能算法的應用領域，涉及一種適用于高計算代價數值計算模型 參數反分析的協同優化方法，具體地指，涉及一種基于信息向量機-回溯搜索協同優化算 法（IVM-BSA)的高計算代價數值計算模型參數反分析的協同優化方法。
【背景技術】
[0002] 對許多工程問題、物理問題乃至自然界、人類社會中各類問題的研究，數值模擬都 是一種十分有效的研究手段。數值模擬首先要建立反映問題（如工程問題、物理問題等） 本質的數學模型。具體而言就是要建立反映問題所含各量相互關系的方程式（通常是微分 方程）及確定相應的定解條件，這是數值模擬工作的基礎。沒有正確完善的數學模型，數值 模擬就無從談起。
[0003] 建立數值模型后，模型所含參數的取值合適與否關系到所建模型正確性、合理性， 因此獲得模型的最優參數是數值模擬科學可信的重要基礎。一般的做法是將問題的某一 (或多個）評價指標（稱為目標函數）表示成參數的數學表達式，然后通過對目標函數的優 化來獲得最優的參數組合。上述過程即為優化設計的過程，亦即參數優化的過程。由于實 際問題的復雜性，目標函數通常很難合理選擇或目標函數具有非常復雜的數學表達式，使 得參數優化難以進行，這在一定程度上阻礙了數值模擬的發展。近十幾年發展起來的以可 以量測到的數據為基礎的反分析法，是解決這一難題的重要手段之一。
[0004] 反分析優化方法，即以可以量測到的、反映系統行為的某些物理量信息為基礎，通 過反演模型（反映系統物理性質的數值模型）推算得到該系統的各項或某些初始參數。反 分析方法不直接通過數值模型進行參數優化，而是將參數優化問題轉換為數學上的無約束 優化問題，即：將數值模型輸出值與監測值之間的差值作為目標函數，將待優化參數作為優 化變量，通過某種優化方法優化目標函數，然后獲得最優參數解。
[0005] 采用反分析方法進行參數優化時，由于實際問題的復雜性，每次計算目標函數值 (稱為適應度評價，所得值為適應度值）都十分耗時（即單次計算代價非常高）；此時如果 采用傳統的局部優化方法對目標函數進行優化，雖然計算效率較高，但往往只能獲得局部 最優解，如果采用隨機全局優化算法對目標函數進行優化，雖可獲得全局最優解，但由于該 類算法每次執行進化策略后，都需要對新的參數組合進行適應度評價，計算效率過低。
[0006] 本專利針對高計算代價的數值模擬過程中參數難以優化的問題，提出了信息向量 機-回溯搜索協同優化算法（IVM-BSA):首先，通過正交設計生成一定數量的參數組合（初 始樣本），并代入數值計算模型得到模型輸出值，將模型輸出值與真實值差值作為目標函數 值，由初始樣本和相應目標函數值構建尋優經驗知識庫；其次，通過IVM機器學習方法對尋 優經驗知識庫進行學習，得到目標函數值與參數之間的隱含函數關系；第三，利用BSA優化 算法進行全局尋優，在全局尋優過程中，將個體的初始位置以及每次執行進化策略后的位 置對應的參數組合代入IVM學習得到函數關系式中進行適應度評價，而不需要調用數值模 型進行計算，當參數組合不滿足精度時，用此參數組合替換原尋優經驗知識庫中最差的參 數組合，完成對尋優經驗知識庫的動態更新。由于IVM-BSA協同優化算法在全局尋優過程 中進行適應度評價時，不需要調用非常耗時的數值計算，大大降低了計算代價，從而達到了 減少計算耗時、提高參數優化分析效率的目的。
[0007] 本專利中涉及的IVM是一種機器學習方法。機器學習是人工智能的一個新興分 支，它從已知實例中自動發現規律，建立對未知實例的預測模型，與傳統回歸方法相比較， 更適用于復雜、高度非線性的回歸問題。當前已發展形成多種機器學習方法，其中人工神經 網絡與支持向量機是當前具有代表性的機器學習方法。但人工神經網絡和支持向量機均存 在一些公開性問題，例如，人工神經網絡存在著最優網絡拓撲結構與最優超參數不易確定、 存在過（欠）學習風險、小樣本推廣能力差等問題；支持向量機的核函數及合理超參數沒有 可行的理論求解方法，很難保證預測的可靠性。
[0008] 信息向量機（InformativeVectorMachine,IVM)是一種新的機器學習方法，由 NeilLawrence于2002年提出。該方法基于信息熵理論，從大量的訓練樣本中優選出部分 的最具信息性的樣本組成有效集，通過對有效集的學習可以達到與原訓練樣本集相同的學 習效果，同時結合稀疏化核矩陣表示，大大簡化學習的時間復雜度和空間復雜度。另外，IVM 通過假定密度篩選與最小化KL散度（相對信息熵）實現了對非高斯分布噪聲模型后驗分 布的近似逼近。IVM具有優異的回歸性能，其超參數可自適應獲取，對高度非線性回歸問題 具有較強的適用性。本發明方法中，BSA進入局部尋優狀態后，采用IVM擬合局部最優解附 近的真實目標函數（即建立IVM代理模型）。對目標函數建立IVM代理模型的關鍵環節有： [0009](1)建立IVM代理模型的回歸過程學習過程
[0010] 在構建IVM回歸代理模型的學習過程中，維持了兩個樣本索引集I與J，其中I是 有效集，J是待選集，初始時，/=0·J= {1，2，. ..，N}，且在任意時刻，irgN0，IuJ= {1， 2，. ..，N}(假定要從N個初始訓練樣本中，篩選d個信息向量），信息向量是以一種連續的、 類似在線學習的方式獲取：首先，應用ADF近似具有i個信息向量（即IJ時的后驗分布及 似然分布：（對于高斯分布的情況，近似解與準確解一致）
[0011] (1)
[0012] 式中：p表不概率分布，q表不近似分布，μ表不高斯分布均值，Σ為協方差矩陣，m表不似然替代變量，β表不噪聲分布方差，Λ'，為有效訓練樣本的輸入向量，Θ表不協方差 函數超參數。之后，依照（2)式選擇i+Ι個信息向量：
[0013] (2)
[0014] 上式表示，選擇當前待選集J中能夠最大化減小后驗分布信息熵的一個樣本j，作 為第i+Ι個信息向量。循環執行上述過程，直至完成d個信息向量的選擇（即I=Id)。此 時，可得：
[0015]
￡3)
[0016] 式中，B表不噪聲分布方差，K或Σ表不高斯分布協方差矩陣。
[0017] 在IVM回歸代理模型中，協方差函數超參數Θ的最優解是通過最大化邊緣似然分 布pGilX^，Θ)而自適應獲取的。具體的，通過取負對數-logbhlX^，Θ))，將最大化問 題轉化為最小化問題，進而利用共輒梯度下降法實現最優超參數％的自適應獲取。
[0018] (2)建立IVM代理模型的預測過程回歸過程
[0019] 上述過程實現了以有效集I替代原始樣本數據集，之后的回歸過程同貝葉斯回歸 學習過程的做法一致，最終可得IVM回歸的后驗分布：
[0020] (4)
[0021] 公式⑷隱含了個體位置坐標^與適應度L的對應關系，可用以代替真實的適應 度函數曲線進行適應度評價。
[0022] 回溯搜索優化算法（BacktrackingSearchOptimizationAlgorithm，BSA)是一 種新的進化算法，由PinarCivicioglu于2013年提出。研究表明，和遺傳算法、粒子群、差 分進化算法等隨機全局優化算法相比，BSA算法全局尋優能力更強、收斂速度更快、輸入參 數更少。
[0023] 綜上所述，IVM-BSA協同優化方法的基本原理是：首先，獲得一定數量初始樣本及 相應目標函數，構建尋優經驗知識庫；然后，用IVM機器學習方法學習得到樣本與目標函數 值之間隱含的函數關系式，從而顯示地近似原目標函數；然后，用BSA算法對近似目標函數 進行全局尋優；最后，當BSA算法的個體進化到一定的代數，將此時尋找到的最優樣本代入 真實的目標函數中，得到此樣本對應的真實適應度值，并將其替換尋優經驗知識庫中最差 樣本，如此不斷動態更新尋優經驗知識庫，直至滿足收斂條件。

【發明內容】

[0024] 本發明針對現有技術的不足，提供一種適用于高計算代價參數優化問題的協同優 化方法。
[0025] 為了實現上述目的，本發明采用了以下技術方案：
[0026] -種適用于高計算代價參數優化問題的協同優化方法，包括以下步驟：
[0027] (1)根據具體問題，建立相應的數值計算模型；
[0028] (2)將參數反演問題轉化為無約束參數優化問題，建立無約束參數優化問題的目 標函數，所述目標函數的一般格式為 = 卜<(·ν)其中，X為一組參數，式(4為此 組參數對應的物理量的計算值，山(X)為此物理量的實測值，i表示X編號；
[0029]目標函數絕對值越小，數值模型的計算值越接近于實測