最優解

最優解

通常定義為不犧牲任何總目標和各分目標的條件下,技術上能夠達到的最好的解。它表示所有的總目標和分目標都可以達到的理想的解。而實際上這樣的解是很少存在的。工程問題固有的內在因素總是包含各種矛盾的,由於科學水平的限制,很多設計因素和系統的約束還不是很了解;許多判別準則。例如: 社會上的相互關係、生活的質量、生態學,以及興趣、愛好等等,是不容易確定的,更不容易定量化。而工程系統的設計問題或規劃問題中勞動力、設備、財力以及時間總是有限的。所以,最最佳化過程只是產生一個在設計和工藝約束條件下所能達到的“最令人滿意解”。

簡介

數學規劃的基本概念之一。指在數學規劃問題中,使目標函式取最小值(對極大化問題取最大值)的可行解。使目標函式取最小值的可行解稱為極小解,使其取最大值的可行解稱為極大解。極小解或極大解均稱為最優解。相應地,目標函式的最小值或最大值稱為最優值。有時,也將最優解和最優值一起稱為相應數學規劃問題的最優解。

線性規劃的最優解不一定只有一個,若其有多個最優解,則所有最優解所構成的集合稱為該線性規劃的最優解域。

例如:已知變數x,y滿足約束條件:

1、y≤3;

2、x+y≥1;

3、x-y≤1,

則z=2x-y的最優解為(4,3)或(-2,3);

定理

最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解

設D =非空, 則它的極點集非空且包含有限多個點 而且D 的極方向集非空若且唯若D 無界。若D 無界, 則它的極方向集包含有限個向量 此外, x ∈D 若且唯若x 可以表示為 的凸組合與的非負線性組合之和, 即

最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解

其中,,;,

最優解 最優解
最優解 最優解
最優解 最優解

設(SL P)有最優解, 則必存在基最優解(最優極點) , 記(SL P)的最優極點集為另外, 由(1) 式不難看出,(SL P)有最優解若且唯若對於所有的極方向有。

最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解
最優解 最優解

設 為(SL P) 的最優解, 若D 的某極方向 滿足 (即與c正交) , 則易見, 對於任意的, 都是最優解。 我們稱滿足的極方向為最優極方向。 記(SL P)的最優極方向集為。

判定方法

最小二乘法估計

最小二乘法估計是建立在模型服從高斯分布的假設之上。當從模型總體隨機抽取M組樣本觀測值後,最合理的參數估計值應該使得模型能最好地擬合樣本數據,也就是估計值和觀測值之差的平方和最小。而對於最大似然估計,當從模型總體隨機抽取M組樣本觀測值後,最合理的參數估計值應該使得從模型中抽取該M組樣本觀測值的機率最大。

最大似然估計

最大似然估計代表了頻率派的觀點:參數雖然未知但是客觀存在的,當參數求出來後,x,y也就知道了。

最優解 最優解
最優解 最優解

假設我們觀察的變數是x,觀察的變數取值(樣本)為,要估計的模型參數是θ,x的分布函式是。那么最大似然函式就是θ的一個估計值,它使得事件發生的可能性最大:

通常認為x是獨立同分布的:

所以最大似然估計的一般求解流程就是:

最大似然估計中,參數θ是一個固定的值,只要能夠擬合樣本數據就可以了。但是當樣本過少的時候就容易出現過擬合現象,會得到諸如只要沒見過飛機相撞,飛機就一定不會相撞的扭曲事實。

貝葉斯估計

貝葉斯派將參數θ作為隨機變數,服從某一分布。正因為參數是不固定的,對於給定的x無法用確定的y來表示,而是用機率的方式來表達。

最優解 最優解

我們希望求出觀察到樣本x的情況下,θ的分布情況。根據貝葉斯定理可得:

最優解 最優解

上面的後驗機率通常是很難計算的,因為要對所有的參數進行積分,而且,這個積分其實就是所有θ的後驗機率的匯總,其實它是與最優θ是無關的,而我們只關心最優θ(相同)。在這種情況下,我們採用了一種近似的方法求後驗機率,這就是最大後驗估計:

最大後驗估計相比最大似然估計,只是多了一項先驗機率,它正好體現了貝葉斯認為參數也是隨機變數的觀點,在實際運算中通常通過超參數給出先驗分布。最大似然估計其實是經驗風險最小化的一個例子,而最大後驗估計是結構風險最小化的一個例子。如果樣本數據足夠大,最大後驗機率和最大似然估計趨向於一致,如果樣本數據為0,最大後驗就僅由先驗機率決定。儘管最大後驗估計看著要比最大似然估計完善,但是由於最大似然估計簡單,很多方法還是使用最大似然估計。

相關詞條

相關搜尋

熱門詞條

聯絡我們