對數幾率回歸 ,簡稱對率回歸,又稱邏輯回歸,是使用Sigmoid函式作為聯繫函式時的廣義線性模型,是廣義線性模型的一個特例。
定義
對數幾率回歸
對數幾率回歸
對數幾率回歸假設要用列向量 預測二分類結果,有數據集。
對數幾率回歸
對數幾率回歸
對數幾率回歸由廣義線性模型可知,只要找一個聯繫函式,其值域為即可。
對數幾率回歸最理想的聯繫函式是單位階躍函式(unit-step function)。
但是單位階躍函式不連續,難以求導,所以用對數幾率函式代替。
對數幾率回歸對數幾率函式(logistic function),簡稱對率函式,定義式為。
對數幾率回歸得到擬合模型。
對數幾率回歸
對數幾率回歸
對數幾率回歸為簡便起見,設,,則有。
對數幾率回歸下面將擬合模型的因變數看作的機率,使用極大似然法。
對數幾率回歸對於數據集的每一個樣本,有機率。
對數幾率回歸
對數幾率回歸考慮到,則有
對數幾率回歸
對數幾率回歸求出令損失函式最小時的值,就可求出模型參數。
性質
對數幾率回歸
對數幾率回歸可使用梯度下降法、牛頓法等求損失函式最小時的參數值。
套用
二分類任務
