高斯—牛頓法的一般步驟為：
(1)初始值的選擇。其方法有三種，一是根據以往的經驗選定初始值；二是用分段法求出初始值；三是對於可線性化的非線性回歸模型，通過線性變換，然後施行最小平方法求出初始值。
(2)泰勒級數展開式。設非線性回歸模型為：
i=1,2,…,n (3-68)
其中r為待估回歸係數，誤差項 ～N(0, )，設：
，為待估回歸係數的初始值，將(3-68)式在g點附近作泰勒展開，並略去非線性回歸模型的二階及二階以上的偏導數項，得
(3-69)
將(3-69)式代入(3-68)式，則
移項：
令：
則： i=1,2，…，n
用矩陣形式表示，上式則為： (3-70)
其中：
(3)估計修正因子。用最小平方法對(3-70)式估計修正因子B，
則： (3-71)
設g為第一次疊代值，則：
(4)精確度的檢驗。設殘差平方和為：
，S為重複疊代次數，對於給定的允許誤差率K，當時，則停止疊代；否則，對(3-71)式作下一次疊代。
(5)重複疊代。重複(3-71)式，當重複疊代S次時，則有：
修正因子：
第(S+1)次疊代值：
四、套用舉例
設12個同類企業的月產量與單位成本的資料如下表：
表3-9 間接代換法計算表
| 企業編號 | 單位產品成本（元） | 月產量 |
| 1 2 3 4 5 6 7 8 9 10 11 12 | 160 151 114 128 85 91 75 76 66 60 61 60 | 10 16 20 25 31 36 40 45 51 56 60 65 |
(註：資料來源《社會經濟統計學原理教科書》第435頁)
試配合適當的回歸模型分析月產量與單位產品成本之間的關係。
解：(1)回歸模型與初始值的選擇。根據資料散點圖的識別，本數據應配合指數模型：
對指數模型兩邊取對數，化指數模型為線性回歸模型，然後施行最小平方法求出初始值。即：
則上述指數模型變為：
對分別求反對數，得，帶入原模型，
得回歸模型：
高斯—牛頓疊代法
初始回歸模型：
殘差平方和：
（2）泰勒級數展開式。先對指數模型 中的a和b分別求偏導數。
然後用泰勒級數展開指數模型，移項整理得(註：參見(3-69)、(3-70)式)：
160-150.5866 0.82545 1535.0316
151-134.2148 0.73571 2189.0282
114-124.3015 0.68137 2534.1796
128-112.9332 0.61905 2878.0110
85-100.6550 0.55175 3180.7400 a
91- 91.4493 = 0.50128 3355.9387
75- 84.6948 0.46246 3453.4052
76- 76.9488 0.42180 3529.7593 b
66- 68.5829 0.37594 3565.4701
60- 62.3104 0.34156 3556.9658
61- 57.7081 0.31633 3529.5468
60-52.4302 0.28740 3473.9702
(3-72)
(3)估計修正因子。解(3-72)式矩陣，得：
a 12.09660288
=
b －0.00180342
第一次疊代值：
a1 a0 a 194.5266
= + =
b1 b0 b 0.9792
第一次疊代回歸模型：
(4)精確度的檢驗。殘差平方和：
給定誤差率K=10,則：
作下一次疊代。
(5)重複疊代。
將 a1 代入(3-71)式作第二次疊代。得估計修正因子：
b1
a 0.647654043
=
b －0.000066948
第二次疊代值：
a2 a1 a 195.1743
= + =
b2 b1 b 0.9791
第二次疊代回歸模型：
殘差平方和：
誤差率：
誤差率達到要求，停止疊代。表3-10計算結果比較
| 最小平方法 | 一次疊代 | 二次疊代 | |
| 回歸係數a | 182.43 | 194.5266 | 195.1743 |
| 回歸係數b | 0.981 | 0.9792 | 0.9791 |
| 殘差平方和SS R | 1124.1526 | 999.4077 | 999.1241 |
| 誤 差 率 % | — | 12.482 | 0.028 |
| 相關指數R | 0.95937 | 0.96396 | 0.96397 |
從上表可看出：高斯—牛頓疊代法具有收斂快，精確度高的優點，二次疊代就使精確度高達99.97%，相關指數也明顯提高。理論上可以證明高斯—牛頓疊代法經過數次疊代後，估計回歸係數將逼近最佳的待估回歸係數，使殘差平方和達到最小，從而明顯地克服了最小平方法的不足。其缺陷是計算量較大，但隨著電子計算機的日益普及，這點計算就顯得微不足道了。
