梯度下降 vs 普通最小平方法
Gradient Descent vs OLS
梯度下降 側重 梯度下降是一種透過反覆運算，沿損失函數的梯度方向，逐步逼近損失函數最小值的演算法，而 普通最小平方法 側重 透過最小化殘差平方和來估計線性回歸模型係數的統計方法。。
逐項比較
| 項目 | 梯度下降 | 普通最小平方法 |
|---|---|---|
| 一句定義 | 梯度下降是一種透過反覆運算，沿損失函數的梯度方向，逐步逼近損失函數最小值的演算法 | 透過最小化殘差平方和來估計線性回歸模型係數的統計方法。 |
| 常見標籤 | 最佳化、模型訓練、數學基礎、iPAS初級 | 統計方法、線性回歸、機器學習基礎、iPAS中級、估計量、計量經濟 |
| iPAS 關聯度 | 高頻 | 未知 |
| 考生最常問 | 梯度下降一定會找到全域最小值嗎？ | OLS 與梯度下降求解線性回歸有什麼差異？ |