AITerms 登入
統計方法迴歸分析機器學習

異質變異(Heteroscedasticity)是什麼?

異質變異是迴歸模型的誤差變異數不固定,常隨自變數或預測值改變,殘差圖常呈扇形或漏斗形,標準誤可能因此不可靠。

同主題的術語機器學習

完整定義

異質變異(Heteroscedasticity,也拼作 Heteroskedasticity)是指迴歸模型的誤差變異數不是固定的,常隨著自變數、預測值或其他變數改變。簡單線性迴歸的基本假設之一,是每個自變數值對應的誤差都有相同的變異數,稱為同質變異(Homoscedasticity),異質變異就是違反這個假設。常見的徵兆是殘差對預測值的散布圖呈扇形或漏斗形,也就是預測值變大時殘差越散越開,或越來越集中,不過模型的函數形式設錯時也可能出現類似形狀,要先確認模型本身合理。發生異質變異時,一般最小平方法(OLS)的係數不再是最有效率的估計,常用的標準誤公式也會估錯,信賴區間、預測區間與檢定結果都可能失真。常見做法是用 Breusch-Pagan 檢定或 White 檢定進一步檢查,再視情況對目標變數取對數等轉換、改用加權最小平方法(WLS)讓誤差變異數大的觀測值權重變小,或改用 White(1980)提出的異質變異一致共變異數估計來算標準誤,也就是常說的穩健標準誤。

白話說明

迴歸模型的殘差,為什麼有時候預測值越大就散得越開?

這就是異質變異:誤差的變異數不是固定的,常跟著自變數或預測值改變。線性迴歸假設每個位置的誤差都一樣分散(同質變異),異質變異就是這個假設不成立。

只要模型本身設定正確,一般最小平方法的係數仍然不偏,麻煩在於它不再是最有效率的估計,常用公式算出的標準誤也可能偏大或偏小,信賴區間和顯著性檢定因此可能誤判。

記住這句

殘差像喇叭一樣越散越開,通常代表誤差變異數不固定,標準誤不能照單全收。

比喻:異質變異像丟飛鏢的誤差:近距離丟得很集中,遠距離丟得很散,如果假設每一鏢的誤差都一樣大,就會高估近距離的不確定性、低估遠距離的不確定性

容易混淆

異質變異 vs 同質變異

同質變異是線性迴歸的假設:每個自變數值對應的誤差變異數都相同

異質變異是違反這個假設:誤差變異數會隨自變數或預測值變大或變小

最關鍵的區別是殘差散開的寬度有沒有跟著預測值改變。

異質變異 vs 誤差不是常態

常態性假設看的是誤差分布的形狀

異質變異看的是誤差分散的程度是否固定

一個看形狀、一個看寬度,兩者可能同時發生,這時可以考慮先對 y 做轉換再重新檢查。

實際案例

房價預測

用坪數預測房價時,小坪數物件的價格可能都落在相近區間,大坪數物件的價格差距卻可能大很多,殘差圖會呈現右邊越散越開的扇形。

用 Python 檢定

statsmodels 的 het_breuschpagan 拿迴歸的殘差和可能造成異質變異的變數做檢定,虛無假設是同質變異,p 值很小代表誤差變異數可能和這些變數有關,p 值不小也不代表一定沒有異質變異。

演算法與應用

先用一般最小平方法配適模型,畫殘差對預測值(或對自變數)的散布圖,看殘差的寬度有沒有隨預測值改變,同時確認模型的函數形式沒有設錯。

再用 Breusch-Pagan 檢定或 White 檢定進一步檢查,這兩種檢定的虛無假設都是同質變異。

處理方式依情況選:y 都是正數時可以取對數或做其他轉換來穩定變異數,也可以改用加權最小平方法,讓每個觀測值的權重和它的誤差變異數成反比,權重通常要先用殘差估計。

如果想保留一般最小平方法的係數、只修正推論,就改用 White(1980)提出的異質變異一致共變異數估計來算標準誤,也就是常說的穩健標準誤。加權前後的係數如果差很多,反而要回頭檢查模型設定。

情境判斷

Q1(直覺題):殘差對預測值的圖,左邊很集中、右邊越來越散,最可能違反哪一個迴歸假設?

違反誤差變異數固定(同質變異)的假設,這是異質變異的典型樣子,不過也要先確認模型的函數形式沒有設錯。

Q2(判斷題):發現異質變異,就代表迴歸係數完全不能用嗎?

不一定。只要模型設定正確,一般最小平方法的係數在異質變異下仍然不偏,只是不再是最有效率的估計,真正失準的是一般公式算出的標準誤。可以改用穩健標準誤,或用加權最小平方法重新估計,如果加權前後係數差很多,要回頭檢查模型設定。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:www.econometricsociety.org

其他格式:Markdown 版本