完整定義
修正線性單元 (ReLU) 是一種常用的神經網路激活函數,用於引入非線性特性。它能夠將所有負值設為零,而正值則保持不變。ReLU 激活函數因其計算效率高和能有效避免梯度消失問題,而被廣泛應用於深度學習模型中。
白話說明
你在神經網路裡看過一個函數,正值原樣通過,負值直接變成 0 嗎?
你可以把 ReLU 想成一個很簡單的門,正的放行,負的擋掉。
它之所以受歡迎,是因為計算快,而且在很多深度學習模型裡效果很好。
記住這句
正的放行,負的歸零。
比喻:ReLU 就像一個很直接的守門員 -- 只要球是正分(大於零),它就讓球過;如果是負分(小於等於零),就直接把球擋下來,不讓它進門。
容易混淆
ReLU vs Sigmoid
Sigmoid 會把輸入壓到 0 到 1 之間。
ReLU 對正值幾乎不壓縮,負值才歸零。
最關鍵的區別:一個會飽和,一個更直接。
ReLU vs Leaky ReLU
ReLU 在負值時直接變 0。
Leaky ReLU 在負值時還留一點小斜率。
最關鍵的區別:一個完全截斷,一個保留一點梯度。
ReLU vs Tanh
Tanh 會把值壓到 -1 到 1。
ReLU 不會把正值壓成固定區間。
最關鍵的區別:一個是平滑壓縮,一個是分段線性。
實際案例
影像辨識
卷積神經網路常用 ReLU 讓特徵通過更快。
這讓模型在多層堆疊時更容易訓練。
語音或文字模型
深度網路裡的隱藏層常搭配 ReLU,幫助梯度更容易往前傳。
這比傳統飽和型函數更不容易卡住。
演算法與應用
ReLU 的公式很簡單,輸入大於 0 就輸出原值,小於 0 就輸出 0。
它的優點是算得快、通常比較不會有梯度消失問題。
缺點是負值區域可能讓神經元長期沒有輸出,這就是常說的 dead ReLU。
情境判斷
Q1(直覺題): 你要讓神經網路在正值區域盡量保留訊號,該選哪種激活函數?
ReLU 很常被選,因為它對正值幾乎不做壓縮。
Q2(判斷題): 如果很多神經元在負值區域一直沒反應,就代表 ReLU 一定不適合嗎?
不一定,要看資料分布、初始化和學習率,有時改成 Leaky ReLU 就能改善。
常見問題
因為計算簡單、速度快,而且在很多深度學習任務裡都很有效。
主要問題是負值區域會直接歸零,可能讓部分神經元不再學習。
不一樣,它是分段線性的,只有正值那一段保留線性,負值會被截斷。
出現在這些考古題
官方公告試題的逐題解析裡,這 5 題把修正線性單元列為延伸術語。
相關術語
- 深度學習Deep LearningReLU 幾乎是深度網路的基本配件之一。
- 梯度下降Gradient Descent激活函數會影響梯度怎麼傳。
- 批次正規化Batch Normalization常和 ReLU 一起使用來穩定訓練。
- 隨機丟棄Dropout也是深度學習裡常見的正則化手段。
- S 型函數Sigmoid Function最常拿來和 ReLU 比的經典激活函數。
本頁內容有提到,或屬於同一組主題的術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本