AITerms 登入
機器學習深度學習模型訓練

多任務學習(Multi-task Learning)是什麼?

多任務學習是一種機器學習方法,旨在同時訓練一個模型來執行多個相關任務,以提升模型的泛化能力和效率。

完整定義

多任務學習 (Multi-task Learning, MTL) 是一種機器學習方法,其目標是同時訓練一個模型來執行多個相關的任務。透過共享任務之間的知識,MTL 可以提升模型的泛化能力,減少對單一任務的過擬合,並加速學習過程。這種方法特別適用於任務之間存在共享特徵或結構的情況。

白話說明

你有沒有想過,一個模型能不能同時學會幾件相關的事?

你可以把它想成同一個學生一起學作文、閱讀、和摘要,讓不同任務互相幫忙。

當任務彼此有關時,共用表示通常能省資料、提泛化,也能讓模型學到更通用的特徵。

記住這句

相關任務一起學,常比單獨學更省力。

比喻:多任務學習就像一個學霸,同時學習好幾門相關的科目 -- 學習語文時,對理解歷史也有幫助;學習數學時,對物理也有幫助,這樣能讓他在各方面都表現得更好。

容易混淆

多任務學習 vs 遷移學習

多任務學習:同一時間學多個任務

遷移學習:先學一個,再拿去學另一個

多任務學習 vs 多模型

多任務學習:一個模型共享底層表示

多模型:每個任務各自訓練,資源更分散

實際案例

客服 NLP

同一套模型同時做意圖辨識、情緒判斷、和關鍵資訊抽取,整體流程更快。

醫療文書

一個模型同時判斷疾病分類與症狀抽取,因為兩個任務都在看同一份病歷。

演算法與應用

多任務學習最怕負遷移,任務不相干時,共享參數反而會互相干擾。

常見做法有硬共享、軟共享、和任務專屬頭。

好的設計會讓主幹學共通表示,尾端保留每個任務自己的細節。

中英對照與常見說法

說法
多任務學習
出現場合
中文正式用語
說法
多任务学习
出現場合
簡體寫法
說法
Multi-Task Learning
出現場合
英文原名
說法
MTL
出現場合
標準縮寫
說法
多目標學習
出現場合
常見混用,但嚴格說多目標最佳化是另一個領域的詞

兩種參數共享方式

硬共享是預設做法,因為它最省參數也最容易實作。任務之間關聯不強的時候才考慮軟共享,或改用專家混合(Mixture-of-Experts)這類讓不同任務走不同路徑的架構。

結構
硬共享(hard sharing)
底層完全共用,每個任務只有自己的輸出頭
軟共享(soft sharing)
每個任務有自己的完整網路,用正則化項拉近彼此參數
參數量
硬共享(hard sharing)
少
軟共享(soft sharing)
多
過度擬合風險
硬共享(hard sharing)
低,共享層被多個任務約束
軟共享(soft sharing)
較高
任務衝突時
硬共享(hard sharing)
影響大,會互相拉扯
軟共享(soft sharing)
影響小,各自保有彈性

為什麼有時候會變差

多任務學習的賣點是「任務之間互相幫忙」,但實際上經常出現負遷移(negative transfer),也就是一起學反而比各自學差。

主因一,梯度衝突。 兩個任務對同一組共享參數要求相反的更新方向,合起來互相抵銷。PCGrad 這類方法就是在偵測到梯度夾角為負時,把其中一個投影掉。

主因二,損失尺度差太多。 一個任務的損失是 0.001 量級,另一個是 10 量級,直接相加等於只在訓練後者。常見對策是手動加權、用不確定性自動加權(Kendall 等人的方法),或用 GradNorm 讓各任務的梯度大小維持平衡。

主因三,資料量嚴重不平衡。 樣本多的任務主導了共享層。對策是調整取樣比例,或對小任務的損失加權。

判斷值不值得做多任務的實用準則:先各自單獨訓練當基準線。多任務版本至少要在主要任務上不輸單任務版本,才算成功。純粹為了省一個模型而犧牲主任務精度,通常不划算。

什麼場景真的適合

任務彼此相關且共用同一批輸入時效果最好,例如自駕感知(同一張影像同時做偵測、分割、深度估計)、推薦系統(同時預測點擊率與轉換率)、語音(同時做辨識與語者識別)。

一個常被忽略的好處是推論成本。三個任務一個模型跑一次,比三個模型跑三次省,這在邊緣裝置上往往才是採用多任務的真正理由。

情境判斷

Q1(直覺題):你有分類、抽取、摘要三個任務,而且資料彼此相關,最像什麼策略?

多任務學習,因為共享表示能互相幫忙。

Q2(判斷題):如果其中一個任務非常奇怪,和其他任務差很多,還硬放一起學,風險是什麼?

可能出現負遷移,讓本來簡單的任務也變差。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把多任務學習列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本