什麼是知識蒸餾（Knowledge Distillation）？

讓小模型（學生）學習大模型（老師）的輸出行為，獲得接近大模型的能力但體積更小

類比：像師傅帶徒弟——徒弟不需要讀完師傅讀過的所有書，跟著師傅學精華就好