L211 AI 相關技術應用
完成後你能：分辨自然語言處理、電腦視覺、生成式 AI 與多模態 AI 各適合的情境，說出自注意力、BERT 的遮罩語言模型、IoU 與 CLIP 各解決什麼問題。
這個單元約 20 分鐘：讀重點，練 2 題，再用 3 題沒做過的題目驗證。
- 讀重點
下方的白話重點與例子 - 練 2 題
- 驗證 3 題
步驟 1・讀重點
先看懂這些
L21101 自然語言處理
| 技術 | 做什麼 | 考試關鍵詞 |
|---|---|---|
| 情感分析 | 判斷文字是正面、負面還是中性 | 顧客評論、滿意度變化 |
| TF-IDF | 詞頻乘以逆文件頻率，估計詞的重要性 | 長文本的詞頻偏高，常見詞的權重會被放大 |
| N-gram | 只看前面固定 N 個詞預測下一個詞 | 抓不到長距離依賴，整句不連貫 |
| Word2Vec／GloVe | 把詞轉成向量 | Word2Vec 是預測式，GloVe 是全域共現統計式 |
| Seq2Seq | 輸入一段序列，輸出另一段序列 | 翻譯、摘要 |
- 自注意力（Self-Attention）：每個詞都直接看到句子裡所有的詞，能捕捉長距離語境，這是 Transformer 翻譯長句比 RNN 準的主要原因
- BERT 的遮罩語言模型（MLM）：隨機遮住部分詞，依左右兩邊的上下文預測被遮住的詞，所以是雙向
- Skip-gram 用中心詞預測周圍的詞，罕見詞每出現一次都能提供多個訓練訊號，比較能學好低頻詞
L21102 電腦視覺
| 任務 | 輸出 | 例子 |
|---|---|---|
| 圖像分類 | 整張圖一個類別 | 良品或瑕疵品 |
| 物件偵測 | 每個物件的邊界框與類別 | YOLO、智慧監控辨識人車 |
| 語意分割 | 每個像素的類別，同類物件不分個體 | 標出道路、天空 |
| 實例分割 | 分出同類物件的每一個個體 | 分出每一台車 |
| 全景分割 | 語意分割加實例分割 | 自駕車同時要類別與個體 |
- IoU（交併比）＝預測框與真實框的交集面積 ÷ 聯集面積，評估時 IoU 閾值設得越高，代表要重疊得越多才算偵測正確，標準越嚴格
- Softmax 把輸出轉成加總為 1 的機率，保留所有輸入的資訊，Max-Pooling 只留下區域裡的最大值，兩者用途不同
L21103 生成式 AI 與 L21104 多模態
| 模型 | 生成方式 | 特性 |
|---|---|---|
| VAE | 編碼到機率潛在空間再解碼 | 潛在空間連續、結構好，畫質有限 |
| GAN | 生成器與鑑別器對抗訓練 | 畫質高，訓練不穩，可能模式崩塌 |
| 擴散模型 | 逐步加雜訊，再逐步去雜訊 | 品質高、可控，生成要很多步 |
- 模式崩塌（Mode Collapse）：GAN 只生成少數幾種樣本，常見解法是改用 Wasserstein 距離（WGAN 損失）
- Stable Diffusion 生成的細節模糊：增加取樣步數、換品質較好的取樣器
- RAG 的檢索：向量相似不等於符合查詢意圖，找回來的文件可能語意相近卻答非所問
- CLIP：用圖文對比式學習，把影像和文字放進同一個嵌入空間，可以直接用文字做零樣本分類或找影像
- 多模態模型遇到某個模態缺失：訓練時就讓模型學會在缺少模態時仍能預測
考試陷阱
- 情感分析是判斷文字的情感傾向，不是翻譯、摘要或預測語氣風格
- BERT 是雙向的遮罩預測，從左到右逐字生成的是 GPT 這類因果語言模型
- Word2Vec 是預測式、GloVe 是共現統計式，選項常把兩者對調
- IoU 閾值越高代表標準越嚴格，不是誤差越大