神經架構搜尋（Neural Architecture Search）

核心概念

神經架構搜尋 (NAS) 的核心概念是利用演算法自動尋找最佳的神經網路架構，以解決特定的機器學習問題。傳統上，神經網路的架構設計依賴於人類專家的經驗和直覺，這是一個耗時且需要大量專業知識的過程。NAS 旨在通過自動化的方式，探索更廣泛的架構空間，並找到超越人類設計的潛在最佳模型。

NAS 的關鍵組成部分包括：

• 搜尋空間 (Search Space): 定義了 NAS 演算法可以探索的所有可能的網路架構。搜尋空間可以是離散的（例如，不同的層類型、連接方式）或連續的（例如，層的參數）。
• 搜尋策略 (Search Strategy): 決定了 NAS 演算法如何探索搜尋空間。常見的搜尋策略包括隨機搜尋、網格搜尋、貝葉斯優化、進化演算法和強化學習。
• 評估策略 (Evaluation Strategy): 用於評估候選網路架構的性能。評估策略可以是基於訓練和驗證資料集的準確度、速度、模型大小等指標。

運作原理

NAS 的運作原理通常涉及以下步驟：

1. 定義搜尋空間: 首先，需要定義一個包含所有可能網路架構的搜尋空間。這個空間可以包括不同的層類型（例如，卷積層、池化層、全連接層）、連接方式（例如，序列連接、跳躍連接）以及其他超參數（例如，層的數量、過濾器大小）。
2. 初始化搜尋策略: 選擇一種搜尋策略來探索搜尋空間。例如，可以使用隨機搜尋隨機生成候選架構，或者使用強化學習訓練一個代理模型來預測哪些架構更有可能表現良好。
3. 生成候選架構: 根據搜尋策略，生成一批候選網路架構。這些架構可以是從搜尋空間中隨機抽取的，也可以是基於先前評估結果生成的。
4. 評估候選架構: 對每個候選架構進行評估，以確定其在特定任務上的性能。評估通常涉及在訓練資料集上訓練模型，並在驗證資料集上評估其準確度或其他相關指標。為了加速評估過程，可以使用一些技術，例如權重共享、代理模型或提前停止。
5. 更新搜尋策略: 根據候選架構的評估結果，更新搜尋策略。例如，如果使用強化學習，可以更新代理模型的權重，使其更傾向於選擇表現良好的架構。如果使用進化演算法，可以選擇表現最好的架構進行交叉和變異，生成新的候選架構。
6. 重複步驟 3-5: 重複生成、評估和更新的過程，直到達到預定的停止條件，例如達到最大迭代次數或找到滿足性能要求的架構。
7. 選擇最佳架構: 在所有評估過的架構中，選擇在驗證資料集上表現最佳的架構作為最終結果。

實際應用

NAS 在許多機器學習應用中都取得了成功，包括：

• 圖像分類: NAS 可以用於自動設計用於圖像分類任務的神經網路架構。例如，NASNet 和 AmoebaNet 是使用 NAS 找到的，它們在 ImageNet 資料集上取得了當時最先進的結果。
• 物件檢測: NAS 可以用於自動設計用於物件檢測任務的神經網路架構。例如，DetNAS 是一種基於 NAS 的物件檢測方法，它可以在 COCO 資料集上取得具有競爭力的結果。
• 自然語言處理: NAS 可以用於自動設計用於自然語言處理任務的神經網路架構。例如，Transformer-XL 和 GPT-3 的部分架構設計受到了 NAS 的啟發。
• 語音辨識: NAS 可以用於自動設計用於語音辨識任務的神經網路架構。例如，DARTS 是一種基於 NAS 的語音辨識方法，它可以在 LibriSpeech 資料集上取得良好的結果。
• 行動裝置部署: NAS 可以用於自動設計在行動裝置上高效運行的神經網路架構。例如，MobileNetV3 和 EfficientNet-Lite 是使用 NAS 找到的，它們在行動裝置上具有良好的性能和效率。

常見誤區

• NAS 可以完全取代人類專家: NAS 是一種強大的工具，但它不能完全取代人類專家。NAS 的性能取決於搜尋空間的設計、搜尋策略的選擇和評估策略的有效性。人類專家仍然需要在這些方面做出決策，並對 NAS 的結果進行解釋和驗證。
• NAS 總是能找到最佳架構: NAS 只能在預定義的搜尋空間中尋找最佳架構。如果搜尋空間設計不合理，或者最佳架構不在搜尋空間中，NAS 就無法找到最佳架構。
• NAS 的計算成本很高: NAS 的計算成本通常很高，因為它需要評估大量的候選架構。然而，可以使用一些技術來降低計算成本，例如權重共享、代理模型和提前停止。
• NAS 找到的架構總是具有可解釋性: NAS 找到的架構可能很複雜，難以解釋。這可能會限制 NAS 在一些需要可解釋性的應用中的應用。