完整定義
自動提示工程(Automatic Prompt Engineer,APE)是 Zhou 等人在 2022 年 11 月公開的論文《Large Language Models Are Human-Level Prompt Engineers》提出的方法,論文發表於 ICLR 2023。它把給模型的指令當成可以搜尋的「程式」,當作黑箱最佳化問題來處理:先給大型語言模型幾組輸入與正確輸出,請它推測可能的指令,產生一批候選,再依選定的評分方式替每條候選打分數(論文預設用答對率),留下分數最高的指令,最後讓要使用這條指令的目標模型,在沒參與挑選的測試資料上照指令零樣本作答,檢驗效果,論文主要實驗用的是 InstructGPT。論文報告,APE 找到的指令大幅勝過先前由語言模型自動產生指令的做法,在 24 個指令歸納任務全部、以及 21 個精選 BIG-Bench 任務中的 17 個,表現達到或超過人寫的指令。把 APE 找到的指令加在少樣本提示前面,24 個任務中有 21 個表現相當或更好,它也找到了效果更好的思維鏈引導句。和提示微調(Prompt Tuning)用反向傳播訓練一段不是文字、無法直接閱讀的連續向量不同,APE 產出的是人看得懂的自然語言指令,不用反向傳播,也不改任何模型參數。
白話說明
提示詞一定要靠人慢慢試出來嗎?能不能讓模型自己找?
自動提示工程(APE)就是讓大型語言模型自己提出很多條候選指令,再實際拿去測試、依表現打分數,留下最好的那一條。
它出自 2022 年的論文《Large Language Models Are Human-Level Prompt Engineers》,論文報告在大部分測試任務上,APE 找到的指令表現和人寫的相當或更好。
記住這句
讓模型自己寫一堆提示詞,拿去實際作答,留下表現最好的那一條。
比喻:APE 像請一位寫手先看幾題範例答案,猜出出題老師想要的指令並寫出好幾個版本,再把每個版本拿去讓學生實際作答,最後留下學生答對最多的那一版
容易混淆
自動提示工程 vs 提示工程
提示工程是人根據經驗設計、修改提示詞
自動提示工程讓模型產生候選指令,再用資料上的分數挑選
最關鍵的區別是由誰提出與篩選指令,APE 把試錯的過程自動化。
自動提示工程 vs 提示微調
提示微調(Prompt Tuning)用反向傳播訓練一段接在輸入前面的連續向量(軟提示),它不是文字、無法直接閱讀,模型本身的參數凍結
自動提示工程挑選的是人看得懂的自然語言指令,不用反向傳播,也不改模型參數,只要能呼叫模型就能用
最關鍵的區別是一個訓練連續的向量,一個挑選文字指令。
實際案例
分類任務的指令(示意情境)
想讓模型判斷客服留言屬於哪一類,先準備幾十筆標好類別的留言,請模型看範例後提出多種寫法的指令,再讓模型照每條指令實際分類,答對率最高的指令就拿來正式使用。
思維鏈引導句
論文用 APE 搜尋放在答案開頭的引導句(answer prefix),找到「Let's work this out in a step by step way to be sure we have the right answer.」,在 InstructGPT(text-davinci-002)上,MultiArith 與 GSM8K 兩個數學題資料集的表現都比常見的「Let's think step by step.」更好。
演算法與應用
第一步是提出候選:把幾組「輸入、正確輸出」給大型語言模型,請它推測是什麼指令能產生這樣的結果,一次產生多條候選。
第二步是評分:用選定的評分方式衡量每條候選,論文預設的是答對率,也就是讓模型照指令回答一部分訓練資料,計算答對多少。
第三步是挑選:留下分數最高的指令。論文也試過反覆幾輪請模型改寫高分指令、產生相近的變體再評分,整體候選變好,但最高分的指令多半不變,只帶來小幅改善,所以預設不用。
實務上要先準備有標準答案或明確評分方式的資料,選出來的指令是依這批資料的分數挑的,換到差很多的資料最好重新驗證。
情境判斷
Q1(直覺題):讓模型產生 50 條候選提示詞,各自在驗證資料上測答對率,最後選最高分的那條,這是什麼做法?
這是自動提示工程(APE)的核心流程:產生候選、評分、挑選。
Q2(判斷題):APE 會改變大型語言模型的參數嗎?
不會。APE 只產生與挑選文字指令,不用反向傳播,也不改模型參數,要調整模型參數或訓練向量的是微調或提示微調。
常見問題
APE 是 Automatic Prompt Engineer 的縮寫,本站譯為自動提示工程,出自 2022 年的論文《Large Language Models Are Human-Level Prompt Engineers》,論文發表於 ICLR 2023。
先給模型幾組輸入與正確輸出,請它推測可能的指令並產生多條候選,再用答對率等分數替每條候選打分數,留下分數最高的指令,最後在沒參與挑選的測試資料上檢驗。
提示微調用反向傳播訓練一段不是文字、無法直接閱讀的連續向量(軟提示),模型參數凍結。APE 挑選的是人看得懂的文字指令,不用反向傳播,也不改任何模型參數。
不一定。論文報告在 24 個指令歸納任務全部、以及 21 個精選 BIG-Bench 任務中的 17 個,表現達到或超過人寫的指令,也就是有 4 個 BIG-Bench 任務表現不如人寫的,而且結果取決於評分用的資料。
要準備幾組輸入與正確輸出當範例,以及有標準答案或明確評分方式的資料,用來替候選指令打分數與檢驗。
相關術語
- 提示工程Prompt Engineering
- 提示微調Prompt Tuning
- 思維鏈提示Chain-of-Thought Prompting
- 少樣本提示Few-shot Prompting
- 上下文學習In-context Learning
本頁內容有提到,或屬於同一組主題的術語
來源
參考來源:arxiv.org
其他格式:Markdown 版本