AITerms 登入
大型語言模型自然語言處理深度學習

路徑語言模型(PaLM)是什麼?

PaLM (Pathways Language Model) 是 Google 開發的大型語言模型,以其卓越的推理能力和多語言處理能力著稱。

完整定義

PaLM (Pathways Language Model) 是 Google AI 開發的一種基於 Transformer 架構的大型語言模型。它利用 Pathways 系統進行訓練,該系統允許模型跨多個 TPU (Tensor Processing Unit) 進行高效擴展。PaLM 以其在各種語言任務中的卓越表現而聞名,包括推理、程式碼生成和多語言理解。

白話說明

你會不會希望一個模型同時會聊天、摘要、翻譯和寫程式?

你可以把 路徑語言模型 想成 大型通用模型先學廣,再轉去做各種任務。

同一個底座可以接問答、翻譯和摘要,大型通用模型,先學廣,再轉去做各種任務 這件事就特別重要。

記住這句

大型通用模型,先學廣,再轉去做各種任務

比喻:PaLM 就像一個非常聰明、會多國語言的超級翻譯家兼邏輯學家 -- 它不只懂許多語言,還能理解複雜的語意,甚至能做多步驟的推理,處理各種困難的語言任務。

容易混淆

路徑語言模型 vs 早期大型語言模型

早期模型可能只是「詞彙量大」的學生,PaLM 像「融會貫通」的學者,不只記憶多,還更擅長理解、推理和解決問題,能力更全面。

最關鍵的區別:一個是具體模型,一個是通用架構。

路徑語言模型 vs Transformer

PaLM 是模型家族或實例,Transformer 是它常用的基礎架構

最關鍵的區別:一個是模型本身,一個是架構底層。

實際案例

案例 1:同一個模型先學大量網頁文字,再做問答和摘要

案例 2:跨語言客服要同時處理中文、英文和其他語言

演算法與應用

核心意思就是:大型通用模型,先學廣,再轉去做各種任務。

通常靠大規模預訓練和後續對齊,先學一般語言能力

再用提示、微調或工具整合把能力轉成產品功能

情境判斷

Q2(判斷題): 只想做單一任務時,還一定要用這種大型通用模型嗎?

看情況,若任務很單一,小模型或專用模型可能更省成本

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本