---
title: "下句預測（Next Sentence Prediction）"
slug: next-sentence-prediction
language: zh-TW
source: https://aiterms.tw/terms/next-sentence-prediction
updated_at: 2026-06-22
tags: [自監督學習, 深度學習, 自然語言處理, 模型訓練]
ipas_term: false
---

# 下句預測（Next Sentence Prediction）

BERT 預訓練的輔助任務，給定兩個句子，判斷第二個句子是否在原文本中直接跟隨第一個句子，用於訓練模型理解句子間的邏輯關係。

## 完整說明

下句預測（Next Sentence Prediction, NSP）是 BERT 預訓練階段的一項二元分類任務。給定兩個句子 A 和 B，模型需要判斷 B 是否在原文本中直接跟隨 A。50% 的訓練樣本使用真實的連續句子對（正例），另外 50% 使用隨機配對的句子（負例）。NSP 目標幫助模型學習句子間的邏輯關係和語義銜接，特別有助於問答、自然語言推理等需要理解句子間關係的下游任務。

## 常見問題

### 為什麼 NSP 中正例和負例的比例是 50:50 而不是其他比例？

50:50 的比例設計使得任務具有適中的難度和平衡的學習信號。若正例過多（例如 80:20），模型容易學到偏向預測「正例」的捷徑；若負例過多，模型可能無法充分學習正例的特徵。此外，50:50 的比例意味著隨機猜測的基準準確率為 50%，使得模型的改進相對容易衡量和評估。

### RoBERTa 為什麼移除了 NSP 任務，這對模型效能有什麼影響？

RoBERTa 的研究發現，移除 NSP 並不會顯著降低下游任務的效能，而且通過移除 NSP 並增加 MLM 訓練的資料量和時間，反而能提升某些任務的表現。這表明相比 NSP，MLM 可能是更重要的預訓練信號。不過，NSP 對自然語言推理等特定任務仍然有幫助，後續許多模型仍保留了類似的任務。

### 在微調階段為什麼要移除 NSP 任務而不繼續使用？

移除 NSP 的原因有二：首先，下游任務通常不需要進行句子連續性判斷，保留 NSP 可能會引入無關的學習信號而分散注意力；其次，微調階段的目標是優化下游任務特定的損失函式，此時使用 NSP 這樣的通用預訓練任務會增加優化的複雜性。只在預訓練階段使用 NSP，能使模型在無標籤資料上更好地學習通用的文本理解能力。

---

來源：https://aiterms.tw/terms/next-sentence-prediction
快查頁：https://aiterms.tw/terms/next-sentence-prediction
最後更新：2026/06/22
深度解說：https://aiterms.tw/learning/what-is-next-sentence-prediction