GPT 是一个 decoder-only 的 Transformer，自回归语言模型，用来“生成下一个 token”。

GPT 和 BERT 的根本区别

• BERT：encoder-only，双向，看全文，做理解
• GPT：decoder-only，单向，看左边，做生成

模型

贡献者

salt235

上一页Bert

下一页Self-attention