监督学习和自监督学习：

• 监督学习（Supervised Learning）： 使用人工标注的标签进行训练。

• 自监督学习（Self-Supervised Learning）： 不依赖人工标注，通过数据本身构造监督信号。

1. Masking Input

通过随机遮盖部分输入 token，让模型在双向上下文条件下预测被遮盖的词。

Mask 策略（BERT 原始设定）

对被选中的 token（约 15%）：

• 80% → 替换为 [MASK]
• 10% → 替换为随机 token
• 10% → 保持原 token 不变

目的： 缓解训练阶段与推理阶段分布不一致问题

训练目标

• 对被 Mask 的位置计算交叉熵损失
• 非 Mask 位置不计入 loss

2. Next Sentence Prediction

训练目标

• 使用 [CLS] token 的输出表示
• 进行二分类预测：

标签	含义
IsNext	B 是 A 的下一句
NotNext	B 不是 A 的下一句

从语料中构造句子对 (Sentence A, Sentence B)：

• 50%：B 是 A 的下一句（IsNext）
• 50%：B 是随机抽取的句子（NotNext）

3. Fine-tune

将bert用于下游任务，此时不再是自监督学习，而是需要人工标注的监督学习。例如下面这几个问题：

序列分类

• BERT 当编码器用 输入一句话（在最前面加 [CLS]），BERT 输出每个 token 的表示。

• 用 [CLS] 表示整句话 取最后一层的 [CLS] 向量，作为整句的语义表示。

• 接一个简单分类头并微调 在 [CLS] 上接一个 线性层（随机初始化） 输出类别； 训练时 分类头 + BERT 参数一起更新。 预训练权重是“比随机初始化好得多的预训练起点”

词性标注

• 每个 token 都要预测一个标签 输入是一个序列，输出长度和输入一样。

• 不用 [CLS] 做预测[CLS] 只作为辅助上下文； 真正用于预测的是每个 token 自己的隐藏向量。

• 每个 token 接同一个线性分类头

  对每个 token 的输出向量接一个 Linear，参数共享输出该 token 的类别。

• 端到端微调 Linear 层随机初始化，BERT + Linear 一起训练。

贡献者

salt235

下一页GPT