自回归语言模型（Autoregressive LM）& 自编码语言模型（Autoencoder LM）
自回归语言模型（Autoregressive LM）简单的说，Autoregressive 就是根据上文预测下文或者根据下文预测上文，典型的代表：GPT ，其他代表ELMO等。缺点：只能利用上文或者下文的信息，不能同时利用上文和下文的信息自编码语言模型（Autoencoder LM）Autoencoder 是根据上下文语境来进行预测，典型的代表：BERT。缺点：输入时引入[Mask]标记，导致Tr
·
- 自回归语言模型（Autoregressive LM）
简单的说，Autoregressive 就是根据上文预测下文或者根据下文预测上文，典型的代表：GPT ，其他代表ELMO等。
缺点：只能利用上文或者下文的信息，不能同时利用上文和下文的信息
- 自编码语言模型（Autoencoder LM）
Autoencoder 是根据上下文语境来进行预测，典型的代表：BERT。
缺点：输入时引入[Mask]标记，导致Train阶段和Fine-tuning阶段不一致的问题。
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)