Pytorch
TensorFlow

#
章节简介

在 第三章 ，你了解了如何微调文本分类模型。在本章中，我们将处理以下常见的 NLP 任务：

- Token 分类
- 掩码语言建模（如 BERT）
- 文本摘要
- 翻译
- 因果语言建模预训练（如 GPT-2）
- 问答

为此，你需要充分利用在 第三章 中学到的有关 `Trainer` API 和 🤗 Accelerate 库的知识，以及在 第五章 中学到的 🤗 Datasets 库和 第六章 中学到的 🤗 Tokenizers 库的知识。我们还会像在 第四章 中那样将结果上传到 Model Hub，所以这真的是所有所学内容融会贯通的一章！

本章的每个部分都可以独立阅读，它们将向你展示如何使用 `Trainer` API 或自己的训练循环来训练模型，同时使用 🤗 Accelerate 加速。你可以随意跳过其中任意部分，重点关注你最感兴趣的部分： `Trainer` API 非常适合微调（fine-tuning）或训练模型，而无需关注内部的实现细节，而使用 `Accelerate` 的训练循环将使你更容易自定义所需的任何结构。

> 如果你按顺序阅读这些部分，你会注意到各小节在代码和描述上有许多相似之处。这种重复是有意为之的，让你可以随时钻研或对比学习任何感兴趣的任务，并且在每个任务中都可以找到一个完整的可运行示例。

Update on GitHub