Pytorch
TensorFlow

#
Введение

В Главе 3 вы узнали, как дообучить модель для классификации текстов. В этой главе мы рассмотрим следующие общие задачи NLP:

- Классификация токенов (Token classification)
- Маскированное языковое моделирование (Masked language modeling, например, BERT)
- Резюмирование текста (Summarization)
- Перевод (Translation)
- Предварительное обучение каузального языкового моделирования (Causal language modeling, например, GPT-2)
- Ответы на вопросы (Question answering)

Для этого вам понадобится использовать все, что вы узнали об API `Trainer` и библиотеке 🤗 Accelerate в Главе 3, библиотеке 🤗 Datasets в Главе 5 и библиотеке 🤗 Tokenizers в Главе 6. Мы также загрузим наши результаты в хаб моделей, как мы делали это в Главе 4, так что это действительно глава,в которой все собирается воедино!

Каждый раздел можно читать независимо друг от друга, и в нем вы узнаете, как обучить модель с помощью API `Trainer` или с помощью собственного цикла обучения, используя 🤗 Accelerate. Вы можете пропустить любую часть и сосредоточиться на той, которая вас больше всего интересует: API `Trainer` отлично подходит для того, чтобы дообучить или обучить вашу модель, не беспокоясь о том, что происходит за кулисами, а цикл обучения с `Accelerate` позволит вам легче настроить любую часть, которую вы хотите.

Если вы будете читать разделы по порядку, то заметите, что в них довольно много общего в коде и тексте. Повторение сделано намеренно, чтобы вы могли погрузиться (или вернуться позже) в любую интересующую вас задачу и найти полный рабочий пример.