Pytorch
TensorFlow

#
Тест в конце главы

Тест по результатам изучения главы 3.

###
Датасет emotion содержит сообщения из Твиттера, каждое сообщение помечено какой-либо эмоцией. Найдите его на Hub и изучить карточку датасета. Какая из этих эмоцией не является базовой?

Joy Love Confusion Surprise

###
2. Найдите датасет ar_sarcasm в Hub . Какую задачу можно решить с использованием этого датасета?

Sentiment classification / Классификация тональности Machine translation / Машинный перевод Named entity recognition / Распознавание именованных сущностей Question answering / Ответы на вопросы

###
3. В каком формате модель BERT ожидает на вход пару предложений?

Токены_предложения_1 [SEP] Токены_предложения_2 [CLS] Токены_предложения_1 Токены_предложения_2 [CLS] Токены_предложения_1 [SEP] Токены_предложения_2 [SEP] [CLS] Токены_предложения_1 [SEP] Токены_предложения_2

###
4. Какие преимущества есть у метода Dataset.map()?

Результаты функции кэшируются, поэтому повторное выполнение кода не займет много времени. Можно применить мультипроцессорную обработку – это быстрее, чем применять функцию к каждому элементу выборки. Он не загружает весь набор данных в память, сохраняя результаты сразу после обработки одного элемента.

###
5. Что такое dynamic padding?

Дополнение нулями каждой входной последовательности до максимальной длины, содержащейся в датасете. Дополнение нулями при создании батча до максимальной длины предложения, содержашегося в батче. Такое дополнение, при котором длина каждого предложения равна длине предыдущего предложения.

###
6. Какова цель функции сопоставления (collate function)?

Она проверяет, что все предложения в датасете одинаковой длины. Она соединяет вместе все элементы батча. Она обрабатывает весь датасет. Она обрезает предложения в датасете.

###
7. Что происходит, когда вы создаете экземпляр одного из классов AutoModelForXxx с предварительно обученной языковой моделью (например, bert-base-uncased ), которая соответствует задаче, отличной от той, для которой она была обучена?

Ничего, но будет выведено предупреждение. Последний слой модели будет заменён на слой, подходящий для текущей задачи. Последний слой модели игнорируется. Ничего, модель по-прежнему можно будет настроить на решение другой задачи.

###
8. Зачем нужен TrainingArguments ?

Он содержит все гиперпараметры, используемые для обучения и оценки с помощью `Trainer` Задает размер модели. Содержит гиперпараметры для этапа валидации модели. Он содержит гиперпараметры этапа обучения.

###
9. Зачем нужна библиотека 🤗 Accelerate?

Предоставляет доступ к более быстрым моделям. Предоставляет высокоуровневый API и появляется возможность не реализовывать собственный цикл обучения. Позволяет исполнить наш цикл обучения на распределенных системах. Предоставляет больше оптимизационных функций.
Update on GitHub