#
Тест в конце главы

Давайте проверим, чему вы научились в этой главе!

###
1. Когда следует обучать новый токенизатор?

Если ваш набор данных похож на тот, который используется существующей предварительно обученной моделью, и вы хотите провести предварительное обучение новой модели. Когда ваш набор данных похож на тот, который используется существующей предварительно обученной моделью, и вы хотите дообучить новую модель, используя эту предварительно обученную модель. Когда ваш набор данных отличается от того, который используется существующей предварительно обученной моделью, и вы хотите провести предварительное обучение новой модели. Когда ваш набор данных отличается от того, который используется существующей предварительно обученной моделью, но вы хотите дообучить новую модель с помощью имеющейся предварительно обученной модели.

###
2. В чем преимущество использования генератора списков текстов по сравнению со списком списков текстов при использовании train_new_from_iterator() ?

Это единственный тип, который принимает метод `train_new_from_iterator()`. Это позволит избежать загрузки в память сразу всего набора данных. Это позволит библиотеке 🤗 Tokenizers использовать многопроцессорность (multiprocessing). Обученный вами токенизатор будет генерировать более качественные тексты.

###
3. Каковы преимущества использования “быстрого” токенизатора?

Он может обрабатывать входные данные быстрее, чем медленный токенизатор, когда вы обьединяете в батч много входных данных. Быстрые токенизаторы всегда выполняют токенизацию быстрее, чем их медленные аналоги. Он может применять дополнение (padding) и усечение (truncation). Он обладает некоторыми дополнительными функциями, позволяющими сопоставлять токены с фрагментами текста, которые их сформировали.

###
4. Как конвейер token-classification обрабатывает сущности, которые охватывают несколько токенов?

Сущности с одинаковыми метками объединяются в одну сущность. Есть метка начала сущности и метка продолжения сущности. Если в заданном слове первый токен имеет метку сущности, то все слово считается помеченным этой сущностью. Когда токен имеет метку данной сущности, любой другой следующий токен с такой же меткой считается частью той же сущности, если только он не помечен как начало новой сущности.

###
5. Как конвейер question-answering обрабатывает длинные контексты?

На самом деле это не так, поскольку он обрезает длинный контекст по максимальной длине, принятой моделью. Он разбивает контекст на несколько частей и усредняет полученные результаты. Он разбивает контекст на несколько частей (с перекрытием) и находит максимальную оценку для ответа в каждой части. Он разбивает контекст на несколько частей (без перекрытия, для эффективности) и находит максимальную оценку для ответа в каждой части.

###
6. Что такое нормализация?

Это любая очистка текста, которую выполняет токенизатор на начальных этапах работы с текстами. Это техника дополнения данных, которая позволяет сделать текст более нормальным за счет удаления редких слов. Это последний этап постобработки, на котором токенизатор добавляет специальные токены. Это когда эмбеддинги создаются со среднеквадратичным отклонением 0 и стандартным отклонением 1, путем вычитания среднеквадратичного и деления на стандартное отклонение.

###
7. Что такое предварительная токенизация для токенизатора по подсловам?

Это шаг перед токенизацией, на котором применяется аугментация данных (например, случайное маскирование). Это этап перед токенизацией, на котором к тексту применяются необходимые операции по очистке. Это шаг, предшествующий применению модели токенизатора для разбиения входных данных на слова. Это шаг, предшествующий применению модели токенизатора для разделения входных данных на токены.

###
8. Выберите предложения, которые относятся к модели токенизации BPE.

BPE - это алгоритм токенизации подслов, который начинает работу с небольшим словарем и изучает правила слияния. BPE - это алгоритм токенизации подслов, который начинает с большого словаря и постепенно удаляет из него токены. Токенизаторы BPE изучают правила слияния, объединяя пары токенов, которые встречаются чаще всего. Токенизатор BPE изучает правило слияния, объединяя пары токенов, которые максимизируют оценку, которая отдает предпочтение частым парам с менее частыми отдельными частями. BPE токенизирует слова на подслова, разбивая их на символы, после чего применяет правила слияния. BPE токенизирует слова в подслова, находя самое длинное подслово, которое есть в словаре, начиная с начала, а затем повторяя процесс для остальной части текста.

###
9. Выберите предложения, которые относятся к модели токенизации WordPiece.

WordPiece - это алгоритм токенизации по подсловам, который начинает работу с небольшим словарным запасом и учит правила слияния. WordPiece - это алгоритм токенизации по подсловам, который начинает с большого словаря и постепенно удаляет из него токены. Токенизаторы WordPiece учат правила слияния, объединяя пары токенов, которые встречаются чаще всего. Токенизатор WordPiece изучает правило слияния, объединяя пары токенов, которые максимизируют оценку, отдающую предпочтение частым парам с менее частыми отдельными частями. WordPiece выполняет токенизацию слов на подслова, находя наиболее вероятную сегментацию на токены в соответствии с моделью. WordPiece токенизирует слова на подслова, находя самое длинное подслово, которое есть в словаре, начиная с начала, а затем повторяя процесс для остальной части текста.

###
10. Выберите предложения, которые относятся к модели токенизации Unigram.

Unigram - это алгоритм токенизации на подслова, который начинает с небольшого словаря и учится правилам слияния. Unigram - это алгоритм токенизации подслова, который начинает с большого словарного запаса и постепенно удаляет из него токены. Unigram адаптирует свой словарь, минимизируя потери, вычисляемые по всему корпусу текста. Unigram адаптирует свой словарь, сохраняя наиболее часто встречающиеся подслова. Unigram осуществляет токенизацию слов на подслова, находя наиболее вероятную сегментацию на токены в соответствии с моделью. Unigram токенизирует слова на подслова, разбивая их на символы, а затем применяя правила слияния.