#
Quiz de fin de chapitre

Testons ce que vous avez appris dans ce chapitre !

###
1. Quand devez-vous entraîner un nouveau tokenizer ?

Lorsque votre jeu de données est similaire à celui utilisé par un modèle pré-entraîné existant et que vous voulez pré-entraîner un nouveau modèle Lorsque votre jeu de données est similaire à celui utilisé par un modèle pré-entraîné existant et que vous souhaitez finetuner un nouveau modèle en utilisant ce modèle pré-entraîné. Lorsque votre jeu de données est différent de celui utilisé par un modèle pré-entraîné existant et que vous souhaitez pré-entraîner un nouveau modèle. Lorsque votre jeu de données est différent de celui utilisé par un modèle pré-entraîné existant mais que vous souhaitez finetuner un nouveau modèle en utilisant ce modèle pré-entraîné.

###
2. Quel est l’avantage d’utiliser un générateur de listes par rapport à une liste de listes lors de l’utilisation de `train_new_from_iterator()` ?

C'est le seul type que la méthode `train_new_from_iterator()` accepte. Vous éviterez de charger l'ensemble des données en mémoire en une seule fois. Cela permettra à la bibliothèque 🤗 Tokenizers d'utiliser le multitraitement. Le tokenizer que vous entraînez générera de meilleurs textes.

###
3. Quels sont les avantages d’utiliser un tokenizer « rapide » ?

Il peut traiter les entrées plus rapidement qu'un tokenizer lent lorsque vous faites des batchs d'entrées. Les tokenizers rapides sont toujours plus rapides que leurs homologues lents. Il peut appliquer le padding et la troncature. Il possède des fonctionnalités supplémentaires qui vous permettent d'associer les tokens à l'extrait de texte qui les a créés.

###
4. Comment le pipeline `token-classification` gère-t-il les entités qui s’étendent sur plusieurs tokens ?

Les entités ayant la même étiquette sont fusionnées en une seule entité. Il existe une étiquette pour le début d'une entité et une étiquette pour la suite d'une entité. Dans un mot donné, tant que le premier token porte l'étiquette de l'entité, le mot entier est considéré comme étiqueté avec cette entité. Lorsqu'un token a l'étiquette d'une entité donnée, tout autre token suivant ayant la même étiquette est considéré comme faisant partie de la même entité, à moins qu'il ne soit étiqueté comme le début d'une nouvelle entité.

###
5. Comment le pipeline `question-answering` gère-t-il les contextes longs ?

Ce n'est pas vraiment le cas car il tronque le long contexte à la longueur maximale acceptée par le modèle. Il divise le contexte en plusieurs parties et fait la moyenne des résultats obtenus. Il divise le contexte en plusieurs parties (avec chevauchement) et trouve le score maximum pour une réponse dans chaque partie. Il divise le contexte en plusieurs parties (sans chevauchemen par souci d'efficacité) et trouve le score maximum pour une réponse dans chaque partie.

###
6. Qu’est-ce que la normalisation ?

C'est le nettoyage que le tokenizer effectue sur les textes lors des étapes initiales. Il s'agit d'une technique d'augmentation de données qui consiste à rendre le texte plus normal en supprimant les mots rares. C'est l'étape finale du post-traitement où le tokenizer ajoute les tokens spéciaux. C'est lorsque les enchâssements sont faits avec une moyenne nulle et un écart-type de 1, en soustrayant la moyenne et en divisant par l'écart-type.

###
7. Qu’est-ce que la pré-tokénisation pour un tokenizer en sous-mots ?

C'est l'étape qui précède la tokénisation, où l'augmentation des données (comme le masquage aléatoire) est appliquée. C'est l'étape avant la tokénisation, où les opérations de nettoyage souhaitées sont appliquées au texte. C'est l'étape qui précède l'application du modèle tokenizer, pour diviser l'entrée en mots. Il s'agit de l'étape précédant l'application du modèle tokenizer, qui divise l'entrée en tokens.

###
8. Sélectionnez les phrases qui s’appliquent au tokenizer BPE.

BPE est un algorithme de tokénisation en sous-mots qui part d'un petit vocabulaire et apprend des règles de fusion. BPE est un algorithme de tokénisation en sous-mots qui part d'un grand vocabulaire et en retire progressivement les tokens. Un tokenizer BPE apprend les règles de fusion en fusionnant la paire de tokens la plus fréquente. Un tokenizer BPE apprend une règle de fusion en fusionnant la paire de tokens qui maximise un score qui privilégie les paires fréquentes avec des parties individuelles moins fréquentes. BPE tokenise les mots en sous-mots en les divisant en caractères, puis en appliquant les règles de fusion. BPE tokenise les mots en sous-mots en trouvant le plus long sous-mot du vocabulaire en commençant par le début, puis en répétant le processus pour le reste du texte.

###
9. Sélectionnez les phrases qui s’appliquent au tokenizer WordPiece.

WordPiece est un algorithme de tokénisation en sous-mots qui part d'un petit vocabulaire et apprend des règles de fusion. WordPiece est un algorithme de tokénisation en sous-mots qui part d'un grand vocabulaire et en retire progressivement les tokens. WordPiece Les tokenizer apprennent les règles de fusion en fusionnant la paire de tokens la plus fréquente. Un tokenizer WordPiece apprend une règle de fusion en fusionnant la paire de tokens qui maximise un score qui privilégie les paires fréquentes avec des parties individuelles moins fréquentes. WordPiece tokenise les mots en sous-mots en trouvant la segmentation en tokens la plus probable, selon le modèle. WordPiece tokenise les mots en sous-mots en trouvant le plus long sous-mot du vocabulaire en commençant par le début, puis en répétant le processus pour le reste du texte.

###
10. Sélectionnez les phrases qui s’appliquent au tokenizer Unigram.

Unigram est un algorithme de tokénisation en sous-mots qui part d'un petit vocabulaire et apprend des règles de fusion. Unigram est un algorithme de tokénisation en sous-mots qui part d'un grand vocabulaire et en retire progressivement les tokens. Unigram adapte son vocabulaire en minimisant une perte calculée sur l'ensemble du corpus. Unigram adapte son vocabulaire en conservant les sous-mots les plus fréquents. Unigram segmente les mots en sous-mots en trouvant la segmentation la plus probable en tokens, selon le modèle. Unigram décompose les mots en sous-mots en les divisant en caractères puis en appliquant les règles de fusion.