Pytorch
TensorFlow

#
Quiz de fin de chapitre

Testez ce que vous avez appris dans ce chapitre !

###
1. Le jeu de données emotion contient des messages Twitter étiquetés avec des émotions. Cherchez-le dans le Hub et lisez la carte du jeu de données. Laquelle de ces émotions n’est pas une de ses émotions de base ?

Joie Amour Confusion Surprise

###
2. Cherchez le jeu de données ar_sarcasme dans le Hub . Quelle tâche prend-il en charge ?

Classification de sentiments Traduction automatique Reconnaissance des entités nommées Réponse aux questions

###
3. Comment le modèle BERT attend-il qu’une paire de phrases soit traitée ?

Tokens_de_la_phrase_1 [SEP] Tokens_de_la_phrase_2 [CLS] Tokens_de_la_phrase_1 Tokens_de_la_phrase_2 [CLS] Tokens_de_la_phrase_1 [SEP] Tokens_de_la_phrase_2 [SEP] [CLS] Tokens_de_la_phrase_1 [SEP] Tokens_de_la_phrase_2

###
4. Quels sont les avantages de la méthode Dataset.map() ?

Les résultats de la fonction sont mis en cache, donc cela ne prendra pas de temps si nous réexécutons le code. Elle peut appliquer le multitraitement pour aller plus vite que l'application de la fonction sur chaque élément du jeu de données. Elle ne charge pas le jeu de données en mémoire, mais sauvegarde les résultats dès qu'un élément est traité.

###
5. Que signifie le remplissage ( padding ) dynamique ?

C'est lorsque vous remplissez les entrées de chaque batch à la longueur maximale du jeu de données entier. C'est lorsque vous remplissez vos entrées lorsque le batch est créé, à la longueur maximale des phrases à l'intérieur de ce batch. C'est lorsque vous remplissez vos entrées de sorte que chaque phrase ait le même nombre de tokens que la précédente dans le jeu de données.

###
6. Quel est le but d’une fonction d’assemblement ?

Elle garantit que toutes les séquences du jeu de données ont la même longueur. Elle rassemble tous les échantillons dans un batch. Elle pré-traite tout le jeu de données. Elle tronque les séquences dans le jeu de données.

###
7. Que se passe-t-il lorsque vous instanciez une des classes AutoModelForXxx avec un modèle de langage pré-entraîné (tel que bert-base-uncased ) qui correspond à une tâche différente de celle pour laquelle il a été entraîné ?

Rien, mais vous recevez un message d'avertissement. La tête du modèle pré-entraîné est supprimée et une nouvelle tête adaptée à la tâche est insérée à la place. La tête du modèle pré-entraîné est supprimée. Rien, puisque le modèle peut encore être finetuné pour les différentes tâches.

###
8. Quel est le but de TrainingArguments ?

Contenir tous les hyperparamètres utilisés pour l'entraînement et l'évaluation avec le `Trainer`. Préciser la taille du modèle. Juste contenir les hyperparamètres utilisés pour l'évaluation. Contenir seulement les hyperparamètres utilisés pour l'entraînement.

###
9. Pourquoi devriez-vous utiliser la librairie 🤗 Accelerate ?

Elle permet d'accéder à des modèles plus rapides. Elle fournit une API de haut niveau qui évite d'avoir à mettre en place sa propre boucle d'entraînement. Elle permet à nos boucles d'entraînement de fonctionner avec des stratégies distribuées. Elle offre davantage de fonctions d'optimisation.
Update on GitHub