Pytorch
TensorFlow

#
Quiz de final de capítulo

A ver qué has aprendido en este capítulo:

###
1. El dataset emotion contiene mensajes de Twitter etiquetados con emociones. Búscalo en el Hub , y lee la tarjeta del dataset. ¿Cuál de estas no es una de sus emociones básicas?

Alegría Amor Confusión Sorpresa

###
2. Busca el dataset ar_sarcasm en el Hub . ¿Con qué tarea es compatible?

Clasificación de sentimientos Traducción automática Reconocimiento de entidades nombradas Responder preguntas

###
3. ¿Cómo se procesan un par de frases según el modelo BERT?

tokens_frase_1 [SEP] tokens_frase_2 [CLS] tokens_frase_1 tokens_frase_2 [CLS] tokens_frase_1 [SEP] tokens_frase_2 [SEP] [CLS] tokens_frase_1 [SEP] tokens_frase_2

###
4. ¿Cuáles son las ventajas del método Dataset.map() ?

Los resultados de la función se almacenan en caché, por lo que no tardaremos nada en volver a ejecutar el código. Puede aplicar multiprocesamiento para ir más rápido que si se aplicara la función a cada elemento del conjunto de datos. No carga todo el conjunto de datos en memoria, sino que guarda los resultados en cuanto se procesa un elemento.

###
5. ¿Qué significa padding dinámico?

Es cuando se rellenan las entradas de cada lote con la longitud máxima de todo el conjunto de datos. Es cuando rellenas tus entradas cuando se crea el lote, a la longitud máxima de las frases de ese lote. Es cuando se rellenan las entradas para que cada frase tenga el mismo número de tokens que la anterior en el conjunto de datos.

###
6. ¿Cuál es el objetivo de la función “collate”?

Se asegura de que todas las secuencias del conjunto de datos tengan la misma longitud. Combina todas las muestras del conjunto de datos en un lote. Preprocesa todo el conjunto de datos. Trunca las secuencias del conjunto de datos.

###
7. ¿Qué ocurre cuando instancias una de las clases AutoModelForXxx con un modelo del lenguaje preentrenado (como bert-base-uncased ) que corresponde a una tarea distinta de aquella para la que fue entrenado?

Nada, pero recibes una advertencia. La cabeza del modelo preentrenado se elimina y en su lugar se inserta una nueva cabeza adecuada para la tarea. La cabeza del modelo preentrenado es eliminada. Nada, ya que el modelo se puede seguir ajustando para la otra tarea.

###
8. ¿Para qué sirve TrainingArguments ?

Contiene todos los hiperparámetros utilizados para el entrenamiento y la evaluación con `Trainer`. Especifica el tamaño del modelo. Solo contiene los hiperparámetros utilizados para la evaluación. Solo contiene los hiperparámetros utilizados para el entrenamiento.

###
9. ¿Por qué deberías utilizar la librería 🤗 Accelerate?

Facilita acceso a modelos más rápidos. Proporciona una API de alto nivel para que no tenga que implementar mi propio bucle de entrenamiento. Hace que nuestros bucles de entrenamiento funcionen con estrategias distribuidas. Ofrece más funciones de optimización.