Pytorch
TensorFlow

#
Quiz di fine capitolo

Testiamo cosa avete imparato in questo capitolo!

###
1. Il dataset emotion contiene messaggi Twitter etichettati con emozioni. Cercalo nel Hub e leggi la carta del dataset. Quale di queste non fa parte delle sue emozioni di base?

Joy (Gioia) Love (Amore) Confusion (Confusione) Surprise (Sorpresa)

###
2. Cerca il dataset ar_sarcasm nel Hub . Quali compiti supporta?

Sentiment classification (Classificazione dei sentimenti) Machine translation (Traduzione automatica) Named entity recognition (Riconoscimento di entità con un nome) Question answering (Risposte a domande)

###
3. Come deve essere preparata una coppia di frasi per essere processata dal modello BERT?

Tokens_della_frase_1 [SEP] Tokens_della_frase_2 [CLS] Tokens_della_frase_1 Tokens_della_frase_2 [CLS] Tokens_della_frase_1 [SEP] Tokens_della_frase_2 [SEP] [CLS] Tokens_della_frase_1 [SEP] Tokens_della_frase_2

###
4. Quali sono i benefici del metodo Dataset.map() ?

I risultati della funzione vengono conservati, così la ri-esecuzione del codice sarà rapidissima È possibile applicare multiprocessing per un'esecuzione più rapida rispetto all'applicazione seriale ad ogni elemento del dataset Non carica l'intero dataset in memoria, salvando i risultati appena ogni elemento è stato processato.

###
5. Qual è il significato di padding dinamico (dynamic padding)?

È quando si applica in ogni batch il padding fino alla lunghezza massima dell'intero dataset È quando si applica in ogni batch il padding fino alla lunghezza massima delle frasi in quella batch È quando si applica il padding agli input in modo che ogni frase abbia lo stesso numero di token della frase precedente nel dataset.

###
6. Qual è lo scopo di una funzione di raccolta (collate function)?

Di assicurarsi che tutte le sequenze nel dataset abbiano la stessa lunghezza. Di raccogliere tutti i campioni in una batch. Di preprocessare l'intero dataset Di troncare le sequenze nel dataset.

###
7. Cosa succede quando una classe di tipo AutoModelForXxx viene istanziata con un modello di linguaggio pre-addestrato (come bert-base-uncased ) che corrisponde ad un compito differente rispetto a quello per cui era stato addestrato?

Nulla, ma viene mostrato un avvertimento La testa del modello pre-addestrato viene scartata e una nuova testa, appropriata per il compito, viene inserita al suo posto La testa del modello pre-addestrato viene scartata Nulla, dato che il modello può comunque essere affinato per un compito differente.

###
8. Qual è lo scopo di TrainingArguments ?

Contiene tutti gli iperparametri usati per l'addestramento e la valutazione con il `Trainer`. Specifica le dimensioni del modello. Contiene soltanto gli iperparametri usati per la valutazione. Contiene soltanto gli iperparametri usati per l'addestramento.

###
9. Perché si dovrebbe usare la libreria 🤗 Accelerate?

Fornisce l'accesso a modelli più veloci. Fornisce una API di alto livello, così non devo implementare il mio ciclo di addestramento. Permette ai nostri cicli di addestramento di venire eseguiti con strategie distribuite. Fornisce altre funzioni di ottimizzazione.