Pytorch
TensorFlow

#
Quiz la final de capitol

###
1. Care este ordinea pipeline-ului de modelare a limbajului?

Primul, modelul, care gestionează textul și returnează predicții brute. Apoi, tokenizatorul interpretează aceste predicții și le convertește înapoi în text atunci când este necesar. Primul este tokenizatorul, care gestionează textul și returnează ID-uri. Modelul gestionează aceste ID-uri și generează o predicție, care poate fi un text. Tokenizatorul gestionează textul și returnează ID-uri. Modelul gestionează aceste ID-uri și generează o predicție. Tokenizatorul poate fi apoi utilizat din nou pentru a converti aceste predicții înapoi în text.

###
2. Câte dimensiuni are tensorul generat de modelul Transformer și care sunt acestea?

2: Lungimea secvenței și mărimea lotului 2: Lungimea secvenței și mărimea ascunsă 3: Lungimea secvenței, dimensiunea lotului și dimensiunea ascunsă

###
3. Care dintre următoarele este un exemplu de tokenizare a cuvintelor secundare?

WordPiece Tokenizare bazată pe caractere Separarea pe baza spațiului și a punctuației BPE Unigram Nimic din cele de mai sus

###
4. Ce este un model head?

O componentă a rețelei Transformer de bază care redirecționează tensorii către straturile lor corecte Cunoscut și sub denumirea de mecanism de auto-atenție, acesta adaptează reprezentarea unui token în funcție de celelalte token-uri din secvență O componentă suplimentară, alcătuită de obicei din unul sau mai multe straturi, pentru a converti predicțiile transformatorului într-o sarcină specifică de ieșire

###
5. Ce este un AutoModel?

Un model care se antrenează automat pe baza datelor dumneavoastră Un obiect care returnează arhitectura corespunzătoare bazată pe checkpoint. Un model care detectează automat limba utilizată pentru intrările sale pentru a încărca ponderile corecte

###
6. Care sunt tehnicile de care trebuie să țineți cont atunci când grupați secvențe de diferite lungimi?

Trunchierea Returning tensors Padding Attention masking

###
7. Care este scopul aplicării unei funcții SoftMax asupra logit-urilor produse de un model de clasificare a secvențelor?

Le atenuează logiturile pentru a fi mai de încredere. Aplică o limită inferioară și superioară astfel încât valorile să fie inteligibile. Suma totală a ieșirii devine 1, ducând la o interpretare probabilistică posibilă.

###
8. În jurul cărei metode se concentrează cea mai mare parte a API-ului tokenizer?

`encode`, deoarece poate codifica textul în ID-uri și ID-urile în predicții Apelarea directă a obiectului tokenizer. `pad` `tokenize`

###
9. Ce conține variabila result în acest exemplu de cod?

    from transformers import AutoTokenizer

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    result = tokenizer.tokenize("Hello!")

O listă de șiruri de caractere, fiecare șir fiind un token O listă de ID-uri Un șir care conține toate token-urile

###
10. Este ceva greșit în următorul cod?

    from transformers import AutoTokenizer, AutoModel

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    model = AutoModel.from_pretrained("gpt2")

    encoded = tokenizer("Hey!", return_tensors="pt")
    result = model(**encoded)

Nu, pare corect. Tokenizerul și modelul trebuie să provină întotdeauna din același checkpoint. Este o bună practică să folosiți trunchierea și padding-ul cu tokenizatorul, întrucât fiecare intrare este un lot.
Update on GitHub