Pytorch
TensorFlow

#
Quiz de sfârșit de capitol

Să testăm ce ați învățat în acest capitol!

###
1. Care dintre următoarele sarcini pot fi încadrate ca o problemă de clasificare a tokenilor?

Găsirea componentelor gramaticale ale unei propoziții. Verificarea dacă o propoziție este corectă gramatical sau nu. Găsirea persoanelor menționate într-o propoziție. Găsirea grupul de cuvinte dintr-o propoziție care răspunde la o întrebare.

###
2. Ce parte a preprocesării pentru clasificarea tokenilor diferă de celelalte pipelineuri de preprocesare?

Nu este nevoie să faceți nimic; textele sunt deja tokenizate. Textele sunt date sub formă de cuvinte, astfel încât trebuie să aplicăm doar tokenizarea sub-cuvintelor. Folosim `-100` pentru a eticheta tokenii speciali. Trebuie să ne asigurăm că labelurile sunt trunchiate sau padded la aceeași dimensiune ca și inputurile, atunci când aplicăm trunchierea/paddingul.

###
3. Ce problemă apare atunci când tokenizăm cuvintele într-o problemă de clasificare a tokenilor și dorim să etichetăm tokenii?

Tokenizerul adaugă tokeni speciali și nu avem labeluri pentru ele. Fiecare cuvânt poate produce mai mulți tokeni, astfel încât ajungem să avem mai multe tokeni decât labeluri. Tokenii adăugați nu au etichete, deci nu există nicio problemă.

###
4. Ce înseamnă “domain adaptation”??

Este atunci când rulăm un model pe un dataset și obținem predicțiile pentru fiecare sample din acel dataset. Este atunci când antrenăm un model pe un dataset. Este atunci când facem fine-tune unui model preantrenat pe un nou dataset, iar acesta oferă predicții care sunt mai bine adaptate la datasetul respectiv Este atunci când adăugăm sampleuri neclasificate la un dataset pentru a face modelul nostru mai robust.

###
5. Ce sunt labelurile într-o problemă de modelare a limbajului mascat?

Unii dintre tokenii din propoziția de intrare sunt mascate aleatoriu, iar labelurile sunt tokenii de input originali. Unii dintre tokenii din propoziția de intrare sunt mascate aleatoriu, iar labelurile sunt tokenii de input originali, deplasate spre stânga. Unele dintre tokenii din propoziția de intrare sunt mascate aleatoriu, iar labelul este dacă propoziția este pozitivă sau negativă. Unii dintre tokenii din cele două propoziții de intrare sunt mascate aleatoriu, iar labelul este dacă cele două propoziții sunt similare sau nu.

###
6. Care dintre aceste sarcini poate fi văzută ca o problemă de sequence-to-sequence?

Scrierea de recenzii scurte ale documentelor lungi Răspunderea întrebărilor despre un document Traducerea unui text din chineză în engleză Corectarea mesajelor trimise de nepotul/prietenul meu pentru ca acestea să fie în limba engleză, scrise gramatical

###
7. Care este modalitatea corectă de preprocesare a datelor pentru o problemă de sequence-to-sequence?

Inputurile și targeturile trebuie trimise împreună la tokenizer cu `inputs=...` și `targets=...`. Inputurile și targeturile trebuie preprocesate, în două apeluri separate către tokenizer. Ca de obicei, trebuie doar să tokenizăm inputurile. Inputurile trebuie să fie trimise către tokenizer, la fel și targeturile, dar în cadrul unui manager de context special.

###
8. De ce există o subclasă specifică a Trainer pentru problemele sequence-to-sequence?

Deoarece problemele de sequence-to-sequence utilizează o pierdere personalizată, pentru a ignora labelurile setate la `-100` Deoarece problemele de sequence-to-sequence la secvență necesită o buclă de evaluare specială Deoarece targeturile sunt texte în probleme sequence-to-sequence Deoarece folosim două modele în problemele sequence-to-sequence

###
10. Când ar trebui să preantrenați un model nou?

Atunci când nu există un model preantrenat disponibil pentru limba dorită. Atunci când aveți o mulțime de date disponibile, chiar dacă există un model preantrenat care ar putea funcționa pe ele Atunci când aveți îndoieli cu privire la biasul modelului preantrenat pe care îl utilizați Atunci când modelele preantrenate disponibile nu sunt suficient de bune

###
11. De ce este ușor să preantrenăm un model lingvistic pe o mulțime de texte?

Deoarece există o mulțime de texte disponibile pe internet Deoarece obiectivul de preantrenare nu necesită ca oamenii să eticheteze datele Deoarece biblioteca 🤗 Transformers necesită doar câteva linii de cod pentru a începe antrenarea

###
12. Care sunt principalele provocări la preprocesarea datelor pentru o sarcină de răspundere a întrebărilor?

Trebuie să tokenizați inputurile. Trebuie să aveți de-a face cu contexte foarte lungi, care oferă mai multe caracteristici de antrenare care pot sau nu să conțină răspunsul. Trebuie să tokenizați răspunsurile la întrebări, precum și inputurile. Din intervalul răspunsului din text, trebuie să găsiți tokenul de început și de sfârșit în inputul tokenizat.

###
13. Cum se face de obicei post-procesarea în răspunderea la întrebări?

Modelul vă oferă pozițiile de început și de sfârșit ale răspunsului, iar voi trebuie doar să decodificați intervalul corespunzător de tokeni. Modelul vă oferă pozițiile de început și de sfârșit ale răspunsului pentru fiecare caracteristică creată de un exemplu, iar voi trebuie doar să decodificați intervalul corespunzător de tokeni în cel care are cel mai bun scor. Modelul vă oferă pozițiile de început și de sfârșit ale răspunsului pentru fiecare caracteristică creată de un exemplu, iar voi trebuie doar să le potriviți cu intervalul din context pentru cel care are cel mai bun scor. Modelul generează un răspuns, iar tu trebuie doar să îl decodifici.
Update on GitHub