#
Tokenizeri, verificare!

Bună treabă la finalizarea acestui capitol!

După această scufundare adâncă în tokenizers, ar trebui să:

- Să fii capabil să antrenezi un nou tokenizer folosind unul vechi ca model
- Să înțelegi modului de utilizare a offseturilor pentru a face map tokenilor în intervalul lor original de text
- Cunoști diferențele dintre BPE, WordPiece și Unigram
- Fii capabil să combini blocurile furnizate de biblioteca 🤗 Tokenizers pentru a vă construi propriul tokenizer
- Să poți folosi acest tokenizer în cadrul bibliotecii 🤗 Transformers

Update on GitHub