#
Tokenizadores, listo!

Gran trabajo terminando este capítulo!

Luego de esta profundizacion en los tokenizadores, deberías:

- Ser capaz de entrenar un nuevo tokenizador usando un existente como plantilla
- Entender como usar los offsets para mapear las posiciones de los tokens a sus trozos de texto original
- Conocer las diferencias entre BPE, WordPiece y Unigram
- Ser capaz de mezclar y combinar los bloques provistos por la librería 🤗 Tokenizers para construir tu propio tokenizador
- Ser capaz de usar el tokenizador dentro de la librería 🤗 Transformers.

Update on GitHub