Upload tokenizer

special_tokens_map.json

@@ -0,0 +1,8 @@
+{
+  "bos_token": "[bos]",
+  "cls_token": "[cls]",
+  "eos_token": "[eos]",
+  "mask_token": "[mask]",
+  "pad_token": "[pad]",
+  "unk_token": "[unk]"
+}

tokenizer_config.json

@@ -0,0 +1,62 @@
+{
+  "added_tokens_decoder": {
+    "1": {
+      "content": "[pad]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[unk]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[cls]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "[mask]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "6": {
+      "content": "[bos]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "7": {
+      "content": "[eos]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "[bos]",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[cls]",
+  "do_lower_case": false,
+  "eos_token": "[eos]",
+  "mask_token": "[mask]",
+  "model_max_length": 1024,
+  "pad_token": "[pad]",
+  "tokenizer_class": "CharTokenizer",
+  "unk_token": "[unk]"
+}

vocab.txt

@@ -0,0 +1,424 @@
+▁
+[pad]
+[unk]
+[cls]
+[sep]
+[mask]
+[bos]
+[eos]
+ 
+!
+"
+$
+&
+'
+(
+)
+*
++
+,
+-
+.
+/
+0
+1
+2
+3
+4
+5
+6
+7
+8
+9
+:
+;
+=
+>
+?
+@
+A
+B
+C
+D
+E
+F
+G
+H
+I
+J
+K
+L
+M
+N
+O
+P
+Q
+R
+S
+T
+U
+V
+W
+X
+Y
+Z
+[
+\
+]
+_
+a
+b
+c
+d
+e
+f
+g
+h
+i
+j
+k
+l
+m
+n
+o
+p
+q
+r
+s
+t
+u
+v
+w
+x
+y
+z
+ 
+¡
+«
+³
+·
+¹
+»
+½
+À
+Á
+Â
+Ã
+Ä
+Å
+Æ
+Ç
+È
+É
+Ê
+Ë
+Ì
+Í
+Î
+Ï
+Ð
+Ñ
+Ò
+Ó
+Ô
+Õ
+Ö
+×
+Ø
+Ù
+Ú
+Û
+Ü
+Ý
+Þ
+ß
+à
+á
+â
+ã
+ä
+å
+æ
+ç
+è
+é
+ê
+ë
+ì
+í
+î
+ï
+ð
+ñ
+ò
+ó
+ô
+õ
+ö
+÷
+ø
+ù
+ú
+û
+ü
+ý
+þ
+ÿ
+Ā
+ā
+Ă
+ă
+Ą
+ą
+Ć
+ć
+Ċ
+ċ
+Č
+č
+Ď
+ď
+Đ
+đ
+Ē
+ē
+Ė
+ė
+Ę
+ę
+Ě
+ě
+Ğ
+ğ
+Ġ
+ġ
+Ģ
+ģ
+Ħ
+ħ
+Ī
+ī
+Ĭ
+ĭ
+İ
+ı
+Ķ
+ķ
+Ļ
+ļ
+Ľ
+ľ
+Ł
+ł
+Ń
+ń
+Ņ
+ņ
+Ň
+ň
+Ō
+ō
+Ő
+ő
+Œ
+œ
+Ř
+ř
+Ś
+ś
+Ş
+ş
+Š
+š
+Ţ
+ţ
+Ť
+ť
+Ũ
+ũ
+Ū
+ū
+Ŭ
+ŭ
+Ů
+ů
+Ű
+ű
+Ų
+ų
+Ŵ
+ŵ
+Ÿ
+Ź
+ź
+Ż
+ż
+Ž
+ž
+Ə
+Ơ
+ơ
+ǃ
+Ș
+ș
+Ț
+ț
+ə
+ʹ
+ʻ
+ʼ
+ʽ
+ʿ
+̄
+̇
+Α
+α
+Ё
+Є
+І
+Ї
+Ј
+Љ
+А
+Б
+В
+Г
+Д
+Е
+Ж
+З
+И
+Й
+К
+Л
+М
+Н
+О
+П
+Р
+С
+Т
+У
+Ф
+Х
+Ц
+Ч
+Ш
+Щ
+Ъ
+Ы
+Ь
+Э
+Ю
+Я
+а
+б
+в
+г
+д
+е
+ж
+з
+и
+й
+к
+л
+м
+н
+о
+п
+р
+с
+т
+у
+ф
+х
+ц
+ч
+ш
+щ
+ъ
+ы
+ь
+э
+ю
+я
+ё
+є
+і
+ї
+ј
+љ
+Ҫ
+ҫ
+Ү
+ү
+Ӱ
+ӱ
+Ԛ
+ԛ
+Ԝ
+ԝ
+Ḍ
+ḍ
+Ḥ
+ḥ
+Ḫ
+ḫ
+Ḱ
+ḱ
+Ṃ
+ṃ
+Ṅ
+ṅ
+Ṇ
+ṇ
+Ṛ
+ṛ
+Ṣ
+ṣ
+Ṭ
+ṭ
+Ạ
+ạ
+Ả
+ả
+Ấ
+ấ
+Ắ
+ắ
+Ề
+ề
+Ễ
+ễ
+Ệ
+ệ
+Ị
+ị
+Ọ
+ọ
+Ồ
+ồ
+Ợ
+ợ
+Ừ
+ừ
+Ử
+ử
+Ỹ
+ỹ
+‑
+–
+—
+‘
+’
+…
+′
+⁶
+₄
+₆
+₈
+№
+Ꞌ
+ꞌ
+𝒪