Upload tokenizer

tokenizer.json

@@ -31077,178 +31077,7 @@
       "##向": 30915,
       "##会": 30916,
       "##治": 30917,
-      "##학": 30918,
-      "##实": 30919,
-      "##应": 30920,
-      "##水": 30921,
-      "##存": 30922,
-      "##科": 30923,
-      "##ħ": 30924,
-      "##≅": 30925,
-      "##国": 30926,
-      "##와": 30927,
-      "##间": 30928,
-      "##중": 30929,
-      "##": 30930,
-      "##Д": 30931,
-      "##意": 30932,
-      "##": 30933,
-      "##֒": 30934,
-      "##ẍ": 30935,
-      "##認": 30936,
-      "##報": 30937,
-      "##現": 30938,
-      "##み": 30939,
-      "##ド": 30940,
-      "##機": 30941,
-      "##据": 30942,
-      "##⇠": 30943,
-      "##受": 30944,
-      "##요": 30945,
-      "##된": 30946,
-      "##过": 30947,
-      "##었": 30948,
-      "##증": 30949,
-      "##像": 30950,
-      "##実": 30951,
-      "##到": 30952,
-      "##常": 30953,
-      "##⌧": 30954,
-      "##ţ": 30955,
-      "##방": 30956,
-      "##식": 30957,
-      "##術": 30958,
-      "##ά": 30959,
-      "##문": 30960,
-      "##조": 30961,
-      "##": 30962,
-      "##⇡": 30963,
-      "##外": 30964,
-      "##来": 30965,
-      "##발": 30966,
-      "##低": 30967,
-      "##▲": 30968,
-      "##⊑": 30969,
-      "##第": 30970,
-      "##音": 30971,
-      "##ό": 30972,
-      "##療": 30973,
-      "##件": 30974,
-      "##図": 30975,
-      "##̟": 30976,
-      "##일": 30977,
-      "##계": 30978,
-      "##コ": 30979,
-      "##환": 30980,
-      "##ġ": 30981,
-      "##地": 30982,
-      "##～": 30983,
-      "##マ": 30984,
-      "##统": 30985,
-      "##利": 30986,
-      "##◊": 30987,
-      "##★": 30988,
-      "##心": 30989,
-      "##主": 30990,
-      "##关": 30991,
-      "##✷": 30992,
-      "##ź": 30993,
-      "##回": 30994,
-      "##集": 30995,
-      "##세": 30996,
-      "##素": 30997,
-      "##次": 30998,
-      "##線": 30999,
-      "##キ": 31000,
-      "##원": 31001,
-      "##计": 31002,
-      "##グ": 31003,
-      "##호": 31004,
-      "##ٛ": 31005,
-      "##ร": 31006,
-      "##工": 31007,
-      "##語": 31008,
-      "##•": 31009,
-      "##医": 31010,
-      "##": 31011,
-      "##며": 31012,
-      "##測": 31013,
-      "##들": 31014,
-      "##手": 31015,
-      "##✏": 31016,
-      "##양": 31017,
-      "##Г": 31018,
-      "##反": 31019,
-      "##波": 31020,
-      "##결": 31021,
-      "##动": 31022,
-      "##료": 31023,
-      "##Ž": 31024,
-      "##Е": 31025,
-      "##진": 31026,
-      "##น": 31027,
-      "##우": 31028,
-      "##由": 31029,
-      "##형": 31030,
-      "##έ": 31031,
-      "##情": 31032,
-      "##⇢": 31033,
-      "##器": 31034,
-      "##各": 31035,
-      "##后": 31036,
-      "##Ι": 31037,
-      "##而": 31038,
-      "##∉": 31039,
-      "##断": 31040,
-      "##Ф": 31041,
-      "##스": 31042,
-      "##ḟ": 31043,
-      "##ジ": 31044,
-      "##癌": 31045,
-      "##现": 31046,
-      "##种": 31047,
-      "##取": 31048,
-      "##指": 31049,
-      "##流": 31050,
-      "##接": 31051,
-      "##パ": 31052,
-      "##差": 31053,
-      "##⌘": 31054,
-      "##주": 31055,
-      "##아": 31056,
-      "##행": 31057,
-      "##新": 31058,
-      "##経": 31059,
-      "##신": 31060,
-      "##原": 31061,
-      "##것": 31062,
-      "##⊠": 31063,
-      "##Š": 31064,
-      "##电": 31065,
-      "##َ": 31066,
-      "##포": 31067,
-      "##标": 31068,
-      "##態": 31069,
-      "##단": 31070,
-      "##神": 31071,
-      "##测": 31072,
-      "##후": 31073,
-      "##화": 31074,
-      "##号": 31075,
-      "##机": 31076,
-      "##ʼ": 31077,
-      "##체": 31078,
-      "##知": 31079,
-      "##变": 31080,
-      "##Τ": 31081,
-      "##活": 31082,
-      "##チ": 31083,
-      "##✳": 31084,
-      "##群": 31085,
-      "##↾": 31086,
-      "##ɛ": 31087,
-      "##게": 31088,
-      "##月": 31089
+      "##학": 30918
     }
   }
 }

vocab.txt

@@ -30917,174 +30917,3 @@ afternoon
 ##会
 ##治
 ##학
-##实
-##应
-##水
-##存
-##科
-##ħ
-##≅
-##国
-##와
-##间
-##중
-##
-##Д
-##意
-##
-##֒
-##ẍ
-##認
-##報
-##現
-##み
-##ド
-##機
-##据
-##⇠
-##受
-##요
-##된
-##过
-##었
-##증
-##像
-##実
-##到
-##常
-##⌧
-##ţ
-##방
-##식
-##術
-##ά
-##문
-##조
-##
-##⇡
-##外
-##来
-##발
-##低
-##▲
-##⊑
-##第
-##音
-##ό
-##療
-##件
-##図
-##̟
-##일
-##계
-##コ
-##환
-##ġ
-##地
-##～
-##マ
-##统
-##利
-##◊
-##★
-##心
-##主
-##关
-##✷
-##ź
-##回
-##集
-##세
-##素
-##次
-##線
-##キ
-##원
-##计
-##グ
-##호
-##ٛ
-##ร
-##工
-##語
-##•
-##医
-##
-##며
-##測
-##들
-##手
-##✏
-##양
-##Г
-##反
-##波
-##결
-##动
-##료
-##Ž
-##Е
-##진
-##น
-##우
-##由
-##형
-##έ
-##情
-##⇢
-##器
-##各
-##后
-##Ι
-##而
-##∉
-##断
-##Ф
-##스
-##ḟ
-##ジ
-##癌
-##现
-##种
-##取
-##指
-##流
-##接
-##パ
-##差
-##⌘
-##주
-##아
-##행
-##新
-##経
-##신
-##原
-##것
-##⊠
-##Š
-##电
-##َ
-##포
-##标
-##態
-##단
-##神
-##测
-##후
-##화
-##号
-##机
-##ʼ
-##체
-##知
-##变
-##Τ
-##活
-##チ
-##✳
-##群
-##↾
-##ɛ
-##게
-##月