import{S as Ma,i as Ta,s as _a,e as o,k as p,w as N,t as l,M as $a,c as r,d as a,m as c,a as n,x as B,h as i,b as m,G as s,g as d,y as F,L as Ea,q as P,o as I,B as A,v as Ua}from"../chunks/vendor-hf-doc-builder.js";import{I as aa}from"../chunks/IconCopyLink-hf-doc-builder.js";import{C as _e}from"../chunks/CodeBlock-hf-doc-builder.js";function wa(sa){let h,oe,k,j,R,_,$e,L,Ee,re,z,O,Ue,we,$,Ve,Je,ne,S,Ze,le,E,ie,C,Ne,de,y,g,H,U,Be,Y,Fe,pe,u,Pe,x,Ie,Ae,K,Se,Ce,ce,w,me,v,Qe,Q,We,qe,ue,b,M,D,V,Ge,ee,Xe,fe,W,Re,he,J,ke,f,Le,ae,Oe,He,se,Ye,xe,ze,Z,ye,T,Ke,q,De,ea,be;return _=new aa({}),E=new _e({props:{code:"ZnJvbSUyMHRva2VuaXplcnMlMjBpbXBvcnQlMjBUb2tlbml6ZXIlMEFmcm9tJTIwdG9rZW5pemVycy5tb2RlbHMlMjBpbXBvcnQlMjBCUEUlMEFmcm9tJTIwdG9rZW5pemVycy50cmFpbmVycyUyMGltcG9ydCUyMEJwZVRyYWluZXIlMEFmcm9tJTIwdG9rZW5pemVycy5wcmVfdG9rZW5pemVycyUyMGltcG9ydCUyMFdoaXRlc3BhY2UlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBUb2tlbml6ZXIoQlBFKHVua190b2tlbiUzRCUyMiU1QlVOSyU1RCUyMikpJTBBdHJhaW5lciUyMCUzRCUyMEJwZVRyYWluZXIoc3BlY2lhbF90b2tlbnMlM0QlNUIlMjIlNUJVTkslNUQlMjIlMkMlMjAlMjIlNUJDTFMlNUQlMjIlMkMlMjAlMjIlNUJTRVAlNUQlMjIlMkMlMjAlMjIlNUJQQUQlNUQlMjIlMkMlMjAlMjIlNUJNQVNLJTVEJTIyJTVEKSUwQSUwQXRva2VuaXplci5wcmVfdG9rZW5pemVyJTIwJTNEJTIwV2hpdGVzcGFjZSgpJTBBZmlsZXMlMjAlM0QlMjAlNUIuLi4lNUQlMEF0b2tlbml6ZXIudHJhaW4oZmlsZXMlMkMlMjB0cmFpbmVyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers <span class="hljs-keyword">import</span> Tokenizer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.models <span class="hljs-keyword">import</span> BPE
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.trainers <span class="hljs-keyword">import</span> BpeTrainer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.pre_tokenizers <span class="hljs-keyword">import</span> Whitespace

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = Tokenizer(BPE(unk_token=<span class="hljs-string">&quot;[UNK]&quot;</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>trainer = BpeTrainer(special_tokens=[<span class="hljs-string">&quot;[UNK]&quot;</span>, <span class="hljs-string">&quot;[CLS]&quot;</span>, <span class="hljs-string">&quot;[SEP]&quot;</span>, <span class="hljs-string">&quot;[PAD]&quot;</span>, <span class="hljs-string">&quot;[MASK]&quot;</span>])

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.pre_tokenizer = Whitespace()
<span class="hljs-meta">&gt;&gt;&gt; </span>files = [...]
<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.train(files, trainer)`}}),U=new aa({}),w=new _e({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFByZVRyYWluZWRUb2tlbml6ZXJGYXN0JTBBJTBBZmFzdF90b2tlbml6ZXIlMjAlM0QlMjBQcmVUcmFpbmVkVG9rZW5pemVyRmFzdCh0b2tlbml6ZXJfb2JqZWN0JTNEdG9rZW5pemVyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> PreTrainedTokenizerFast

<span class="hljs-meta">&gt;&gt;&gt; </span>fast_tokenizer = PreTrainedTokenizerFast(tokenizer_object=tokenizer)`}}),V=new aa({}),J=new _e({props:{code:"dG9rZW5pemVyLnNhdmUoJTIydG9rZW5pemVyLmpzb24lMjIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.save(<span class="hljs-string">&quot;tokenizer.json&quot;</span>)'}}),Z=new _e({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFByZVRyYWluZWRUb2tlbml6ZXJGYXN0JTBBJTBBZmFzdF90b2tlbml6ZXIlMjAlM0QlMjBQcmVUcmFpbmVkVG9rZW5pemVyRmFzdCh0b2tlbml6ZXJfZmlsZSUzRCUyMnRva2VuaXplci5qc29uJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> PreTrainedTokenizerFast

<span class="hljs-meta">&gt;&gt;&gt; </span>fast_tokenizer = PreTrainedTokenizerFast(tokenizer_file=<span class="hljs-string">&quot;tokenizer.json&quot;</span>)`}}),{c(){h=o("meta"),oe=p(),k=o("h1"),j=o("a"),R=o("span"),N(_.$$.fragment),$e=p(),L=o("span"),Ee=l("Usa los tokenizadores de \u{1F917} Tokenizers"),re=p(),z=o("p"),O=o("code"),Ue=l("PreTrainedTokenizerFast"),we=l(" depende de la biblioteca "),$=o("a"),Ve=l("\u{1F917} Tokenizers"),Je=l(`. Los tokenizadores obtenidos desde la biblioteca \u{1F917} Tokenizers pueden ser
cargados de forma muy sencilla en los \u{1F917} Transformers.`),ne=p(),S=o("p"),Ze=l("Antes de entrar en detalles, comencemos creando un tokenizador dummy en unas cuantas l\xEDneas:"),le=p(),N(E.$$.fragment),ie=p(),C=o("p"),Ne=l(`Ahora tenemos un tokenizador entrenado en los archivos que definimos. Lo podemos seguir utilizando en ese entorno de ejecuci\xF3n (runtime en ingl\xE9s), o puedes guardarlo
en un archivo JSON para reutilizarlo en un futuro.`),de=p(),y=o("h2"),g=o("a"),H=o("span"),N(U.$$.fragment),Be=p(),Y=o("span"),Fe=l("Cargando directamente desde el objeto tokenizador"),pe=p(),u=o("p"),Pe=l(`Veamos c\xF3mo utilizar este objeto tokenizador en la biblioteca \u{1F917} Transformers. La clase
`),x=o("code"),Ie=l("PreTrainedTokenizerFast"),Ae=l(` permite una instanciaci\xF3n f\xE1cil, al aceptar el objeto
`),K=o("em"),Se=l("tokenizer"),Ce=l(" instanciado como argumento:"),ce=p(),N(w.$$.fragment),me=p(),v=o("p"),Qe=l("Este objeto ya puede ser utilizado con todos los m\xE9todos compartidos por los tokenizadores de \u{1F917} Transformers! Visita la "),Q=o("a"),We=l("p\xE1gina sobre tokenizadores"),qe=l(" para m\xE1s informaci\xF3n."),ue=p(),b=o("h2"),M=o("a"),D=o("span"),N(V.$$.fragment),Ge=p(),ee=o("span"),Xe=l("Cargando desde un archivo JSON"),fe=p(),W=o("p"),Re=l("Para cargar un tokenizador desde un archivo JSON, comencemos por guardar nuestro tokenizador:"),he=p(),N(J.$$.fragment),ke=p(),f=o("p"),Le=l("La localizaci\xF3n (path en ingl\xE9s) donde este archivo es guardado puede ser incluida en el m\xE9todo de inicializaci\xF3n de "),ae=o("code"),Oe=l("PreTrainedTokenizerFast"),He=l(`
utilizando el par\xE1metro `),se=o("code"),Ye=l("tokenizer_file"),xe=l(":"),ze=p(),N(Z.$$.fragment),ye=p(),T=o("p"),Ke=l("Este objeto ya puede ser utilizado con todos los m\xE9todos compartidos por los tokenizadores de \u{1F917} Transformers! Visita la "),q=o("a"),De=l("p\xE1gina sobre tokenizadores"),ea=l(" para m\xE1s informaci\xF3n."),this.h()},l(e){const t=$a('[data-svelte="svelte-1phssyn"]',document.head);h=r(t,"META",{name:!0,content:!0}),t.forEach(a),oe=c(e),k=r(e,"H1",{class:!0});var je=n(k);j=r(je,"A",{id:!0,class:!0,href:!0});var ta=n(j);R=r(ta,"SPAN",{});var oa=n(R);B(_.$$.fragment,oa),oa.forEach(a),ta.forEach(a),$e=c(je),L=r(je,"SPAN",{});var ra=n(L);Ee=i(ra,"Usa los tokenizadores de \u{1F917} Tokenizers"),ra.forEach(a),je.forEach(a),re=c(e),z=r(e,"P",{});var te=n(z);O=r(te,"CODE",{});var na=n(O);Ue=i(na,"PreTrainedTokenizerFast"),na.forEach(a),we=i(te," depende de la biblioteca "),$=r(te,"A",{href:!0,rel:!0});var la=n($);Ve=i(la,"\u{1F917} Tokenizers"),la.forEach(a),Je=i(te,`. Los tokenizadores obtenidos desde la biblioteca \u{1F917} Tokenizers pueden ser
cargados de forma muy sencilla en los \u{1F917} Transformers.`),te.forEach(a),ne=c(e),S=r(e,"P",{});var ia=n(S);Ze=i(ia,"Antes de entrar en detalles, comencemos creando un tokenizador dummy en unas cuantas l\xEDneas:"),ia.forEach(a),le=c(e),B(E.$$.fragment,e),ie=c(e),C=r(e,"P",{});var da=n(C);Ne=i(da,`Ahora tenemos un tokenizador entrenado en los archivos que definimos. Lo podemos seguir utilizando en ese entorno de ejecuci\xF3n (runtime en ingl\xE9s), o puedes guardarlo
en un archivo JSON para reutilizarlo en un futuro.`),da.forEach(a),de=c(e),y=r(e,"H2",{class:!0});var ge=n(y);g=r(ge,"A",{id:!0,class:!0,href:!0});var pa=n(g);H=r(pa,"SPAN",{});var ca=n(H);B(U.$$.fragment,ca),ca.forEach(a),pa.forEach(a),Be=c(ge),Y=r(ge,"SPAN",{});var ma=n(Y);Fe=i(ma,"Cargando directamente desde el objeto tokenizador"),ma.forEach(a),ge.forEach(a),pe=c(e),u=r(e,"P",{});var G=n(u);Pe=i(G,`Veamos c\xF3mo utilizar este objeto tokenizador en la biblioteca \u{1F917} Transformers. La clase
`),x=r(G,"CODE",{});var ua=n(x);Ie=i(ua,"PreTrainedTokenizerFast"),ua.forEach(a),Ae=i(G,` permite una instanciaci\xF3n f\xE1cil, al aceptar el objeto
`),K=r(G,"EM",{});var fa=n(K);Se=i(fa,"tokenizer"),fa.forEach(a),Ce=i(G," instanciado como argumento:"),G.forEach(a),ce=c(e),B(w.$$.fragment,e),me=c(e),v=r(e,"P",{});var ve=n(v);Qe=i(ve,"Este objeto ya puede ser utilizado con todos los m\xE9todos compartidos por los tokenizadores de \u{1F917} Transformers! Visita la "),Q=r(ve,"A",{href:!0});var ha=n(Q);We=i(ha,"p\xE1gina sobre tokenizadores"),ha.forEach(a),qe=i(ve," para m\xE1s informaci\xF3n."),ve.forEach(a),ue=c(e),b=r(e,"H2",{class:!0});var Me=n(b);M=r(Me,"A",{id:!0,class:!0,href:!0});var ka=n(M);D=r(ka,"SPAN",{});var za=n(D);B(V.$$.fragment,za),za.forEach(a),ka.forEach(a),Ge=c(Me),ee=r(Me,"SPAN",{});var ya=n(ee);Xe=i(ya,"Cargando desde un archivo JSON"),ya.forEach(a),Me.forEach(a),fe=c(e),W=r(e,"P",{});var ba=n(W);Re=i(ba,"Para cargar un tokenizador desde un archivo JSON, comencemos por guardar nuestro tokenizador:"),ba.forEach(a),he=c(e),B(J.$$.fragment,e),ke=c(e),f=r(e,"P",{});var X=n(f);Le=i(X,"La localizaci\xF3n (path en ingl\xE9s) donde este archivo es guardado puede ser incluida en el m\xE9todo de inicializaci\xF3n de "),ae=r(X,"CODE",{});var ja=n(ae);Oe=i(ja,"PreTrainedTokenizerFast"),ja.forEach(a),He=i(X,`
utilizando el par\xE1metro `),se=r(X,"CODE",{});var ga=n(se);Ye=i(ga,"tokenizer_file"),ga.forEach(a),xe=i(X,":"),X.forEach(a),ze=c(e),B(Z.$$.fragment,e),ye=c(e),T=r(e,"P",{});var Te=n(T);Ke=i(Te,"Este objeto ya puede ser utilizado con todos los m\xE9todos compartidos por los tokenizadores de \u{1F917} Transformers! Visita la "),q=r(Te,"A",{href:!0});var va=n(q);De=i(va,"p\xE1gina sobre tokenizadores"),va.forEach(a),ea=i(Te," para m\xE1s informaci\xF3n."),Te.forEach(a),this.h()},h(){m(h,"name","hf:doc:metadata"),m(h,"content",JSON.stringify(Va)),m(j,"id","usa-los-tokenizadores-de-tokenizers"),m(j,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),m(j,"href","#usa-los-tokenizadores-de-tokenizers"),m(k,"class","relative group"),m($,"href","https://huggingface.co/docs/tokenizers"),m($,"rel","nofollow"),m(g,"id","cargando-directamente-desde-el-objeto-tokenizador"),m(g,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),m(g,"href","#cargando-directamente-desde-el-objeto-tokenizador"),m(y,"class","relative group"),m(Q,"href","main_classes/tokenizer"),m(M,"id","cargando-desde-un-archivo-json"),m(M,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),m(M,"href","#cargando-desde-un-archivo-json"),m(b,"class","relative group"),m(q,"href","main_classes/tokenizer")},m(e,t){s(document.head,h),d(e,oe,t),d(e,k,t),s(k,j),s(j,R),F(_,R,null),s(k,$e),s(k,L),s(L,Ee),d(e,re,t),d(e,z,t),s(z,O),s(O,Ue),s(z,we),s(z,$),s($,Ve),s(z,Je),d(e,ne,t),d(e,S,t),s(S,Ze),d(e,le,t),F(E,e,t),d(e,ie,t),d(e,C,t),s(C,Ne),d(e,de,t),d(e,y,t),s(y,g),s(g,H),F(U,H,null),s(y,Be),s(y,Y),s(Y,Fe),d(e,pe,t),d(e,u,t),s(u,Pe),s(u,x),s(x,Ie),s(u,Ae),s(u,K),s(K,Se),s(u,Ce),d(e,ce,t),F(w,e,t),d(e,me,t),d(e,v,t),s(v,Qe),s(v,Q),s(Q,We),s(v,qe),d(e,ue,t),d(e,b,t),s(b,M),s(M,D),F(V,D,null),s(b,Ge),s(b,ee),s(ee,Xe),d(e,fe,t),d(e,W,t),s(W,Re),d(e,he,t),F(J,e,t),d(e,ke,t),d(e,f,t),s(f,Le),s(f,ae),s(ae,Oe),s(f,He),s(f,se),s(se,Ye),s(f,xe),d(e,ze,t),F(Z,e,t),d(e,ye,t),d(e,T,t),s(T,Ke),s(T,q),s(q,De),s(T,ea),be=!0},p:Ea,i(e){be||(P(_.$$.fragment,e),P(E.$$.fragment,e),P(U.$$.fragment,e),P(w.$$.fragment,e),P(V.$$.fragment,e),P(J.$$.fragment,e),P(Z.$$.fragment,e),be=!0)},o(e){I(_.$$.fragment,e),I(E.$$.fragment,e),I(U.$$.fragment,e),I(w.$$.fragment,e),I(V.$$.fragment,e),I(J.$$.fragment,e),I(Z.$$.fragment,e),be=!1},d(e){a(h),e&&a(oe),e&&a(k),A(_),e&&a(re),e&&a(z),e&&a(ne),e&&a(S),e&&a(le),A(E,e),e&&a(ie),e&&a(C),e&&a(de),e&&a(y),A(U),e&&a(pe),e&&a(u),e&&a(ce),A(w,e),e&&a(me),e&&a(v),e&&a(ue),e&&a(b),A(V),e&&a(fe),e&&a(W),e&&a(he),A(J,e),e&&a(ke),e&&a(f),e&&a(ze),A(Z,e),e&&a(ye),e&&a(T)}}}const Va={local:"usa-los-tokenizadores-de-tokenizers",sections:[{local:"cargando-directamente-desde-el-objeto-tokenizador",title:"Cargando directamente desde el objeto tokenizador "},{local:"cargando-desde-un-archivo-json",title:"Cargando desde un archivo JSON"}],title:"Usa los tokenizadores de \u{1F917} Tokenizers"};function Ja(sa){return Ua(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Fa extends Ma{constructor(h){super();Ta(this,h,Ja,wa,_a,{})}}export{Fa as default,Va as metadata};
