import{s as B,n as q,o as F}from"../chunks/scheduler.37c15a92.js";import{S as N,i as R,g as f,s as c,r as b,A as W,h as u,f as a,c as p,j as H,u as L,x as k,k as M,y as D,a as n,v as S,d as U,t as j,w as A}from"../chunks/index.2bf4358c.js";import{C as G}from"../chunks/CourseFloatingBanner.06521e8b.js";import{H as I}from"../chunks/Heading.8ada512a.js";function J(T){let s,h,_,d,l,x,i,v,o,y="Отличная работа по завершению этой главы!",C,r,z="После этого глубокого погружения в токенизаторы вы должны:",P,m,E="<li>Уметь обучать новый токенизатор, используя старый в качестве шаблона.</li> <li>Понимать, как использовать смещения для сопоставления позиций токенов с их исходным положением в тексте</li> <li>Знать различия между BPE, WordPiece и Unigram.</li> <li>Уметь комбинировать блоки, предоставляемые библиотекой 🤗 Tokenizers, для создания собственного токенизатора</li> <li>Уметь использовать собственный токенизатор в библиотеке 🤗 Transformers</li>",g,$,w;return l=new I({props:{title:"Токенизаторы, проверка!",local:"tokenizers-check",headingTag:"h1"}}),i=new G({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),{c(){s=f("meta"),h=c(),_=f("p"),d=c(),b(l.$$.fragment),x=c(),b(i.$$.fragment),v=c(),o=f("p"),o.textContent=y,C=c(),r=f("p"),r.textContent=z,P=c(),m=f("ul"),m.innerHTML=E,g=c(),$=f("p"),this.h()},l(t){const e=W("svelte-u9bgzb",document.head);s=u(e,"META",{name:!0,content:!0}),e.forEach(a),h=p(t),_=u(t,"P",{}),H(_).forEach(a),d=p(t),L(l.$$.fragment,t),x=p(t),L(i.$$.fragment,t),v=p(t),o=u(t,"P",{"data-svelte-h":!0}),k(o)!=="svelte-1c89euc"&&(o.textContent=y),C=p(t),r=u(t,"P",{"data-svelte-h":!0}),k(r)!=="svelte-an80aj"&&(r.textContent=z),P=p(t),m=u(t,"UL",{"data-svelte-h":!0}),k(m)!=="svelte-1myo3x"&&(m.innerHTML=E),g=p(t),$=u(t,"P",{}),H($).forEach(a),this.h()},h(){M(s,"name","hf:doc:metadata"),M(s,"content",K)},m(t,e){D(document.head,s),n(t,h,e),n(t,_,e),n(t,d,e),S(l,t,e),n(t,x,e),S(i,t,e),n(t,v,e),n(t,o,e),n(t,C,e),n(t,r,e),n(t,P,e),n(t,m,e),n(t,g,e),n(t,$,e),w=!0},p:q,i(t){w||(U(l.$$.fragment,t),U(i.$$.fragment,t),w=!0)},o(t){j(l.$$.fragment,t),j(i.$$.fragment,t),w=!1},d(t){t&&(a(h),a(_),a(d),a(x),a(v),a(o),a(C),a(r),a(P),a(m),a(g),a($)),a(s),A(l,t),A(i,t)}}}const K='{"title":"Токенизаторы, проверка!","local":"tokenizers-check","sections":[],"depth":1}';function O(T){return F(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Z extends N{constructor(s){super(),R(this,s,O,J,B,{})}}export{Z as component};
