import{s as A,n as q,o as F}from"../chunks/scheduler.37c15a92.js";import{S as N,i as R,g as h,s as c,r as E,A as W,h as p,f as n,c as u,j as H,u as L,x as z,k as M,y as D,a,v as S,d as B,t as U,w as j}from"../chunks/index.2bf4358c.js";import{C as G}from"../chunks/CourseFloatingBanner.06521e8b.js";import{H as I}from"../chunks/Heading.8ada512a.js";function J(P){let i,d,f,k,s,v,o,_,r,y="Chúc mừng bạn đã hoàn thành chương này!",$,l,T="Sau khi tìm hiểu sâu về tokenizer, bạn nên:",x,m,w="<li>Có thể huấn luyện một tokenizer mới bằng cách sử dụng một cái cũ làm mẫu</li> <li>Hiểu cách sử dụng hiệu số để ánh xạ vị trí của token với khoảng văn bản ban đầu của chúng</li> <li>Biết sự khác biệt giữa BPE, WordPiece và Unigram</li> <li>Có thể trộn và kết hợp các khối được cung cấp bởi thư viện 🤗 Tokenizers để xây dựng tokenizer của riêng bạn</li> <li>Có thể sử dụng tokenizer đó trong thư viện 🤗 Transformers</li>",C,g,b;return s=new I({props:{title:"Tokenizers, kiểm tra nào!",local:"tokenizers-kiểm-tra-nào",headingTag:"h1"}}),o=new G({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),{c(){i=h("meta"),d=c(),f=h("p"),k=c(),E(s.$$.fragment),v=c(),E(o.$$.fragment),_=c(),r=h("p"),r.textContent=y,$=c(),l=h("p"),l.textContent=T,x=c(),m=h("ul"),m.innerHTML=w,C=c(),g=h("p"),this.h()},l(t){const e=W("svelte-u9bgzb",document.head);i=p(e,"META",{name:!0,content:!0}),e.forEach(n),d=u(t),f=p(t,"P",{}),H(f).forEach(n),k=u(t),L(s.$$.fragment,t),v=u(t),L(o.$$.fragment,t),_=u(t),r=p(t,"P",{"data-svelte-h":!0}),z(r)!=="svelte-gg5i0y"&&(r.textContent=y),$=u(t),l=p(t,"P",{"data-svelte-h":!0}),z(l)!=="svelte-1f9ndxc"&&(l.textContent=T),x=u(t),m=p(t,"UL",{"data-svelte-h":!0}),z(m)!=="svelte-1tysvjd"&&(m.innerHTML=w),C=u(t),g=p(t,"P",{}),H(g).forEach(n),this.h()},h(){M(i,"name","hf:doc:metadata"),M(i,"content",K)},m(t,e){D(document.head,i),a(t,d,e),a(t,f,e),a(t,k,e),S(s,t,e),a(t,v,e),S(o,t,e),a(t,_,e),a(t,r,e),a(t,$,e),a(t,l,e),a(t,x,e),a(t,m,e),a(t,C,e),a(t,g,e),b=!0},p:q,i(t){b||(B(s.$$.fragment,t),B(o.$$.fragment,t),b=!0)},o(t){U(s.$$.fragment,t),U(o.$$.fragment,t),b=!1},d(t){t&&(n(d),n(f),n(k),n(v),n(_),n(r),n($),n(l),n(x),n(m),n(C),n(g)),n(i),j(s,t),j(o,t)}}}const K='{"title":"Tokenizers, kiểm tra nào!","local":"tokenizers-kiểm-tra-nào","sections":[],"depth":1}';function O(P){return F(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Z extends N{constructor(i){super(),R(this,i,O,J,A,{})}}export{Z as component};
