import{s as B,n as q,o as F}from"../chunks/scheduler.37c15a92.js";import{S as N,i as R,g as c,s as p,r as E,A as W,h as u,f as n,c as f,j as H,u as L,x as w,k as M,y as D,a,v as S,d as U,t as j,w as A}from"../chunks/index.2bf4358c.js";import{C as G}from"../chunks/CourseFloatingBanner.15ba07e6.js";import{H as I}from"../chunks/Heading.8ada512a.js";function J(g){let i,h,_,d,s,k,l,z,r,b="เยี่ยมมาก คุณเรียนจบบทนี้แล้ว!",v,o,y="หลังจากที่ได้เรียนเกี่ยวกับ tokenizer อย่างละเอียดแล้ว คุณจะ :",x,m,T="<li>สามารถเทรน tokenizer ตัวใหม่ จาก tokenizer อีกตัวที่มีโครงสร้างอยู่แล้ว</li> <li>เข้าใจวิธีการใช้ค่า offsets เพื่อ map ตำแหน่งของ token ไปหาค่าช่วงตำแหน่งของมัน(span)ในข้อความหลัก</li> <li>รู้ความแตกต่างระหว่าง BPE, WordPiece, และ Unigram</li> <li>สามารถผสมผสานแต่ละเครื่องมือจาก 🤗 Tokenizers library เพื่อสร้าง tokenizer ของคุณเองได้</li> <li>สามารถนำ tokenizer นั้นไปใช้ใน 🤗 Transformers library ได้</li>",C,$,P;return s=new I({props:{title:"เรียนจบเรื่อง tokenizer แล้ว!",local:"เรยนจบเรอง-tokenizer-แลว",headingTag:"h1"}}),l=new G({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),{c(){i=c("meta"),h=p(),_=c("p"),d=p(),E(s.$$.fragment),k=p(),E(l.$$.fragment),z=p(),r=c("p"),r.textContent=b,v=p(),o=c("p"),o.textContent=y,x=p(),m=c("ul"),m.innerHTML=T,C=p(),$=c("p"),this.h()},l(t){const e=W("svelte-u9bgzb",document.head);i=u(e,"META",{name:!0,content:!0}),e.forEach(n),h=f(t),_=u(t,"P",{}),H(_).forEach(n),d=f(t),L(s.$$.fragment,t),k=f(t),L(l.$$.fragment,t),z=f(t),r=u(t,"P",{"data-svelte-h":!0}),w(r)!=="svelte-pno6m3"&&(r.textContent=b),v=f(t),o=u(t,"P",{"data-svelte-h":!0}),w(o)!=="svelte-1hm5c4v"&&(o.textContent=y),x=f(t),m=u(t,"UL",{"data-svelte-h":!0}),w(m)!=="svelte-1wmjnk3"&&(m.innerHTML=T),C=f(t),$=u(t,"P",{}),H($).forEach(n),this.h()},h(){M(i,"name","hf:doc:metadata"),M(i,"content",K)},m(t,e){D(document.head,i),a(t,h,e),a(t,_,e),a(t,d,e),S(s,t,e),a(t,k,e),S(l,t,e),a(t,z,e),a(t,r,e),a(t,v,e),a(t,o,e),a(t,x,e),a(t,m,e),a(t,C,e),a(t,$,e),P=!0},p:q,i(t){P||(U(s.$$.fragment,t),U(l.$$.fragment,t),P=!0)},o(t){j(s.$$.fragment,t),j(l.$$.fragment,t),P=!1},d(t){t&&(n(h),n(_),n(d),n(k),n(z),n(r),n(v),n(o),n(x),n(m),n(C),n($)),n(i),A(s,t),A(l,t)}}}const K='{"title":"เรียนจบเรื่อง tokenizer แล้ว!","local":"เรยนจบเรอง-tokenizer-แลว","sections":[],"depth":1}';function O(g){return F(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Z extends N{constructor(i){super(),R(this,i,O,J,B,{})}}export{Z as component};
