import{s as K,n as O,o as Q}from"../chunks/scheduler.56730f09.js";import{S as V,i as W,g as o,s as c,r as X,A as Z,h as a,f as d,c as l,j as D,u as tt,x as r,k as J,y as et,a as n,v as dt,d as nt,t as ot,w as ct}from"../chunks/index.1f144517.js";import{H as at}from"../chunks/Heading.57d46534.js";function lt(R){let i,L,b,k,s,z,_,G="배치 입력은 길이가 다른 경우가 많아서 고정 크기 텐서로 변환할 수 없습니다. 패딩과 잘라내기는 다양한 길이의 배치에서 직사각형 텐서를 생성할 수 있도록 이 문제를 해결하는 전략입니다. 패딩은 특수한 <strong>패딩 토큰</strong>을 추가하여 짧은 시퀀스가 배치에서 가장 긴 시퀀스 또는 모델에서 허용하는 최대 길이와 동일한 길이를 갖도록 합니다. 잘라내기는 긴 시퀀스를 잘라내어 패딩과 다른 방식으로 시퀀스의 길이를 동일하게 합니다.",H,u,Y="대부분의 경우 배치에 가장 긴 시퀀스의 길이로 패딩하고 모델이 허용할 수 있는 최대 길이로 잘라내는 것이 잘 작동합니다. 그러나 필요하다면 API가 지원하는 더 많은 전략을 사용할 수 있습니다. 필요한 인수는 <code>padding</code>, <code>truncation</code>, <code>max_length</code> 세 가지입니다.",M,h,q="<code>padding</code> 인수는 패딩을 제어합니다. 불리언 또는 문자열일 수 있습니다:",P,m,N="<li><code>True</code> 또는 <code>&#39;longest&#39;</code>: 배치에서 가장 긴 시퀀스로 패딩합니다(단일 시퀀스만 제공하는 경우 패딩이 적용되지 않습니다).</li> <li><code>&#39;max_length&#39;</code>: <code>max_length</code> 인수가 지정한 길이로 패딩하거나, <code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 패딩합니다. 단일 시퀀스만 제공하는 경우에도 패딩이 적용됩니다.</li> <li><code>False</code> 또는 <code>&#39;do_not_pad&#39;</code>: 패딩이 적용되지 않습니다. 이것이 기본 동작입니다.</li>",y,p,U="<code>truncation</code> 인수는 잘라낼 방법을 정합니다. 불리언 또는 문자열일 수 있습니다:",E,T,j=`<li><code>True</code> 또는 <code>longest_first</code>: <code>max_length</code> 인수가 지정한 최대 길이로 잘라내거나,
<code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 잘라냅니다.
시퀀스 쌍에서 가장 긴 시퀀스의 토큰을 적절한 길이에 도달할 때까지 하나씩 제거합니다.</li> <li><code>&#39;only_second&#39;</code>: <code>max_length</code> 인수가 지정한 최대 길이로 잘라내거나,
<code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 잘라냅니다.
시퀀스 쌍(또는 시퀀스 쌍의 배치)가 제공된 경우 쌍의 두 번째 문장만 잘라냅니다.</li> <li><code>&#39;only_first&#39;</code>: <code>max_length</code> 인수가 지정한 최대 길이로 잘라내거나,
<code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 잘라냅니다.
시퀀스 쌍(또는 시퀀스 쌍의 배치)가 제공된 경우 쌍의 첫 번째 문장만 잘라냅니다.</li> <li><code>False</code> 또는 <code>&#39;do_not_truncate&#39;</code>: 잘라내기를 적용하지 않습니다. 이것이 기본 동작입니다.</li>`,A,g,F="<code>max_length</code> 인수는 패딩 및 잘라내기를 적용할 길이를 제어합니다. 이 인수는 정수 또는 <code>None</code>일 수 있으며, <code>None</code>일 경우 모델이 허용할 수 있는 최대 길이로 기본값이 설정됩니다. 모델에 특정한 최대 입력 길이가 없는 경우 <code>max_length</code>에 대한 잘라내기 또는 패딩이 비활성화됩니다.",w,x,B=`다음 표에는 패딩 및 잘라내기를 설정하는 권장 방법이 요약되어 있습니다.
입력으로 시퀀스 쌍을 사용하는 경우, 다음 예제에서 <code>truncation=True</code>를 <code>[&#39;only_first&#39;, &#39;only_second&#39;, &#39;longest_first&#39;]</code>에서 선택한 <code>STRATEGY</code>, 즉 <code>truncation=&#39;only_second&#39;</code> 또는 <code>truncation=&#39;longest_first&#39;</code>로 바꾸면 앞서 설명한 대로 쌍의 두 시퀀스가 잘리는 방식을 제어할 수 있습니다.`,C,f,I="<thead><tr><th>잘라내기</th> <th>패딩</th> <th>사용 방법</th></tr></thead> <tbody><tr><td>잘라내기 없음</td> <td>패딩 없음</td> <td><code>tokenizer(batch_sentences)</code></td></tr> <tr><td></td> <td>배치 내 최대 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;longest&#39;)</code></td></tr> <tr><td></td> <td>모델의 최대 입력 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;)</code></td></tr> <tr><td></td> <td>특정 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, max_length=42)</code></td></tr> <tr><td></td> <td>다양한 길이로 패딩</td> <td>`tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8)</td></tr> <tr><td>모델의 최대 입력 길이로 잘라내기</td> <td>패딩 없음</td> <td><code>tokenizer(batch_sentences, truncation=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>배치 내 최대 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>모델의 최대 입력 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>특정 길이로 패딩</td> <td>사용 불가</td></tr> <tr><td>특정 길이로 잘라내기</td> <td>패딩 없음</td> <td><code>tokenizer(batch_sentences, truncation=True, max_length=42)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=STRATEGY, max_length=42)</code></td></tr> <tr><td></td> <td>배치 내 최대 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True, max_length=42)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=STRATEGY, max_length=42)</code></td></tr> <tr><td></td> <td>모델의 최대 입력 길이로 패딩</td> <td>사용 불가</td></tr> <tr><td></td> <td>특정 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True, max_length=42)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=STRATEGY, max_length=42)</code></td></tr></tbody>",S,v,$;return s=new at({props:{title:"패딩과 잘라내기",local:"padding-and-truncation",headingTag:"h1"}}),{c(){i=o("meta"),L=c(),b=o("p"),k=c(),X(s.$$.fragment),z=c(),_=o("p"),_.innerHTML=G,H=c(),u=o("p"),u.innerHTML=Y,M=c(),h=o("p"),h.innerHTML=q,P=c(),m=o("ul"),m.innerHTML=N,y=c(),p=o("p"),p.innerHTML=U,E=c(),T=o("ul"),T.innerHTML=j,A=c(),g=o("p"),g.innerHTML=F,w=c(),x=o("p"),x.innerHTML=B,C=c(),f=o("table"),f.innerHTML=I,S=c(),v=o("p"),this.h()},l(t){const e=Z("svelte-u9bgzb",document.head);i=a(e,"META",{name:!0,content:!0}),e.forEach(d),L=l(t),b=a(t,"P",{}),D(b).forEach(d),k=l(t),tt(s.$$.fragment,t),z=l(t),_=a(t,"P",{"data-svelte-h":!0}),r(_)!=="svelte-1kgkqqg"&&(_.innerHTML=G),H=l(t),u=a(t,"P",{"data-svelte-h":!0}),r(u)!=="svelte-1y0dvow"&&(u.innerHTML=Y),M=l(t),h=a(t,"P",{"data-svelte-h":!0}),r(h)!=="svelte-w9e6b"&&(h.innerHTML=q),P=l(t),m=a(t,"UL",{"data-svelte-h":!0}),r(m)!=="svelte-1itic58"&&(m.innerHTML=N),y=l(t),p=a(t,"P",{"data-svelte-h":!0}),r(p)!=="svelte-1qg04jt"&&(p.innerHTML=U),E=l(t),T=a(t,"UL",{"data-svelte-h":!0}),r(T)!=="svelte-wz5ar8"&&(T.innerHTML=j),A=l(t),g=a(t,"P",{"data-svelte-h":!0}),r(g)!=="svelte-1qbqwzu"&&(g.innerHTML=F),w=l(t),x=a(t,"P",{"data-svelte-h":!0}),r(x)!=="svelte-5p7u51"&&(x.innerHTML=B),C=l(t),f=a(t,"TABLE",{"data-svelte-h":!0}),r(f)!=="svelte-1hl77c2"&&(f.innerHTML=I),S=l(t),v=a(t,"P",{}),D(v).forEach(d),this.h()},h(){J(i,"name","hf:doc:metadata"),J(i,"content",it)},m(t,e){et(document.head,i),n(t,L,e),n(t,b,e),n(t,k,e),dt(s,t,e),n(t,z,e),n(t,_,e),n(t,H,e),n(t,u,e),n(t,M,e),n(t,h,e),n(t,P,e),n(t,m,e),n(t,y,e),n(t,p,e),n(t,E,e),n(t,T,e),n(t,A,e),n(t,g,e),n(t,w,e),n(t,x,e),n(t,C,e),n(t,f,e),n(t,S,e),n(t,v,e),$=!0},p:O,i(t){$||(nt(s.$$.fragment,t),$=!0)},o(t){ot(s.$$.fragment,t),$=!1},d(t){t&&(d(L),d(b),d(k),d(z),d(_),d(H),d(u),d(M),d(h),d(P),d(m),d(y),d(p),d(E),d(T),d(A),d(g),d(w),d(x),d(C),d(f),d(S),d(v)),d(i),ct(s,t)}}}const it='{"title":"패딩과 잘라내기","local":"padding-and-truncation","sections":[],"depth":1}';function rt(R){return Q(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ht extends V{constructor(i){super(),W(this,i,rt,lt,K,{})}}export{ht as component};
