import{s as G,n as I,o as J}from"../chunks/scheduler.37c15a92.js";import{S as O,i as Q,g as r,s as l,r as E,A as V,h as m,f as a,c as s,j as N,u as A,x as q,k as D,y as W,a as n,v as k,d as B,t as R,w as S}from"../chunks/index.2bf4358c.js";import{Y as X}from"../chunks/Youtube.1e50a667.js";import{C as Z}from"../chunks/CourseFloatingBanner.06521e8b.js";import{H as ee}from"../chunks/Heading.8ada512a.js";function te(z){let o,v,d,x,i,w,f,C,p,T,u,U="Модели типа кодировщик-декодировщик (также называемые <em>sequence-to-sequence models</em>) используют обе части трансформера. На каждом этапе слой внимания кодировщика получает доступ ко всем словам в исходной последовательности, тогда как слой внимания декодировщика получает доступ только к тем словам, которые расположены до текущего слова.",b,c,Y='Предобучение таких моделей может быть выполнено на задачах, используемых для предобучения моделей кодировщиков или декодировщиков, но обычно все немного сложнее. Например, модель <a href="https://huggingface.co/t5-base" rel="nofollow">T5</a> была предобучена путем замены случайных фрагментов текста (фрагменты могут содержать несколько слов) на специальную маску, цель модели - предсказать текст, который заменила маска.',P,h,j="Модели seq2seq лучше всего подходят для задач генерации новых предложений, зависящих от входного массива данных, например: автоматическое реферирование текста, перевод или в генеративных вопросно-ответных системах.",M,_,F="Представителями этого семейства являются:",H,$,K='<li><a href="https://huggingface.co/transformers/model_doc/bart.html" rel="nofollow">BART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/mbart.html" rel="nofollow">mBART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/marian.html" rel="nofollow">Marian</a></li> <li><a href="https://huggingface.co/transformers/model_doc/t5.html" rel="nofollow">T5</a></li>',L,g,y;return i=new ee({props:{title:"Модели вида “seq2seq”",local:"модели-вида-seq2seq",headingTag:"h1"}}),f=new Z({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),p=new X({props:{id:"0_4KEb08xrE"}}),{c(){o=r("meta"),v=l(),d=r("p"),x=l(),E(i.$$.fragment),w=l(),E(f.$$.fragment),C=l(),E(p.$$.fragment),T=l(),u=r("p"),u.innerHTML=U,b=l(),c=r("p"),c.innerHTML=Y,P=l(),h=r("p"),h.textContent=j,M=l(),_=r("p"),_.textContent=F,H=l(),$=r("ul"),$.innerHTML=K,L=l(),g=r("p"),this.h()},l(e){const t=V("svelte-u9bgzb",document.head);o=m(t,"META",{name:!0,content:!0}),t.forEach(a),v=s(e),d=m(e,"P",{}),N(d).forEach(a),x=s(e),A(i.$$.fragment,e),w=s(e),A(f.$$.fragment,e),C=s(e),A(p.$$.fragment,e),T=s(e),u=m(e,"P",{"data-svelte-h":!0}),q(u)!=="svelte-1q8498o"&&(u.innerHTML=U),b=s(e),c=m(e,"P",{"data-svelte-h":!0}),q(c)!=="svelte-vm66o4"&&(c.innerHTML=Y),P=s(e),h=m(e,"P",{"data-svelte-h":!0}),q(h)!=="svelte-1nkkq8d"&&(h.textContent=j),M=s(e),_=m(e,"P",{"data-svelte-h":!0}),q(_)!=="svelte-n5ysqq"&&(_.textContent=F),H=s(e),$=m(e,"UL",{"data-svelte-h":!0}),q($)!=="svelte-1lyffe"&&($.innerHTML=K),L=s(e),g=m(e,"P",{}),N(g).forEach(a),this.h()},h(){D(o,"name","hf:doc:metadata"),D(o,"content",ae)},m(e,t){W(document.head,o),n(e,v,t),n(e,d,t),n(e,x,t),k(i,e,t),n(e,w,t),k(f,e,t),n(e,C,t),k(p,e,t),n(e,T,t),n(e,u,t),n(e,b,t),n(e,c,t),n(e,P,t),n(e,h,t),n(e,M,t),n(e,_,t),n(e,H,t),n(e,$,t),n(e,L,t),n(e,g,t),y=!0},p:I,i(e){y||(B(i.$$.fragment,e),B(f.$$.fragment,e),B(p.$$.fragment,e),y=!0)},o(e){R(i.$$.fragment,e),R(f.$$.fragment,e),R(p.$$.fragment,e),y=!1},d(e){e&&(a(v),a(d),a(x),a(w),a(C),a(T),a(u),a(b),a(c),a(P),a(h),a(M),a(_),a(H),a($),a(L),a(g)),a(o),S(i,e),S(f,e),S(p,e)}}}const ae='{"title":"Модели вида “seq2seq”","local":"модели-вида-seq2seq","sections":[],"depth":1}';function ne(z){return J(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ie extends O{constructor(o){super(),Q(this,o,ne,te,G,{})}}export{ie as component};
