import{s as Q,n as G,o as I}from"../chunks/scheduler.37c15a92.js";import{S as K,i as O,g as r,s as l,r as R,A as V,h as i,f as s,c as a,j as F,u as H,x as v,k as J,y as W,a as n,v as z,d as B,t as A,w as j}from"../chunks/index.2bf4358c.js";import{Y as X}from"../chunks/Youtube.1e50a667.js";import{C as Z}from"../chunks/CourseFloatingBanner.15ba07e6.js";import{H as ee}from"../chunks/Heading.8ada512a.js";function te(k){let o,x,$,C,m,b,u,w,c,L,p,S="Les modèles basés sur l’encodeur utilisent uniquement l’encodeur d’un <em>transformer</em>. À chaque étape, les couches d’attention peuvent accéder à tous les mots de la phrase initiale. Ces modèles sont souvent caractérisés comme ayant une attention bidirectionnelle et sont souvent appelés <em>modèles d’auto-encodage</em>.",q,f,U="Le pré-entraînement de ces modèles se concentre généralement sur la modification d’une phrase donnée (par exemple, en masquant des mots aléatoires dans celle-ci) et en demandant au modèle de trouver ou de reconstruire la phrase initiale.",P,d,N="Ces modèles sont les plus adaptés pour des tâches qui requièrent une compréhension complète de la phrase, telles que la classification de phrases, la reconnaissance d’entités nommées (et plus généralement la classification de mots) et les questions-réponses extractives.",T,h,Y="Les modèles les plus représentatifs de cette famille sont :",E,_,D='<li><a href="https://huggingface.co/transformers/model_doc/albert.html" rel="nofollow">ALBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/bert.html" rel="nofollow">BERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/distilbert.html" rel="nofollow">DistilBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/electra.html" rel="nofollow">ELECTRA</a></li> <li><a href="https://huggingface.co/transformers/model_doc/roberta.html" rel="nofollow">RoBERTa</a></li>',y,g,M;return m=new ee({props:{title:"Les modèles basés sur l’encodeur",local:"les-modèles-basés-sur-lencodeur",headingTag:"h1"}}),u=new Z({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),c=new X({props:{id:"MUqNwgPjJvQ"}}),{c(){o=r("meta"),x=l(),$=r("p"),C=l(),R(m.$$.fragment),b=l(),R(u.$$.fragment),w=l(),R(c.$$.fragment),L=l(),p=r("p"),p.innerHTML=S,q=l(),f=r("p"),f.textContent=U,P=l(),d=r("p"),d.textContent=N,T=l(),h=r("p"),h.textContent=Y,E=l(),_=r("ul"),_.innerHTML=D,y=l(),g=r("p"),this.h()},l(e){const t=V("svelte-u9bgzb",document.head);o=i(t,"META",{name:!0,content:!0}),t.forEach(s),x=a(e),$=i(e,"P",{}),F($).forEach(s),C=a(e),H(m.$$.fragment,e),b=a(e),H(u.$$.fragment,e),w=a(e),H(c.$$.fragment,e),L=a(e),p=i(e,"P",{"data-svelte-h":!0}),v(p)!=="svelte-1yao98"&&(p.innerHTML=S),q=a(e),f=i(e,"P",{"data-svelte-h":!0}),v(f)!=="svelte-1eunjqz"&&(f.textContent=U),P=a(e),d=i(e,"P",{"data-svelte-h":!0}),v(d)!=="svelte-3qi621"&&(d.textContent=N),T=a(e),h=i(e,"P",{"data-svelte-h":!0}),v(h)!=="svelte-195kd4n"&&(h.textContent=Y),E=a(e),_=i(e,"UL",{"data-svelte-h":!0}),v(_)!=="svelte-18kzzol"&&(_.innerHTML=D),y=a(e),g=i(e,"P",{}),F(g).forEach(s),this.h()},h(){J(o,"name","hf:doc:metadata"),J(o,"content",se)},m(e,t){W(document.head,o),n(e,x,t),n(e,$,t),n(e,C,t),z(m,e,t),n(e,b,t),z(u,e,t),n(e,w,t),z(c,e,t),n(e,L,t),n(e,p,t),n(e,q,t),n(e,f,t),n(e,P,t),n(e,d,t),n(e,T,t),n(e,h,t),n(e,E,t),n(e,_,t),n(e,y,t),n(e,g,t),M=!0},p:G,i(e){M||(B(m.$$.fragment,e),B(u.$$.fragment,e),B(c.$$.fragment,e),M=!0)},o(e){A(m.$$.fragment,e),A(u.$$.fragment,e),A(c.$$.fragment,e),M=!1},d(e){e&&(s(x),s($),s(C),s(b),s(w),s(L),s(p),s(q),s(f),s(P),s(d),s(T),s(h),s(E),s(_),s(y),s(g)),s(o),j(m,e),j(u,e),j(c,e)}}}const se='{"title":"Les modèles basés sur l’encodeur","local":"les-modèles-basés-sur-lencodeur","sections":[],"depth":1}';function ne(k){return I(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class me extends K{constructor(o){super(),O(this,o,ne,te,Q,{})}}export{me as component};
