import{s as ke,n as Ye,o as _e}from"../chunks/scheduler.36a0863c.js";import{S as Ee,i as Ne,g as M,s as n,r,A as Ve,h as d,f as a,c as s,j as ve,u as o,x as y,k as Ge,y as Re,a as l,v as i,d as c,t as p,w as m}from"../chunks/index.f891bdb2.js";import{C as u}from"../chunks/CodeBlock.3ec784ea.js";import{H as Q}from"../chunks/Heading.3fb90772.js";function xe(fe){let w,H,z,S,J,P,j,Ue='El paralelismo ha emergido como una estrategia para entrenar modelos grandes en hardware limitado e incrementar la velocidad de entrenamiento en varios órdenes de magnitud. En Hugging Face creamos la biblioteca <a href="https://huggingface.co/docs/accelerate" rel="nofollow">🤗 Accelerate</a> para ayudar a los usuarios a entrenar modelos 🤗 Transformers en cualquier tipo de configuración distribuida, ya sea en una máquina con múltiples GPUs o en múltiples GPUs distribuidas entre muchas máquinas. En este tutorial aprenderás cómo personalizar tu bucle de entrenamiento de PyTorch nativo para poder entrenar en entornos distribuidos.',K,T,L,b,he="Empecemos por instalar 🤗 Accelerate:",q,f,D,U,ge='Luego, importamos y creamos un objeto <a href="https://huggingface.co/docs/accelerate/package_reference/accelerator#accelerate.Accelerator" rel="nofollow"><code>Accelerator</code></a>. <code>Accelerator</code> detectará automáticamente el tipo de configuración distribuida que tengas disponible e inicializará todos los componentes necesarios para el entrenamiento. No necesitas especificar el dispositivo en donde se debe colocar tu modelo.',O,h,ee,g,te,$,$e='Pasa todos los objetos relevantes para el entrenamiento al método <a href="https://huggingface.co/docs/accelerate/package_reference/accelerator#accelerate.Accelerator.prepare" rel="nofollow"><code>prepare</code></a>. Esto incluye los DataLoaders de entrenamiento y evaluación, un modelo y un optimizador:',ae,I,le,C,ne,B,Ie='Por último, reemplaza el típico <code>loss.backward()</code> en tu bucle de entrenamiento con el método <a href="https://huggingface.co/docs/accelerate/package_reference/accelerator#accelerate.Accelerator.backward" rel="nofollow"><code>backward</code></a> de 🤗 Accelerate:',se,Z,re,A,Ce="Como se puede ver en el siguiente código, ¡solo necesitas adicionar cuatro líneas de código a tu bucle de entrenamiento para habilitar el entrenamiento distribuido!",oe,W,ie,X,ce,v,Be="Una vez que hayas añadido las líneas de código relevantes, inicia el entrenamiento desde un script o notebook como Colaboratory.",pe,G,me,k,Ze="Si estás corriendo tu entrenamiento desde un script ejecuta el siguiente comando para crear y guardar un archivo de configuración:",Me,Y,de,_,Ae="Comienza el entrenamiento con:",ye,E,we,N,ue,V,We="🤗 Accelerate puede correr en un notebook si, por ejemplo, estás planeando utilizar las TPUs de Colaboratory. Encierra el código responsable del entrenamiento en una función y pásalo a <code>notebook_launcher</code>:",Je,R,je,x,Xe='Para obtener más información sobre 🤗 Accelerate y sus numerosas funciones, consulta la <a href="https://huggingface.co/docs/accelerate" rel="nofollow">documentación</a>.',Te,F,be;return J=new Q({props:{title:"Entrenamiento distribuido con 🤗 Accelerate",local:"entrenamiento-distribuido-con--accelerate",headingTag:"h1"}}),T=new Q({props:{title:"Configuración",local:"configuración",headingTag:"h2"}}),f=new u({props:{code:"cGlwJTIwaW5zdGFsbCUyMGFjY2VsZXJhdGU=",highlighted:"pip install accelerate",wrap:!1}}),h=new u({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

<span class="hljs-meta">&gt;&gt;&gt; </span>accelerator = Accelerator()`,wrap:!1}}),g=new Q({props:{title:"Prepárate para acelerar",local:"prepárate-para-acelerar",headingTag:"h2"}}),I=new u({props:{code:"dHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyQyUyMG1vZGVsJTJDJTIwb3B0aW1pemVyJTIwJTNEJTIwYWNjZWxlcmF0b3IucHJlcGFyZSglMEElMjAlMjAlMjAlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTJDJTIwbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMEEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>train_dataloader, eval_dataloader, model, optimizer = accelerator.prepare(
<span class="hljs-meta">... </span>    train_dataloader, eval_dataloader, model, optimizer
<span class="hljs-meta">... </span>)`,wrap:!1}}),C=new Q({props:{title:"Backward",local:"backward",headingTag:"h2"}}),Z=new u({props:{code:"Zm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RhdGFsb2FkZXIlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IuYmFja3dhcmQobG9zcyklMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuc3RlcCgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplci56ZXJvX2dyYWQoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHByb2dyZXNzX2Jhci51cGRhdGUoMSk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_epochs):
<span class="hljs-meta">... </span>    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
<span class="hljs-meta">... </span>        outputs = model(**batch)
<span class="hljs-meta">... </span>        loss = outputs.loss
<span class="hljs-meta">... </span>        accelerator.backward(loss)

<span class="hljs-meta">... </span>        optimizer.step()
<span class="hljs-meta">... </span>        lr_scheduler.step()
<span class="hljs-meta">... </span>        optimizer.zero_grad()
<span class="hljs-meta">... </span>        progress_bar.update(<span class="hljs-number">1</span>)`,wrap:!1}}),W=new u({props:{code:"JTJCJTIwZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUyMCUyMGZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBBZGFtVyUyQyUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMkMlMjBnZXRfc2NoZWR1bGVyJTBBJTBBJTJCJTIwYWNjZWxlcmF0b3IlMjAlM0QlMjBBY2NlbGVyYXRvcigpJTBBJTBBJTIwJTIwbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50JTJDJTIwbnVtX2xhYmVscyUzRDIpJTBBJTIwJTIwb3B0aW1pemVyJTIwJTNEJTIwQWRhbVcobW9kZWwucGFyYW1ldGVycygpJTJDJTIwbHIlM0QzZS01KSUwQSUwQS0lMjBkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEEtJTIwbW9kZWwudG8oZGV2aWNlKSUwQSUwQSUyQiUyMHRyYWluX2RhdGFsb2FkZXIlMkMlMjBldmFsX2RhdGFsb2FkZXIlMkMlMjBtb2RlbCUyQyUyMG9wdGltaXplciUyMCUzRCUyMGFjY2VsZXJhdG9yLnByZXBhcmUoJTBBJTJCJTIwJTIwJTIwJTIwJTIwdHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyQyUyMG1vZGVsJTJDJTIwb3B0aW1pemVyJTBBJTJCJTIwKSUwQSUwQSUyMCUyMG51bV9lcG9jaHMlMjAlM0QlMjAzJTBBJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX2Vwb2NocyUyMColMjBsZW4odHJhaW5fZGF0YWxvYWRlciklMEElMjAlMjBscl9zY2hlZHVsZXIlMjAlM0QlMjBnZXRfc2NoZWR1bGVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTBBJTIwJTIwKSUwQSUwQSUyMCUyMHByb2dyZXNzX2JhciUyMCUzRCUyMHRxZG0ocmFuZ2UobnVtX3RyYWluaW5nX3N0ZXBzKSklMEElMEElMjAlMjBtb2RlbC50cmFpbigpJTBBJTIwJTIwZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RhdGFsb2FkZXIlM0ElMEEtJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2glMjAlM0QlMjAlN0JrJTNBJTIwdi50byhkZXZpY2UpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGJhdGNoLml0ZW1zKCklN0QlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBLSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvc3MuYmFja3dhcmQoKSUwQSUyQiUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEp",highlighted:`<span class="hljs-addition">+ from accelerate import Accelerator</span>
  from transformers import AdamW, AutoModelForSequenceClassification, get_scheduler

<span class="hljs-addition">+ accelerator = Accelerator()</span>

  model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)
  optimizer = AdamW(model.parameters(), lr=3e-5)

<span class="hljs-deletion">- device = torch.device(&quot;cuda&quot;) if torch.cuda.is_available() else torch.device(&quot;cpu&quot;)</span>
<span class="hljs-deletion">- model.to(device)</span>

<span class="hljs-addition">+ train_dataloader, eval_dataloader, model, optimizer = accelerator.prepare(</span>
<span class="hljs-addition">+     train_dataloader, eval_dataloader, model, optimizer</span>
<span class="hljs-addition">+ )</span>

  num_epochs = 3
  num_training_steps = num_epochs * len(train_dataloader)
  lr_scheduler = get_scheduler(
      &quot;linear&quot;,
      optimizer=optimizer,
      num_warmup_steps=0,
      num_training_steps=num_training_steps
  )

  progress_bar = tqdm(range(num_training_steps))

  model.train()
  for epoch in range(num_epochs):
      for batch in train_dataloader:
<span class="hljs-deletion">-         batch = {k: v.to(device) for k, v in batch.items()}</span>
          outputs = model(**batch)
          loss = outputs.loss
<span class="hljs-deletion">-         loss.backward()</span>
<span class="hljs-addition">+         accelerator.backward(loss)</span>

          optimizer.step()
          lr_scheduler.step()
          optimizer.zero_grad()
          progress_bar.update(1)`,wrap:!1}}),X=new Q({props:{title:"Entrenamiento",local:"entrenamiento",headingTag:"h2"}}),G=new Q({props:{title:"Entrenar con un script",local:"entrenar-con-un-script",headingTag:"h3"}}),Y=new u({props:{code:"YWNjZWxlcmF0ZSUyMGNvbmZpZw==",highlighted:"accelerate config",wrap:!1}}),E=new u({props:{code:"YWNjZWxlcmF0ZSUyMGxhdW5jaCUyMHRyYWluLnB5",highlighted:"accelerate launch train.py",wrap:!1}}),N=new Q({props:{title:"Entrenar con un notebook",local:"entrenar-con-un-notebook",headingTag:"h3"}}),R=new u({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBub3RlYm9va19sYXVuY2hlciUwQSUwQW5vdGVib29rX2xhdW5jaGVyKHRyYWluaW5nX2Z1bmN0aW9uKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> notebook_launcher

<span class="hljs-meta">&gt;&gt;&gt; </span>notebook_launcher(training_function)`,wrap:!1}}),{c(){w=M("meta"),H=n(),z=M("p"),S=n(),r(J.$$.fragment),P=n(),j=M("p"),j.innerHTML=Ue,K=n(),r(T.$$.fragment),L=n(),b=M("p"),b.textContent=he,q=n(),r(f.$$.fragment),D=n(),U=M("p"),U.innerHTML=ge,O=n(),r(h.$$.fragment),ee=n(),r(g.$$.fragment),te=n(),$=M("p"),$.innerHTML=$e,ae=n(),r(I.$$.fragment),le=n(),r(C.$$.fragment),ne=n(),B=M("p"),B.innerHTML=Ie,se=n(),r(Z.$$.fragment),re=n(),A=M("p"),A.textContent=Ce,oe=n(),r(W.$$.fragment),ie=n(),r(X.$$.fragment),ce=n(),v=M("p"),v.textContent=Be,pe=n(),r(G.$$.fragment),me=n(),k=M("p"),k.textContent=Ze,Me=n(),r(Y.$$.fragment),de=n(),_=M("p"),_.textContent=Ae,ye=n(),r(E.$$.fragment),we=n(),r(N.$$.fragment),ue=n(),V=M("p"),V.innerHTML=We,Je=n(),r(R.$$.fragment),je=n(),x=M("p"),x.innerHTML=Xe,Te=n(),F=M("p"),this.h()},l(e){const t=Ve("svelte-u9bgzb",document.head);w=d(t,"META",{name:!0,content:!0}),t.forEach(a),H=s(e),z=d(e,"P",{}),ve(z).forEach(a),S=s(e),o(J.$$.fragment,e),P=s(e),j=d(e,"P",{"data-svelte-h":!0}),y(j)!=="svelte-gsqkro"&&(j.innerHTML=Ue),K=s(e),o(T.$$.fragment,e),L=s(e),b=d(e,"P",{"data-svelte-h":!0}),y(b)!=="svelte-10vdwc7"&&(b.textContent=he),q=s(e),o(f.$$.fragment,e),D=s(e),U=d(e,"P",{"data-svelte-h":!0}),y(U)!=="svelte-h27ljr"&&(U.innerHTML=ge),O=s(e),o(h.$$.fragment,e),ee=s(e),o(g.$$.fragment,e),te=s(e),$=d(e,"P",{"data-svelte-h":!0}),y($)!=="svelte-18shtua"&&($.innerHTML=$e),ae=s(e),o(I.$$.fragment,e),le=s(e),o(C.$$.fragment,e),ne=s(e),B=d(e,"P",{"data-svelte-h":!0}),y(B)!=="svelte-s1kttw"&&(B.innerHTML=Ie),se=s(e),o(Z.$$.fragment,e),re=s(e),A=d(e,"P",{"data-svelte-h":!0}),y(A)!=="svelte-hqe2mt"&&(A.textContent=Ce),oe=s(e),o(W.$$.fragment,e),ie=s(e),o(X.$$.fragment,e),ce=s(e),v=d(e,"P",{"data-svelte-h":!0}),y(v)!=="svelte-o7k00x"&&(v.textContent=Be),pe=s(e),o(G.$$.fragment,e),me=s(e),k=d(e,"P",{"data-svelte-h":!0}),y(k)!=="svelte-12guh7h"&&(k.textContent=Ze),Me=s(e),o(Y.$$.fragment,e),de=s(e),_=d(e,"P",{"data-svelte-h":!0}),y(_)!=="svelte-d4zz74"&&(_.textContent=Ae),ye=s(e),o(E.$$.fragment,e),we=s(e),o(N.$$.fragment,e),ue=s(e),V=d(e,"P",{"data-svelte-h":!0}),y(V)!=="svelte-18d6lv"&&(V.innerHTML=We),Je=s(e),o(R.$$.fragment,e),je=s(e),x=d(e,"P",{"data-svelte-h":!0}),y(x)!=="svelte-zuhnw8"&&(x.innerHTML=Xe),Te=s(e),F=d(e,"P",{}),ve(F).forEach(a),this.h()},h(){Ge(w,"name","hf:doc:metadata"),Ge(w,"content",Qe)},m(e,t){Re(document.head,w),l(e,H,t),l(e,z,t),l(e,S,t),i(J,e,t),l(e,P,t),l(e,j,t),l(e,K,t),i(T,e,t),l(e,L,t),l(e,b,t),l(e,q,t),i(f,e,t),l(e,D,t),l(e,U,t),l(e,O,t),i(h,e,t),l(e,ee,t),i(g,e,t),l(e,te,t),l(e,$,t),l(e,ae,t),i(I,e,t),l(e,le,t),i(C,e,t),l(e,ne,t),l(e,B,t),l(e,se,t),i(Z,e,t),l(e,re,t),l(e,A,t),l(e,oe,t),i(W,e,t),l(e,ie,t),i(X,e,t),l(e,ce,t),l(e,v,t),l(e,pe,t),i(G,e,t),l(e,me,t),l(e,k,t),l(e,Me,t),i(Y,e,t),l(e,de,t),l(e,_,t),l(e,ye,t),i(E,e,t),l(e,we,t),i(N,e,t),l(e,ue,t),l(e,V,t),l(e,Je,t),i(R,e,t),l(e,je,t),l(e,x,t),l(e,Te,t),l(e,F,t),be=!0},p:Ye,i(e){be||(c(J.$$.fragment,e),c(T.$$.fragment,e),c(f.$$.fragment,e),c(h.$$.fragment,e),c(g.$$.fragment,e),c(I.$$.fragment,e),c(C.$$.fragment,e),c(Z.$$.fragment,e),c(W.$$.fragment,e),c(X.$$.fragment,e),c(G.$$.fragment,e),c(Y.$$.fragment,e),c(E.$$.fragment,e),c(N.$$.fragment,e),c(R.$$.fragment,e),be=!0)},o(e){p(J.$$.fragment,e),p(T.$$.fragment,e),p(f.$$.fragment,e),p(h.$$.fragment,e),p(g.$$.fragment,e),p(I.$$.fragment,e),p(C.$$.fragment,e),p(Z.$$.fragment,e),p(W.$$.fragment,e),p(X.$$.fragment,e),p(G.$$.fragment,e),p(Y.$$.fragment,e),p(E.$$.fragment,e),p(N.$$.fragment,e),p(R.$$.fragment,e),be=!1},d(e){e&&(a(H),a(z),a(S),a(P),a(j),a(K),a(L),a(b),a(q),a(D),a(U),a(O),a(ee),a(te),a($),a(ae),a(le),a(ne),a(B),a(se),a(re),a(A),a(oe),a(ie),a(ce),a(v),a(pe),a(me),a(k),a(Me),a(de),a(_),a(ye),a(we),a(ue),a(V),a(Je),a(je),a(x),a(Te),a(F)),a(w),m(J,e),m(T,e),m(f,e),m(h,e),m(g,e),m(I,e),m(C,e),m(Z,e),m(W,e),m(X,e),m(G,e),m(Y,e),m(E,e),m(N,e),m(R,e)}}}const Qe='{"title":"Entrenamiento distribuido con 🤗 Accelerate","local":"entrenamiento-distribuido-con--accelerate","sections":[{"title":"Configuración","local":"configuración","sections":[],"depth":2},{"title":"Prepárate para acelerar","local":"prepárate-para-acelerar","sections":[],"depth":2},{"title":"Backward","local":"backward","sections":[],"depth":2},{"title":"Entrenamiento","local":"entrenamiento","sections":[{"title":"Entrenar con un script","local":"entrenar-con-un-script","sections":[],"depth":3},{"title":"Entrenar con un notebook","local":"entrenar-con-un-notebook","sections":[],"depth":3}],"depth":2}],"depth":1}';function ze(fe){return _e(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ke extends Ee{constructor(w){super(),Ne(this,w,ze,xe,ke,{})}}export{Ke as component};
