import{s as is,a as rs,o as ps,n as Ma}from"../chunks/scheduler.893fe8c9.js";import{S as cs,i as us,e as U,s as r,c as d,h as Ms,a as f,d as a,b as p,f as wt,g as y,j,k as Ne,l as os,m as s,n as J,o as M,D as cl,t as u,p as T,y as as,E as ul}from"../chunks/index.6ee278c6.js";import{T as Ml}from"../chunks/Tip.eab0255c.js";import{C as ms,H as fa,E as ds}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.ea3ad860.js";import{Y as Ut}from"../chunks/Youtube.59d04f41.js";import{C}from"../chunks/CodeBlock.8bdd5f33.js";import{C as ns}from"../chunks/CourseFloatingBanner.c25cfa5e.js";import{F as ys}from"../chunks/FrameworkSwitchCourse.77a18d50.js";function Js(I){let t,c;return t=new ns({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_tf.ipynb"}]}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function Ts(I){let t,c;return t=new ns({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_pt.ipynb"}]}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function ws(I){let t,c="Preantrenarea modelului de limbaj va dura ceva timp. Vă sugerăm să rulați mai întâi bucla de antrenare pe un sample de date prin decomentarea celor două linii parțiale de mai sus și să vă asigurați că antrenarea se finalizează cu succes și că modelele sunt stocate. Nimic nu este mai frustrant decât o rulare de antrenare care eșuează la ultimul pas pentru că ați uitat să creați un folder sau pentru că există o greșeală de tipar la sfârșitul buclei de antrenare!";return{c(){t=U("p"),t.textContent=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-p87iwd"&&(t.textContent=c)},m(n,o){s(n,t,o)},p:Ma,d(n){n&&a(t)}}}function Us(I){let t,c="✏️ <strong>Încercați!</strong> Eliminarea tuturor bucăților care sunt mai mici decât dimensiunea contextului nu a fost o problemă majoră aici, deoarece folosim ferestre de context mici. Pe măsură ce creșteți dimensiunea contextului (sau dacă aveți un corpus de documente scurte), fracțiunea de segmente care sunt aruncate va crește și ea. O modalitate mai eficientă de a pregăti datele este de a uni toate sampleurile tokenizate într-un batch cu un token <code>eos_token_id</code> între ele, iar apoi de a efectua chunkingul pe secvențele concatenate. Ca exercițiu, modificați funcția <code>tokenize()</code> pentru a utiliza această abordare. Rețineți că veți dori să setați <code>truncation=False</code> și să eliminați celelalte argumente din tokenizer pentru a obține secvența completă de token IDs.";return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-13vype2"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},p:Ma,d(n){n&&a(t)}}}function fs(I){let t,c,n,o="Cu această configurație, putem încărca un nou model. Rețineți că aceasta este prima dată când nu folosim funcția <code>from_pretrained()</code>, deoarece inițializăm noi înșine un model:",_,h,$,k,Z;return t=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBURkdQVDJMTUhlYWRNb2RlbCUyQyUyMEF1dG9Db25maWclMEElMEFjb25maWclMjAlM0QlMjBBdXRvQ29uZmlnLmZyb21fcHJldHJhaW5lZCglMEElMjAlMjAlMjAlMjAlMjJncHQyJTIyJTJDJTBBJTIwJTIwJTIwJTIwdm9jYWJfc2l6ZSUzRGxlbih0b2tlbml6ZXIpJTJDJTBBJTIwJTIwJTIwJTIwbl9jdHglM0Rjb250ZXh0X2xlbmd0aCUyQyUwQSUyMCUyMCUyMCUyMGJvc190b2tlbl9pZCUzRHRva2VuaXplci5ib3NfdG9rZW5faWQlMkMlMEElMjAlMjAlMjAlMjBlb3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuZW9zX3Rva2VuX2lkJTJDJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFGPT2LMHeadModel, AutoConfig

config = AutoConfig.from_pretrained(
    <span class="hljs-string">&quot;gpt2&quot;</span>,
    vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
    n_ctx=context_length,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),h=new C({props:{code:"bW9kZWwlMjAlM0QlMjBURkdQVDJMTUhlYWRNb2RlbChjb25maWcpJTBBbW9kZWwobW9kZWwuZHVtbXlfaW5wdXRzKSUyMCUyMCUyMyUyMEJ1aWxkcyUyMHRoZSUyMG1vZGVsJTBBbW9kZWwuc3VtbWFyeSgp",highlighted:`model = TFGPT2LMHeadModel(config)
model(model.dummy_inputs)  <span class="hljs-comment"># Builds the model</span>
model.summary()`,wrap:!1}}),k=new C({props:{code:"X19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX18lMEFMYXllciUyMCh0eXBlKSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyME91dHB1dCUyMFNoYXBlJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwUGFyYW0lMjAlMjMlMjAlMjAlMjAlMEElM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlMEF0cmFuc2Zvcm1lciUyMChURkdQVDJNYWluTGF5ZXIlMjBtdWx0aXBsZSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDEyNDI0MjQzMiUyMCUwQSUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUwQVRvdGFsJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBVHJhaW5hYmxlJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBTm9uLXRyYWluYWJsZSUyMHBhcmFtcyUzQSUyMDAlMEFfX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXw==",highlighted:`_________________________________________________________________
Layer (<span class="hljs-built_in">type</span>)                 Output Shape              Param <span class="hljs-comment">#   </span>
=================================================================
transformer (TFGPT2MainLayer multiple                  <span class="hljs-number">124242432</span> 
=================================================================
Total params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Trainable params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Non-trainable params: <span class="hljs-number">0</span>
_________________________________________________________________`,wrap:!1}}),{c(){d(t.$$.fragment),c=r(),n=U("p"),n.innerHTML=o,_=r(),d(h.$$.fragment),$=r(),d(k.$$.fragment)},l(w){y(t.$$.fragment,w),c=p(w),n=f(w,"P",{"data-svelte-h":!0}),j(n)!=="svelte-z2ph3y"&&(n.innerHTML=o),_=p(w),y(h.$$.fragment,w),$=p(w),y(k.$$.fragment,w)},m(w,b){J(t,w,b),s(w,c,b),s(w,n,b),s(w,_,b),J(h,w,b),s(w,$,b),J(k,w,b),Z=!0},i(w){Z||(u(t.$$.fragment,w),u(h.$$.fragment,w),u(k.$$.fragment,w),Z=!0)},o(w){M(t.$$.fragment,w),M(h.$$.fragment,w),M(k.$$.fragment,w),Z=!1},d(w){w&&(a(c),a(n),a(_),a($)),T(t,w),T(h,w),T(k,w)}}}function js(I){let t,c,n,o="Cu această configurație, putem încărca un nou model. Rețineți că aceasta este prima dată când nu folosim funcția <code>from_pretrained()</code>, deoarece inițializăm noi înșine un model:",_,h,$,k,Z;return t=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBHUFQyTE1IZWFkTW9kZWwlMkMlMjBBdXRvQ29uZmlnJTBBJTBBY29uZmlnJTIwJTNEJTIwQXV0b0NvbmZpZy5mcm9tX3ByZXRyYWluZWQoJTBBJTIwJTIwJTIwJTIwJTIyZ3B0MiUyMiUyQyUwQSUyMCUyMCUyMCUyMHZvY2FiX3NpemUlM0RsZW4odG9rZW5pemVyKSUyQyUwQSUyMCUyMCUyMCUyMG5fY3R4JTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjBib3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuYm9zX3Rva2VuX2lkJTJDJTBBJTIwJTIwJTIwJTIwZW9zX3Rva2VuX2lkJTNEdG9rZW5pemVyLmVvc190b2tlbl9pZCUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, GPT2LMHeadModel, AutoConfig

config = AutoConfig.from_pretrained(
    <span class="hljs-string">&quot;gpt2&quot;</span>,
    vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
    n_ctx=context_length,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),h=new C({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKSUwQW1vZGVsX3NpemUlMjAlM0QlMjBzdW0odC5udW1lbCgpJTIwZm9yJTIwdCUyMGluJTIwbW9kZWwucGFyYW1ldGVycygpKSUwQXByaW50KGYlMjJHUFQtMiUyMHNpemUlM0ElMjAlN0Jtb2RlbF9zaXplJTJGMTAwMCoqMiUzQS4xZiU3RE0lMjBwYXJhbWV0ZXJzJTIyKQ==",highlighted:`model = GPT2LMHeadModel(config)
model_size = <span class="hljs-built_in">sum</span>(t.numel() <span class="hljs-keyword">for</span> t <span class="hljs-keyword">in</span> model.parameters())
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;GPT-2 size: <span class="hljs-subst">{model_size/<span class="hljs-number">1000</span>**<span class="hljs-number">2</span>:<span class="hljs-number">.1</span>f}</span>M parameters&quot;</span>)`,wrap:!1}}),k=new C({props:{code:"R1BULTIlMjBzaXplJTNBJTIwMTI0LjJNJTIwcGFyYW1ldGVycw==",highlighted:'GPT-<span class="hljs-number">2</span> size: <span class="hljs-number">124.2</span>M parameters',wrap:!1}}),{c(){d(t.$$.fragment),c=r(),n=U("p"),n.innerHTML=o,_=r(),d(h.$$.fragment),$=r(),d(k.$$.fragment)},l(w){y(t.$$.fragment,w),c=p(w),n=f(w,"P",{"data-svelte-h":!0}),j(n)!=="svelte-z2ph3y"&&(n.innerHTML=o),_=p(w),y(h.$$.fragment,w),$=p(w),y(k.$$.fragment,w)},m(w,b){J(t,w,b),s(w,c,b),s(w,n,b),s(w,_,b),J(h,w,b),s(w,$,b),J(k,w,b),Z=!0},i(w){Z||(u(t.$$.fragment,w),u(h.$$.fragment,w),u(k.$$.fragment,w),Z=!0)},o(w){M(t.$$.fragment,w),M(h.$$.fragment,w),M(k.$$.fragment,w),Z=!1},d(w){w&&(a(c),a(n),a(_),a($)),T(t,w),T(h,w),T(k,w)}}}function bs(I){let t,c;return t=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling

tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function hs(I){let t,c;return t=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling

tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>)`,wrap:!1}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function Cs(I){let t,c;return t=new C({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCklMEFhdHRlbnRpb25fbWFzayUyMHNoYXBlJTNBJTIwKDUlMkMlMjAxMjgpJTBBbGFiZWxzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCk=",highlighted:`input_ids shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
attention_mask shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
labels shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)`,wrap:!1}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function Is(I){let t,c;return t=new C({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjB0b3JjaC5TaXplKCU1QjUlMkMlMjAxMjglNUQpJTBBYXR0ZW50aW9uX21hc2slMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCklMEFsYWJlbHMlMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCk=",highlighted:`input_ids shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
attention_mask shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
labels shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])`,wrap:!1}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function ts(I){let t,c="Acum putem utiliza metoda <code>prepare_tf_dataset()</code> pentru a converti dataseturile noastre în dataseturi TensorFlow cu ajutorul data collatorului pe care l-am creat mai sus:",n,o,_;return o=new C({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMG1vZGVsLnByZXBhcmVfdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMGNvbGxhdGVfZm4lM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBiYXRjaF9zaXplJTNEMzIlMkMlMEEpJTBBdGZfZXZhbF9kYXRhc2V0JTIwJTNEJTIwbW9kZWwucHJlcGFyZV90Zl9kYXRhc2V0KCUwQSUyMCUyMCUyMCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNERmFsc2UlMkMlMEElMjAlMjAlMjAlMjBiYXRjaF9zaXplJTNEMzIlMkMlMEEp",highlighted:`tf_train_dataset = model.prepare_tf_dataset(
    tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">True</span>,
    batch_size=<span class="hljs-number">32</span>,
)
tf_eval_dataset = model.prepare_tf_dataset(
    tokenized_datasets[<span class="hljs-string">&quot;valid&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">False</span>,
    batch_size=<span class="hljs-number">32</span>,
)`,wrap:!1}}),{c(){t=U("p"),t.innerHTML=c,n=r(),d(o.$$.fragment)},l(h){t=f(h,"P",{"data-svelte-h":!0}),j(t)!=="svelte-43ysag"&&(t.innerHTML=c),n=p(h),y(o.$$.fragment,h)},m(h,$){s(h,t,$),s(h,n,$),J(o,h,$),_=!0},i(h){_||(u(o.$$.fragment,h),_=!0)},o(h){M(o.$$.fragment,h),_=!1},d(h){h&&(a(t),a(n)),T(o,h)}}}function _s(I){let t,c="⚠️ Schimbarea inputurilor și a labelurilor pentru a le alinia are loc în interiorul modelului, astfel încât data collatorului doar copiază inputurile pentru a crea labeluri.";return{c(){t=U("p"),t.textContent=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-19d3tgd"&&(t.textContent=c)},m(n,o){s(n,t,o)},p:Ma,d(n){n&&a(t)}}}function gs(I){let t,c="Tot ce rămâne de făcut este să configurați hiperparametrii de antrenament și să apelați <code>compile()</code> și <code>fit()</code>. Vom utiliza un program al learning rate cu un anumit warmup pentru a îmbunătăți stabilitatea antrenării:",n,o,_,h,$="Acum putem apela <code>model.fit()</code> și să așteptăm ca antrenarea să se încheie. În funcție de executarea antrenării pe întregul set de antrenarea sau pe un subset al acestuia, va dura 20 minute, sau respectiv 2 ore, așa că luați câteva cafeluțe și o carte bună de citit!",k,Z,w;return o=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGNyZWF0ZV9vcHRpbWl6ZXIlMEFpbXBvcnQlMjB0ZW5zb3JmbG93JTIwYXMlMjB0ZiUwQSUwQW51bV90cmFpbl9zdGVwcyUyMCUzRCUyMGxlbih0Zl90cmFpbl9kYXRhc2V0KSUwQW9wdGltaXplciUyQyUyMHNjaGVkdWxlJTIwJTNEJTIwY3JlYXRlX29wdGltaXplciglMEElMjAlMjAlMjAlMjBpbml0X2xyJTNENWUtNSUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QxXzAwMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbl9zdGVwcyUzRG51bV90cmFpbl9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheV9yYXRlJTNEMC4wMSUyQyUwQSklMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzRG9wdGltaXplciklMEElMEElMjMlMjBUcmFpbiUyMGluJTIwbWl4ZWQtcHJlY2lzaW9uJTIwZmxvYXQxNiUwQXRmLmtlcmFzLm1peGVkX3ByZWNpc2lvbi5zZXRfZ2xvYmFsX3BvbGljeSglMjJtaXhlZF9mbG9hdDE2JTIyKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> create_optimizer
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset)
optimizer, schedule = create_optimizer(
    init_lr=<span class="hljs-number">5e-5</span>,
    num_warmup_steps=<span class="hljs-number">1_000</span>,
    num_train_steps=num_train_steps,
    weight_decay_rate=<span class="hljs-number">0.01</span>,
)
model.<span class="hljs-built_in">compile</span>(optimizer=optimizer)

<span class="hljs-comment"># Train in mixed-precision float16</span>
tf.keras.mixed_precision.set_global_policy(<span class="hljs-string">&quot;mixed_float16&quot;</span>)`,wrap:!1}}),Z=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQWNhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2sob3V0cHV0X2RpciUzRCUyMmNvZGVwYXJyb3QtZHMlMjIlMkMlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIpJTBBJTBBbW9kZWwuZml0KHRmX3RyYWluX2RhdGFzZXQlMkMlMjB2YWxpZGF0aW9uX2RhdGElM0R0Zl9ldmFsX2RhdGFzZXQlMkMlMjBjYWxsYmFja3MlM0QlNUJjYWxsYmFjayU1RCk=",highlighted:`<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback

callback = PushToHubCallback(output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>, tokenizer=tokenizer)

model.fit(tf_train_dataset, validation_data=tf_eval_dataset, callbacks=[callback])`,wrap:!1}}),{c(){t=U("p"),t.innerHTML=c,n=r(),d(o.$$.fragment),_=r(),h=U("p"),h.innerHTML=$,k=r(),d(Z.$$.fragment)},l(b){t=f(b,"P",{"data-svelte-h":!0}),j(t)!=="svelte-1j77cli"&&(t.innerHTML=c),n=p(b),y(o.$$.fragment,b),_=p(b),h=f(b,"P",{"data-svelte-h":!0}),j(h)!=="svelte-yjf4w9"&&(h.innerHTML=$),k=p(b),y(Z.$$.fragment,b)},m(b,G){s(b,t,G),s(b,n,G),J(o,b,G),s(b,_,G),s(b,h,G),s(b,k,G),J(Z,b,G),w=!0},i(b){w||(u(o.$$.fragment,b),u(Z.$$.fragment,b),w=!0)},o(b){M(o.$$.fragment,b),M(Z.$$.fragment,b),w=!1},d(b){b&&(a(t),a(n),a(_),a(h),a(k)),T(o,b),T(Z,b)}}}function ks(I){let t,c="Tot ce a mai rămas de făcut este să configurăm argumentele de antrenare și să pornim <code>Trainer</code>-ul. Vom utiliza un cosine learning rate schedule cu un warmup și o dimensiune efectivă a batch-ului de 256 (<code>per_device_train_batch_size</code> * <code>gradient_accumulation_steps</code>). Acumularea gradientului este utilizată atunci când un singur batch nu încape în memorie și construiește treptat gradientul prin mai multe treceri înainte/înapoi. Vom vedea acest lucru în acțiune atunci când vom crea bucla de antrenare cu 🤗 Accelerate.",n,o,_,h,$="Acum putem doar să pornim <code>Trainer</code>-ul și să așteptăm ca antrenamentul să se termine. În funcție de executarea antrenării pe întregul set de antrenarea sau pe un subset al acestuia, va dura 20 minute, sau respectiv 2 ore, așa că luați câteva cafeluțe și o carte bună de citit!",k,Z,w,b,G="După finalizarea antrenării, putem trimite modelul și tokenizerul către Hub:",z,v,x;return o=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluZXIlMkMlMjBUcmFpbmluZ0FyZ3VtZW50cyUwQSUwQWFyZ3MlMjAlM0QlMjBUcmFpbmluZ0FyZ3VtZW50cyglMEElMjAlMjAlMjAlMjBvdXRwdXRfZGlyJTNEJTIyY29kZXBhcnJvdC1kcyUyMiUyQyUwQSUyMCUyMCUyMCUyMHBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDMyJTJDJTBBJTIwJTIwJTIwJTIwcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0QzMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWx1YXRpb25fc3RyYXRlZ3klM0QlMjJzdGVwcyUyMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWxfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGxvZ2dpbmdfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUzRDglMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fZXBvY2hzJTNEMSUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheSUzRDAuMSUyQyUwQSUyMCUyMCUyMCUyMHdhcm11cF9zdGVwcyUzRDFfMDAwJTJDJTBBJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyX3R5cGUlM0QlMjJjb3NpbmUlMjIlMkMlMEElMjAlMjAlMjAlMjBsZWFybmluZ19yYXRlJTNENWUtNCUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGZwMTYlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwcHVzaF90b19odWIlM0RUcnVlJTJDJTBBKSUwQSUwQXRyYWluZXIlMjAlM0QlMjBUcmFpbmVyKCUwQSUyMCUyMCUyMCUyMG1vZGVsJTNEbW9kZWwlMkMlMEElMjAlMjAlMjAlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMEElMjAlMjAlMjAlMjBhcmdzJTNEYXJncyUyQyUwQSUyMCUyMCUyMCUyMGRhdGFfY29sbGF0b3IlM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwdHJhaW5fZGF0YXNldCUzRHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwZXZhbF9kYXRhc2V0JTNEdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydmFsaWQlMjIlNUQlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Trainer, TrainingArguments

args = TrainingArguments(
    output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>,
    per_device_train_batch_size=<span class="hljs-number">32</span>,
    per_device_eval_batch_size=<span class="hljs-number">32</span>,
    evaluation_strategy=<span class="hljs-string">&quot;steps&quot;</span>,
    eval_steps=<span class="hljs-number">5_000</span>,
    logging_steps=<span class="hljs-number">5_000</span>,
    gradient_accumulation_steps=<span class="hljs-number">8</span>,
    num_train_epochs=<span class="hljs-number">1</span>,
    weight_decay=<span class="hljs-number">0.1</span>,
    warmup_steps=<span class="hljs-number">1_000</span>,
    lr_scheduler_type=<span class="hljs-string">&quot;cosine&quot;</span>,
    learning_rate=<span class="hljs-number">5e-4</span>,
    save_steps=<span class="hljs-number">5_000</span>,
    fp16=<span class="hljs-literal">True</span>,
    push_to_hub=<span class="hljs-literal">True</span>,
)

trainer = Trainer(
    model=model,
    tokenizer=tokenizer,
    args=args,
    data_collator=data_collator,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;valid&quot;</span>],
)`,wrap:!1}}),Z=new C({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:"trainer.train()",wrap:!1}}),v=new C({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yigp",highlighted:"trainer.push_to_hub()",wrap:!1}}),{c(){t=U("p"),t.innerHTML=c,n=r(),d(o.$$.fragment),_=r(),h=U("p"),h.innerHTML=$,k=r(),d(Z.$$.fragment),w=r(),b=U("p"),b.textContent=G,z=r(),d(v.$$.fragment)},l(g){t=f(g,"P",{"data-svelte-h":!0}),j(t)!=="svelte-eu8mmx"&&(t.innerHTML=c),n=p(g),y(o.$$.fragment,g),_=p(g),h=f(g,"P",{"data-svelte-h":!0}),j(h)!=="svelte-12i47r4"&&(h.innerHTML=$),k=p(g),y(Z.$$.fragment,g),w=p(g),b=f(g,"P",{"data-svelte-h":!0}),j(b)!=="svelte-xsga2g"&&(b.textContent=G),z=p(g),y(v.$$.fragment,g)},m(g,B){s(g,t,B),s(g,n,B),J(o,g,B),s(g,_,B),s(g,h,B),s(g,k,B),J(Z,g,B),s(g,w,B),s(g,b,B),s(g,z,B),J(v,g,B),x=!0},i(g){x||(u(o.$$.fragment,g),u(Z.$$.fragment,g),u(v.$$.fragment,g),x=!0)},o(g){M(o.$$.fragment,g),M(Z.$$.fragment,g),M(v.$$.fragment,g),x=!1},d(g){g&&(a(t),a(n),a(_),a(h),a(k),a(w),a(b),a(z)),T(o,g),T(Z,g),T(v,g)}}}function Zs(I){let t,c="✏️ <strong>Try it out!</strong> Ne-a luat doar aproximativ 30 de linii de cod în plus față de <code>TrainingArguments</code> pentru a ajunge de la texte brute la antrenarea GPT-2. Încercați antrenarea cu propriul dataset și vedeți dacă puteți obține rezultate bune!";return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-dc1g4b"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},p:Ma,d(n){n&&a(t)}}}function $s(I){let t,c='💡 Dacă aveți acces la un calculator cu mai multe GPU-uri, puteți încerca să utilizați un context <code>MirroredStrategy</code> pentru a accelera substanțial antrenarea. Va trebui să creați un obiect <code>tf.distribute.MirroredStrategy</code> și să vă asigurați că toate metodele <code>to_tf_dataset()</code> sau <code>prepare_tf_dataset()</code>, precum și crearea modelului și apelul la <code>fit()</code> sunt rulate în contextul său <code>scope()</code>. Puteți vedea documentația despre acest lucru [aici] (<a href="https://www.tensorflow.org/guide/distributed_training#use_tfdistributestrategy_with_keras_modelfit" rel="nofollow">https://www.tensorflow.org/guide/distributed_training#use_tfdistributestrategy_with_keras_modelfit</a>).';return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-ore127"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},d(n){n&&a(t)}}}function Gs(I){let t,c="💡 Dacă aveți acces la un calculator cu mai multe GPU-uri, încercați să rulați codul acolo. <code>Trainer</code> gestionează automat mai multe calculatoare, iar acest lucru poate accelera foarte mult antrenamentul.";return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-8jgqio"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},d(n){n&&a(t)}}}function Bs(I){let t;function c(_,h){return _[0]==="pt"?Gs:$s}let n=c(I),o=n(I);return{c(){o.c(),t=as()},l(_){o.l(_),t=as()},m(_,h){o.m(_,h),s(_,t,h)},p(_,h){n!==(n=c(_))&&(o.d(1),o=n(_),o&&(o.c(),o.m(t.parentNode,t)))},d(_){_&&a(t),o.d(_)}}}function vs(I){let t,c;return t=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBY291cnNlX21vZGVsJTIwJTNEJTIwVEZHUFQyTE1IZWFkTW9kZWwuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBY291cnNlX3Rva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBcGlwZSUyMCUzRCUyMHBpcGVsaW5lKCUwQSUyMCUyMCUyMCUyMCUyMnRleHQtZ2VuZXJhdGlvbiUyMiUyQyUyMG1vZGVsJTNEY291cnNlX21vZGVsJTJDJTIwdG9rZW5pemVyJTNEY291cnNlX3Rva2VuaXplciUyQyUyMGRldmljZSUzRDAlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

course_model = TFGPT2LMHeadModel.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
course_tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
pipe = pipeline(
    <span class="hljs-string">&quot;text-generation&quot;</span>, model=course_model, tokenizer=course_tokenizer, device=<span class="hljs-number">0</span>
)`,wrap:!1}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function zs(I){let t,c;return t=new C({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwcGlwZWxpbmUlMEElMEFkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEFwaXBlJTIwJTNEJTIwcGlwZWxpbmUoJTBBJTIwJTIwJTIwJTIwJTIydGV4dC1nZW5lcmF0aW9uJTIyJTJDJTIwbW9kZWwlM0QlMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzJTIyJTJDJTIwZGV2aWNlJTNEZGV2aWNlJTBBKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
pipe = pipeline(
    <span class="hljs-string">&quot;text-generation&quot;</span>, model=<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>, device=device
)`,wrap:!1}}),{c(){d(t.$$.fragment)},l(n){y(t.$$.fragment,n)},m(n,o){J(t,n,o),c=!0},i(n){c||(u(t.$$.fragment,n),c=!0)},o(n){M(t.$$.fragment,n),c=!1},d(n){T(t,n)}}}function Xs(I){let t,c="Privind aceste câteva exemple, se pare că modelul a învățat o parte din sintaxa Python data science stack(desigur, ar trebui să o evaluăm mai bine înainte de a implementa modelul în lumea reală). Cu toate acestea, uneori este nevoie de o mai mare personalizare a antrenării modelului pentru a obține performanța necesară pentru un anumit caz de utilizare. De exemplu, dacă am dori să actualizăm dinamic dimensiunea batch-ului sau să avem o buclă de antrenare condiționată care trece peste exemplele proaste din mers? O opțiune ar fi să facem subclass la <code>Trainer</code> și să adăugăm modificările necesare, dar uneori este mai simplu să scriem bucla de antrenare de la zero. Aici intervine 🤗 Accelerate.";return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-nvy9st"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},d(n){n&&a(t)}}}function Rs(I){let t,c="Privind la aceste câteva exemple, se pare că modelul a învățat o parte din sintaxa Python data science stack. Desigur, ar trebui să evaluăm modelul mai amănunțit înainte de a-l implementa în lumea reală, totuși acesta este un prototip impresionant.";return{c(){t=U("p"),t.textContent=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-1qyubca"&&(t.textContent=c)},m(n,o){s(n,t,o)},d(n){n&&a(t)}}}function ss(I){let t,c,n,o="Am văzut cum să antrenăm un model cu <code>Trainer</code>, care poate permite o anumită personalizare. Cu toate acestea, uneori dorim control deplin asupra buclei de antrenare sau dorim să facem unele schimbări exotice. În acest caz, 🤗 Accelerate este o alegere excelentă, iar în această secțiune vom parcurge pașii de utilizare a acestuia pentru a ne antrena modelul. Pentru a face lucrurile mai interesante, vom adăuga și un twist buclei de antrenare.",_,h,$,k,Z="Deoarece suntem interesați în principal de o autocompletare sensibilă pentru bibliotecile din domeniul data science, este logic să acordăm mai multă importanță exemplelor de antrenare care utilizează mai mult aceste biblioteci. Putem identifica cu ușurință aceste exemple prin utilizarea unor cuvinte-cheie precum <code>plt</code>, <code>pd</code>, <code>sk</code>, <code>fit</code> și <code>predict</code>, care sunt cele mai frecvente nume de import pentru <code>matplotlib.pyplot</code>, <code>pandas</code> și <code>sklearn</code>, precum și modelul fit/predict al acestora din urmă. Dacă acestea sunt reprezentate fiecare ca un singur simbol, putem verifica cu ușurință dacă apar în secvența de input. Tokenii pot avea un prefix de spațiu, deci vom verifica și aceste versiuni în vocabularul tokenizerului. Pentru a verifica dacă funcționează, vom adăuga un token de test care ar trebui să fie împărțit în mai mulți tokeni:",w,b,G,z,v,x,g="Grozav, se pare că funcționează bine! Acum putem scrie o funcție de pierdere personalizată care ia ca secvența de input, logurile și tokenii cheie pe care tocmai le-am selectat. În primul rând, trebuie să aliniem logurile și inputurile: secvența de intrare deplasată cu o unitate la dreapta formează labeluri, deoarece următorul tokenul este labelul pentru tokenul curent. Putem realiza acest lucru începând cu labelurile de la al doilea token al secvenței de intrare, deoarece modelul nu face o predicție pentru primul token în orice caz. Apoi tăiem ultimul logit, deoarece nu avem un label pentru tokenul care urmează secvenței complete de intrare. Astfel, putem calcula pierderea per sample și putem număra aparițiile tuturor cuvintelor-cheie în fiecare sample. În cele din urmă, calculăm media weighturilor pe fiecare sample folosind aparițiile ca weighturi. Deoarece nu dorim să eliminăm toate sampleurile care nu au cuvinte-cheie, adăugăm 1 la weighturi:",B,ke,Ae,V,ol="Înainte de a începe antrenamentul cu această nouă funcție de pierdere minunată, trebuie să pregătim câteva lucruri:",ae,Ze,ml="<li>Avem nevoie de dataloaders pentru a încărca datele în batch-uri.</li> <li>Trebuie să configurăm parametrii de scădere a weighturilor.</li> <li>Din când în când, dorim să evaluăm, astfel încât este logic să includem codul de evaluare într-o funcție.</li>",Q,$e,dl="Să începem cu dataloaders. Trebuie doar să setăm formatul datasetului la <code>&quot;torch&quot;</code>, iar apoi îl putem trece la un <code>DataLoader</code> PyTorch cu dimensiunea corespunzătoare a batch-lui:",te,Ge,Ee,N,yl="În continuare, grupăm parametrii astfel încât optimizatorul să știe care dintre aceștia vor primi o scădere suplimentară a weighturilor. De obicei, toți termenii weighturilor bias și LayerNorm sunt scutiți de acest lucru; iată cum putem face acest lucru:",se,Be,Ye,A,ja="Deoarece dorim să evaluăm modelul în mod regulat pe setul de validare în timpul antrenării, trebuie să scriem o funcție și pentru acest lucru. Aceasta rulează pur și simplu prin dataloaderul de evaluare și adună toate pierderile în cadrul proceselor:",Fe,E,He,Y,ba='Cu funcția <code>evaluate()</code> putem raporta pierderile și <a href="/course/chapter7/3">perplexitatea</a> la intervale regulate. În continuare, redefinim modelul nostru pentru a ne asigura că antrenăm din nou de la zero:',Se,F,De,H,Jl="Apoi putem defini optimizatorul nostru, folosind funcția de mai devreme pentru a împărți parametrii pentru scăderea weighturilor:",ne,ve,qe,S,Tl="Acum să pregătim modelul, optimizatorul și dataloaderurile, astfel încât să putem începe antrenamentul:",ie,ze,Le,D,Pe,q,wl="Acum că am trimis <code>train_dataloader</code> la <code>accelerator.prepare()</code>, putem utiliza lungimea acestuia pentru a calcula numărul de pași de antrenare. Rețineți că ar trebui să facem acest lucru întotdeauna după ce pregătim dataloaderurile, deoarece această metodă îi va modifica lungimea. Utilizăm un program liniar clasic de la rata de învățare la 0:",re,Xe,Ke,L,ha="În cele din urmă, pentru a trimite modelul nostru către Hub, va trebui să creăm un obiect <code>Repository</code> într-un folder de lucru. În primul rând, conectați-vă la Hugging Face Hub, dacă nu sunteți deja conectat. Vom determina numele repositoriului pornind de la ID-ul modelului pe care dorim să îl atribuim modelului nostru (nu ezitați să înlocuiți <code>repo_name</code> cu propria alegere; acesta trebuie doar să conțină numele vostru de utilizator, ceea ce face funcția <code>get_full_repo_name()</code>):",Oe,P,el,K,ll,W,Ul="Apoi putem clona acel repositoriu într-un folder local. Dacă există deja, acest folder local ar trebui să fie o clonă existentă a repositoriul cu care lucrăm:",pe,Re,al,O,fl="Acum putem încărca orice salvăm în <code>output_dir</code> prin apelarea metodei <code>repo.push_to_hub()</code>. Acest lucru ne va ajuta să încărcăm modelele intermediare la sfârșitul fiecărei epoci.",ce,ue,Qe="Înainte de antrenament, să efectuăm un test rapid pentru a vedea dacă funcția de evaluare funcționează corect:",jl,Me,oe,me,de,ye,We="Acestea sunt valori foarte ridicate pentru pierdere și perplexitate, dar acest lucru nu este surprinzător, deoarece nu am antrenat încă modelul. Astfel, avem totul pregătit pentru a scrie partea principală a scriptului de antrenare: bucla de antrenare. În bucla de antrenare, iterăm peste dataloader și transmitem batch-urile către model. Cu logurile, putem apoi evalua funcția noastră de pierdere personalizată. Redimensionăm pierderea în funcție de numărul de etape de acumulare a gradientului pentru a nu crea pierderi mai mari atunci când agregăm mai multe etape. Înainte de a optimiza, comprimăm, de asemenea, gradienții pentru o mai bună convergență. În cele din urmă, la fiecare câțiva pași, evaluăm modelul pe setul de evaluare cu noua noastră funcție <code>evaluate()</code>:",bl,Je,Te,xe,hl="Și asta e tot - acum aveți propria buclă de antrenare personalizată pentru modele de limbaj cauzal, cum ar fi GPT-2, pe care o puteți personaliza în continuare în funcție de nevoile voastre.",le,Ve,tl,ee,Cl;return t=new fa({props:{title:"Antrenarea cu 🤗 Accelerate",local:"training-with-accelerate",headingTag:"h2"}}),h=new Ut({props:{id:"Hm8_PgVTFuc"}}),b=new C({props:{code:"a2V5dG9rZW5faWRzJTIwJTNEJTIwJTVCJTVEJTBBZm9yJTIwa2V5d29yZCUyMGluJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIycGx0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIycGQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJzayUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmZpdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnByZWRpY3QlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwbHQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwZCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMiUyMHNrJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwZml0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwcHJlZGljdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnRlc3R0ZXN0JTIyJTJDJTBBJTVEJTNBJTBBJTIwJTIwJTIwJTIwaWRzJTIwJTNEJTIwdG9rZW5pemVyKCU1QmtleXdvcmQlNUQpLmlucHV0X2lkcyU1QjAlNUQlMEElMjAlMjAlMjAlMjBpZiUyMGxlbihpZHMpJTIwJTNEJTNEJTIwMSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGtleXRva2VuX2lkcy5hcHBlbmQoaWRzJTVCMCU1RCklMEElMjAlMjAlMjAlMjBlbHNlJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJpbnQoZiUyMktleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMCU3QmtleXdvcmQlN0QlMjIp",highlighted:`keytoken_ids = []
<span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> [
    <span class="hljs-string">&quot;plt&quot;</span>,
    <span class="hljs-string">&quot;pd&quot;</span>,
    <span class="hljs-string">&quot;sk&quot;</span>,
    <span class="hljs-string">&quot;fit&quot;</span>,
    <span class="hljs-string">&quot;predict&quot;</span>,
    <span class="hljs-string">&quot; plt&quot;</span>,
    <span class="hljs-string">&quot; pd&quot;</span>,
    <span class="hljs-string">&quot; sk&quot;</span>,
    <span class="hljs-string">&quot; fit&quot;</span>,
    <span class="hljs-string">&quot; predict&quot;</span>,
    <span class="hljs-string">&quot;testtest&quot;</span>,
]:
    ids = tokenizer([keyword]).input_ids[<span class="hljs-number">0</span>]
    <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(ids) == <span class="hljs-number">1</span>:
        keytoken_ids.append(ids[<span class="hljs-number">0</span>])
    <span class="hljs-keyword">else</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Keyword has not single token: <span class="hljs-subst">{keyword}</span>&quot;</span>)`,wrap:!1}}),z=new C({props:{code:"J0tleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMHRlc3R0ZXN0Jw==",highlighted:'<span class="hljs-string">&#x27;Keyword has not single token: testtest&#x27;</span>',wrap:!1}}),ke=new C({props:{code:"ZnJvbSUyMHRvcmNoLm5uJTIwaW1wb3J0JTIwQ3Jvc3NFbnRyb3B5TG9zcyUwQWltcG9ydCUyMHRvcmNoJTBBJTBBJTBBZGVmJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhpbnB1dHMlMkMlMjBsb2dpdHMlMkMlMjBrZXl0b2tlbl9pZHMlMkMlMjBhbHBoYSUzRDEuMCklM0ElMEElMjAlMjAlMjAlMjAlMjMlMjBTaGlmdCUyMHNvJTIwdGhhdCUyMHRva2VucyUyMCUzQyUyMG4lMjBwcmVkaWN0JTIwbiUwQSUyMCUyMCUyMCUyMHNoaWZ0X2xhYmVscyUyMCUzRCUyMGlucHV0cyU1Qi4uLiUyQyUyMDElM0ElNUQuY29udGlndW91cygpJTBBJTIwJTIwJTIwJTIwc2hpZnRfbG9naXRzJTIwJTNEJTIwbG9naXRzJTVCLi4uJTJDJTIwJTNBLTElMkMlMjAlM0ElNUQuY29udGlndW91cygpJTBBJTIwJTIwJTIwJTIwJTIzJTIwQ2FsY3VsYXRlJTIwcGVyLXRva2VuJTIwbG9zcyUwQSUyMCUyMCUyMCUyMGxvc3NfZmN0JTIwJTNEJTIwQ3Jvc3NFbnRyb3B5TG9zcyhyZWR1Y2UlM0RGYWxzZSklMEElMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwbG9zc19mY3Qoc2hpZnRfbG9naXRzLnZpZXcoLTElMkMlMjBzaGlmdF9sb2dpdHMuc2l6ZSgtMSkpJTJDJTIwc2hpZnRfbGFiZWxzLnZpZXcoLTEpKSUwQSUyMCUyMCUyMCUyMCUyMyUyMFJlc2l6ZSUyMGFuZCUyMGF2ZXJhZ2UlMjBsb3NzJTIwcGVyJTIwc2FtcGxlJTBBJTIwJTIwJTIwJTIwbG9zc19wZXJfc2FtcGxlJTIwJTNEJTIwbG9zcy52aWV3KHNoaWZ0X2xvZ2l0cy5zaXplKDApJTJDJTIwc2hpZnRfbG9naXRzLnNpemUoMSkpLm1lYW4oYXhpcyUzRDEpJTBBJTIwJTIwJTIwJTIwJTIzJTIwQ2FsY3VsYXRlJTIwYW5kJTIwc2NhbGUlMjB3ZWlnaHRpbmclMEElMjAlMjAlMjAlMjB3ZWlnaHRzJTIwJTNEJTIwdG9yY2guc3RhY2soJTVCKGlucHV0cyUyMCUzRCUzRCUyMGt0KS5mbG9hdCgpJTIwZm9yJTIwa3QlMjBpbiUyMGtleXRva2VuX2lkcyU1RCkuc3VtKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGF4aXMlM0QlNUIwJTJDJTIwMiU1RCUwQSUyMCUyMCUyMCUyMCklMEElMjAlMjAlMjAlMjB3ZWlnaHRzJTIwJTNEJTIwYWxwaGElMjAqJTIwKDEuMCUyMCUyQiUyMHdlaWdodHMpJTBBJTIwJTIwJTIwJTIwJTIzJTIwQ2FsY3VsYXRlJTIwd2VpZ2h0ZWQlMjBhdmVyYWdlJTBBJTIwJTIwJTIwJTIwd2VpZ2h0ZWRfbG9zcyUyMCUzRCUyMChsb3NzX3Blcl9zYW1wbGUlMjAqJTIwd2VpZ2h0cykubWVhbigpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwd2VpZ2h0ZWRfbG9zcw==",highlighted:`<span class="hljs-keyword">from</span> torch.nn <span class="hljs-keyword">import</span> CrossEntropyLoss
<span class="hljs-keyword">import</span> torch


<span class="hljs-keyword">def</span> <span class="hljs-title function_">keytoken_weighted_loss</span>(<span class="hljs-params">inputs, logits, keytoken_ids, alpha=<span class="hljs-number">1.0</span></span>):
    <span class="hljs-comment"># Shift so that tokens &lt; n predict n</span>
    shift_labels = inputs[..., <span class="hljs-number">1</span>:].contiguous()
    shift_logits = logits[..., :-<span class="hljs-number">1</span>, :].contiguous()
    <span class="hljs-comment"># Calculate per-token loss</span>
    loss_fct = CrossEntropyLoss(reduce=<span class="hljs-literal">False</span>)
    loss = loss_fct(shift_logits.view(-<span class="hljs-number">1</span>, shift_logits.size(-<span class="hljs-number">1</span>)), shift_labels.view(-<span class="hljs-number">1</span>))
    <span class="hljs-comment"># Resize and average loss per sample</span>
    loss_per_sample = loss.view(shift_logits.size(<span class="hljs-number">0</span>), shift_logits.size(<span class="hljs-number">1</span>)).mean(axis=<span class="hljs-number">1</span>)
    <span class="hljs-comment"># Calculate and scale weighting</span>
    weights = torch.stack([(inputs == kt).<span class="hljs-built_in">float</span>() <span class="hljs-keyword">for</span> kt <span class="hljs-keyword">in</span> keytoken_ids]).<span class="hljs-built_in">sum</span>(
        axis=[<span class="hljs-number">0</span>, <span class="hljs-number">2</span>]
    )
    weights = alpha * (<span class="hljs-number">1.0</span> + weights)
    <span class="hljs-comment"># Calculate weighted average</span>
    weighted_loss = (loss_per_sample * weights).mean()
    <span class="hljs-keyword">return</span> weighted_loss`,wrap:!1}}),Ge=new C({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGEuZGF0YWxvYWRlciUyMGltcG9ydCUyMERhdGFMb2FkZXIlMEElMEF0b2tlbml6ZWRfZGF0YXNldHMuc2V0X2Zvcm1hdCglMjJ0b3JjaCUyMiklMEF0cmFpbl9kYXRhbG9hZGVyJTIwJTNEJTIwRGF0YUxvYWRlcih0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUyQyUyMGJhdGNoX3NpemUlM0QzMiUyQyUyMHNodWZmbGUlM0RUcnVlKSUwQWV2YWxfZGF0YWxvYWRlciUyMCUzRCUyMERhdGFMb2FkZXIodG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydmFsaWQlMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMzIp",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data.dataloader <span class="hljs-keyword">import</span> DataLoader

tokenized_datasets.set_format(<span class="hljs-string">&quot;torch&quot;</span>)
train_dataloader = DataLoader(tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>], batch_size=<span class="hljs-number">32</span>, shuffle=<span class="hljs-literal">True</span>)
eval_dataloader = DataLoader(tokenized_datasets[<span class="hljs-string">&quot;valid&quot;</span>], batch_size=<span class="hljs-number">32</span>)`,wrap:!1}}),Be=new C({props:{code:"d2VpZ2h0X2RlY2F5JTIwJTNEJTIwMC4xJTBBJTBBJTBBZGVmJTIwZ2V0X2dyb3VwZWRfcGFyYW1zKG1vZGVsJTJDJTIwbm9fZGVjYXklM0QlNUIlMjJiaWFzJTIyJTJDJTIwJTIyTGF5ZXJOb3JtLndlaWdodCUyMiU1RCklM0ElMEElMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZCUyQyUyMHBhcmFtc193aXRob3V0X3dkJTIwJTNEJTIwJTVCJTVEJTJDJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbiUyQyUyMHAlMjBpbiUyMG1vZGVsLm5hbWVkX3BhcmFtZXRlcnMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55KG5kJTIwaW4lMjBuJTIwZm9yJTIwbmQlMjBpbiUyMG5vX2RlY2F5KSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBhcmFtc193aXRob3V0X3dkLmFwcGVuZChwKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsc2UlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZC5hcHBlbmQocCklMEElMjAlMjAlMjAlMjByZXR1cm4lMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlN0IlMjJwYXJhbXMlMjIlM0ElMjBwYXJhbXNfd2l0aF93ZCUyQyUyMCUyMndlaWdodF9kZWNheSUyMiUzQSUyMHdlaWdodF9kZWNheSU3RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3QiUyMnBhcmFtcyUyMiUzQSUyMHBhcmFtc193aXRob3V0X3dkJTJDJTIwJTIyd2VpZ2h0X2RlY2F5JTIyJTNBJTIwMC4wJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTVE",highlighted:`weight_decay = <span class="hljs-number">0.1</span>


<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_grouped_params</span>(<span class="hljs-params">model, no_decay=[<span class="hljs-string">&quot;bias&quot;</span>, <span class="hljs-string">&quot;LayerNorm.weight&quot;</span>]</span>):
    params_with_wd, params_without_wd = [], []
    <span class="hljs-keyword">for</span> n, p <span class="hljs-keyword">in</span> model.named_parameters():
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">any</span>(nd <span class="hljs-keyword">in</span> n <span class="hljs-keyword">for</span> nd <span class="hljs-keyword">in</span> no_decay):
            params_without_wd.append(p)
        <span class="hljs-keyword">else</span>:
            params_with_wd.append(p)
    <span class="hljs-keyword">return</span> [
        {<span class="hljs-string">&quot;params&quot;</span>: params_with_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: weight_decay},
        {<span class="hljs-string">&quot;params&quot;</span>: params_without_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: <span class="hljs-number">0.0</span>},
    ]`,wrap:!1}}),E=new C({props:{code:"ZGVmJTIwZXZhbHVhdGUoKSUzQSUwQSUyMCUyMCUyMCUyMG1vZGVsLmV2YWwoKSUwQSUyMCUyMCUyMCUyMGxvc3NlcyUyMCUzRCUyMCU1QiU1RCUwQSUyMCUyMCUyMCUyMGZvciUyMHN0ZXAlMkMlMjBiYXRjaCUyMGluJTIwZW51bWVyYXRlKGV2YWxfZGF0YWxvYWRlciklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3aXRoJTIwdG9yY2gubm9fZ3JhZCgpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3V0cHV0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEJTJDJTIwbGFiZWxzJTNEYmF0Y2glNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zc2VzLmFwcGVuZChhY2NlbGVyYXRvci5nYXRoZXIob3V0cHV0cy5sb3NzKSklMEElMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwdG9yY2gubWVhbih0b3JjaC5jYXQobG9zc2VzKSklMEElMjAlMjAlMjAlMjB0cnklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwZXJwbGV4aXR5JTIwJTNEJTIwdG9yY2guZXhwKGxvc3MpJTBBJTIwJTIwJTIwJTIwZXhjZXB0JTIwT3ZlcmZsb3dFcnJvciUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBlcnBsZXhpdHklMjAlM0QlMjBmbG9hdCglMjJpbmYlMjIpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbG9zcy5pdGVtKCklMkMlMjBwZXJwbGV4aXR5Lml0ZW0oKQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">evaluate</span>():
    model.<span class="hljs-built_in">eval</span>()
    losses = []
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(eval_dataloader):
        <span class="hljs-keyword">with</span> torch.no_grad():
            outputs = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], labels=batch[<span class="hljs-string">&quot;input_ids&quot;</span>])

        losses.append(accelerator.gather(outputs.loss))
    loss = torch.mean(torch.cat(losses))
    <span class="hljs-keyword">try</span>:
        perplexity = torch.exp(loss)
    <span class="hljs-keyword">except</span> OverflowError:
        perplexity = <span class="hljs-built_in">float</span>(<span class="hljs-string">&quot;inf&quot;</span>)
    <span class="hljs-keyword">return</span> loss.item(), perplexity.item()`,wrap:!1}}),F=new C({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKQ==",highlighted:"model = GPT2LMHeadModel(config)",wrap:!1}}),ve=new C({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhnZXRfZ3JvdXBlZF9wYXJhbXMobW9kZWwpJTJDJTIwbHIlM0Q1ZS00KQ==",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

optimizer = AdamW(get_grouped_params(model), lr=<span class="hljs-number">5e-4</span>)`,wrap:!1}}),ze=new C({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoZnAxNiUzRFRydWUpJTBBJTBBbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMkMlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwYWNjZWxlcmF0b3IucHJlcGFyZSglMEElMjAlMjAlMjAlMjBtb2RlbCUyQyUyMG9wdGltaXplciUyQyUyMHRyYWluX2RhdGFsb2FkZXIlMkMlMjBldmFsX2RhdGFsb2FkZXIlMEEp",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

accelerator = Accelerator(fp16=<span class="hljs-literal">True</span>)

model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
    model, optimizer, train_dataloader, eval_dataloader
)`,wrap:!1}}),D=new Ml({props:{$$slots:{default:[Qs]},$$scope:{ctx:I}}}),Xe=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fdHJhaW5fZXBvY2hzJTIwJTNEJTIwMSUwQW51bV91cGRhdGVfc3RlcHNfcGVyX2Vwb2NoJTIwJTNEJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX3RyYWluX2Vwb2NocyUyMColMjBudW1fdXBkYXRlX3N0ZXBzX3Blcl9lcG9jaCUwQSUwQWxyX3NjaGVkdWxlciUyMCUzRCUyMGdldF9zY2hlZHVsZXIoJTBBJTIwJTIwJTIwJTIwbmFtZSUzRCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QxXzAwMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbmluZ19zdGVwcyUzRG51bV90cmFpbmluZ19zdGVwcyUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

num_train_epochs = <span class="hljs-number">1</span>
num_update_steps_per_epoch = <span class="hljs-built_in">len</span>(train_dataloader)
num_training_steps = num_train_epochs * num_update_steps_per_epoch

lr_scheduler = get_scheduler(
    name=<span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">1_000</span>,
    num_training_steps=num_training_steps,
)`,wrap:!1}}),P=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMFJlcG9zaXRvcnklMkMlMjBnZXRfZnVsbF9yZXBvX25hbWUlMEElMEFtb2RlbF9uYW1lJTIwJTNEJTIwJTIyY29kZXBhcnJvdC1kcy1hY2NlbGVyYXRlJTIyJTBBcmVwb19uYW1lJTIwJTNEJTIwZ2V0X2Z1bGxfcmVwb19uYW1lKG1vZGVsX25hbWUpJTBBcmVwb19uYW1l",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> Repository, get_full_repo_name

model_name = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo_name = get_full_repo_name(model_name)
repo_name`,wrap:!1}}),K=new C({props:{code:"J3NndWdnZXIlMkZjb2RlcGFycm90LWRzLWFjY2VsZXJhdGUn",highlighted:'<span class="hljs-string">&#x27;sgugger/codeparrot-ds-accelerate&#x27;</span>',wrap:!1}}),Re=new C({props:{code:"b3V0cHV0X2RpciUyMCUzRCUyMCUyMmNvZGVwYXJyb3QtZHMtYWNjZWxlcmF0ZSUyMiUwQXJlcG8lMjAlM0QlMjBSZXBvc2l0b3J5KG91dHB1dF9kaXIlMkMlMjBjbG9uZV9mcm9tJTNEcmVwb19uYW1lKQ==",highlighted:`output_dir = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo = Repository(output_dir, clone_from=repo_name)`,wrap:!1}}),Me=new C({props:{code:"ZXZhbHVhdGUoKQ==",highlighted:"evaluate()",wrap:!1}}),me=new C({props:{code:"KDEwLjkzNDEyNjg1Mzk0Mjg3MSUyQyUyMDU2MDU3LjE0NDUzMTI1KQ==",highlighted:'(<span class="hljs-number">10.934126853942871</span>, <span class="hljs-number">56057.14453125</span>)',wrap:!1}}),Je=new C({props:{code:"ZnJvbSUyMHRxZG0ubm90ZWJvb2slMjBpbXBvcnQlMjB0cWRtJTBBJTBBZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTIwJTNEJTIwOCUwQWV2YWxfc3RlcHMlMjAlM0QlMjA1XzAwMCUwQSUwQW1vZGVsLnRyYWluKCklMEFjb21wbGV0ZWRfc3RlcHMlMjAlM0QlMjAwJTBBZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV90cmFpbl9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwc3RlcCUyQyUyMGJhdGNoJTIwaW4lMjB0cWRtKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVudW1lcmF0ZSh0cmFpbl9kYXRhbG9hZGVyJTJDJTIwc3RhcnQlM0QxKSUyQyUyMHRvdGFsJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTBBJTIwJTIwJTIwJTIwKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvZ2l0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEKS5sb2dpdHMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhiYXRjaCU1QiUyMmlucHV0X2lkcyUyMiU1RCUyQyUyMGxvZ2l0cyUyQyUyMGtleXRva2VuX2lkcyklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMHN0ZXAlMjAlMjUlMjAxMDAlMjAlM0QlM0QlMjAwJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IucHJpbnQoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIyc2FtcGxlcyUyMiUzQSUyMHN0ZXAlMjAqJTIwc2FtcGxlc19wZXJfc3RlcCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnN0ZXBzJTIyJTNBJTIwY29tcGxldGVkX3N0ZXBzJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIybG9zcyUyRnRyYWluJTIyJTNBJTIwbG9zcy5pdGVtKCklMjAqJTIwZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdEJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvc3MlMjAlM0QlMjBsb3NzJTIwJTJGJTIwZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IuYmFja3dhcmQobG9zcyklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMHN0ZXAlMjAlMjUlMjBncmFkaWVudF9hY2N1bXVsYXRpb25fc3RlcHMlMjAlM0QlM0QlMjAwJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IuY2xpcF9ncmFkX25vcm1fKG1vZGVsLnBhcmFtZXRlcnMoKSUyQyUyMDEuMCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuc3RlcCgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplci56ZXJvX2dyYWQoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNvbXBsZXRlZF9zdGVwcyUyMCUyQiUzRCUyMDElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMChzdGVwJTIwJTI1JTIwKGV2YWxfc3RlcHMlMjAqJTIwZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzKSklMjAlM0QlM0QlMjAwJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZXZhbF9sb3NzJTJDJTIwcGVycGxleGl0eSUyMCUzRCUyMGV2YWx1YXRlKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBhY2NlbGVyYXRvci5wcmludCglN0IlMjJsb3NzJTJGZXZhbCUyMiUzQSUyMGV2YWxfbG9zcyUyQyUyMCUyMnBlcnBsZXhpdHklMjIlM0ElMjBwZXJwbGV4aXR5JTdEKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG1vZGVsLnRyYWluKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBhY2NlbGVyYXRvci53YWl0X2Zvcl9ldmVyeW9uZSgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdW53cmFwcGVkX21vZGVsJTIwJTNEJTIwYWNjZWxlcmF0b3IudW53cmFwX21vZGVsKG1vZGVsKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHVud3JhcHBlZF9tb2RlbC5zYXZlX3ByZXRyYWluZWQob3V0cHV0X2RpciUyQyUyMHNhdmVfZnVuY3Rpb24lM0RhY2NlbGVyYXRvci5zYXZlKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYWNjZWxlcmF0b3IuaXNfbWFpbl9wcm9jZXNzJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdG9rZW5pemVyLnNhdmVfcHJldHJhaW5lZChvdXRwdXRfZGlyKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHJlcG8ucHVzaF90b19odWIoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwY29tbWl0X21lc3NhZ2UlM0RmJTIyVHJhaW5pbmclMjBpbiUyMHByb2dyZXNzJTIwc3RlcCUyMCU3QnN0ZXAlN0QlMjIlMkMlMjBibG9ja2luZyUzREZhbHNlJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwKQ==",highlighted:`<span class="hljs-keyword">from</span> tqdm.notebook <span class="hljs-keyword">import</span> tqdm

gradient_accumulation_steps = <span class="hljs-number">8</span>
eval_steps = <span class="hljs-number">5_000</span>

model.train()
completed_steps = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_train_epochs):
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> tqdm(
        <span class="hljs-built_in">enumerate</span>(train_dataloader, start=<span class="hljs-number">1</span>), total=num_training_steps
    ):
        logits = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>]).logits
        loss = keytoken_weighted_loss(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], logits, keytoken_ids)
        <span class="hljs-keyword">if</span> step % <span class="hljs-number">100</span> == <span class="hljs-number">0</span>:
            accelerator.<span class="hljs-built_in">print</span>(
                {
                    <span class="hljs-string">&quot;samples&quot;</span>: step * samples_per_step,
                    <span class="hljs-string">&quot;steps&quot;</span>: completed_steps,
                    <span class="hljs-string">&quot;loss/train&quot;</span>: loss.item() * gradient_accumulation_steps,
                }
            )
        loss = loss / gradient_accumulation_steps
        accelerator.backward(loss)
        <span class="hljs-keyword">if</span> step % gradient_accumulation_steps == <span class="hljs-number">0</span>:
            accelerator.clip_grad_norm_(model.parameters(), <span class="hljs-number">1.0</span>)
            optimizer.step()
            lr_scheduler.step()
            optimizer.zero_grad()
            completed_steps += <span class="hljs-number">1</span>
        <span class="hljs-keyword">if</span> (step % (eval_steps * gradient_accumulation_steps)) == <span class="hljs-number">0</span>:
            eval_loss, perplexity = evaluate()
            accelerator.<span class="hljs-built_in">print</span>({<span class="hljs-string">&quot;loss/eval&quot;</span>: eval_loss, <span class="hljs-string">&quot;perplexity&quot;</span>: perplexity})
            model.train()
            accelerator.wait_for_everyone()
            unwrapped_model = accelerator.unwrap_model(model)
            unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)
            <span class="hljs-keyword">if</span> accelerator.is_main_process:
                tokenizer.save_pretrained(output_dir)
                repo.push_to_hub(
                    commit_message=<span class="hljs-string">f&quot;Training in progress step <span class="hljs-subst">{step}</span>&quot;</span>, blocking=<span class="hljs-literal">False</span>
                )`,wrap:!1}}),Ve=new Ml({props:{$$slots:{default:[Ws]},$$scope:{ctx:I}}}),ee=new Ml({props:{$$slots:{default:[xs]},$$scope:{ctx:I}}}),{c(){d(t.$$.fragment),c=r(),n=U("p"),n.innerHTML=o,_=r(),d(h.$$.fragment),$=r(),k=U("p"),k.innerHTML=Z,w=r(),d(b.$$.fragment),G=r(),d(z.$$.fragment),v=r(),x=U("p"),x.textContent=g,B=r(),d(ke.$$.fragment),Ae=r(),V=U("p"),V.textContent=ol,ae=r(),Ze=U("ul"),Ze.innerHTML=ml,Q=r(),$e=U("p"),$e.innerHTML=dl,te=r(),d(Ge.$$.fragment),Ee=r(),N=U("p"),N.textContent=yl,se=r(),d(Be.$$.fragment),Ye=r(),A=U("p"),A.textContent=ja,Fe=r(),d(E.$$.fragment),He=r(),Y=U("p"),Y.innerHTML=ba,Se=r(),d(F.$$.fragment),De=r(),H=U("p"),H.textContent=Jl,ne=r(),d(ve.$$.fragment),qe=r(),S=U("p"),S.textContent=Tl,ie=r(),d(ze.$$.fragment),Le=r(),d(D.$$.fragment),Pe=r(),q=U("p"),q.innerHTML=wl,re=r(),d(Xe.$$.fragment),Ke=r(),L=U("p"),L.innerHTML=ha,Oe=r(),d(P.$$.fragment),el=r(),d(K.$$.fragment),ll=r(),W=U("p"),W.textContent=Ul,pe=r(),d(Re.$$.fragment),al=r(),O=U("p"),O.innerHTML=fl,ce=r(),ue=U("p"),ue.textContent=Qe,jl=r(),d(Me.$$.fragment),oe=r(),d(me.$$.fragment),de=r(),ye=U("p"),ye.innerHTML=We,bl=r(),d(Je.$$.fragment),Te=r(),xe=U("p"),xe.textContent=hl,le=r(),d(Ve.$$.fragment),tl=r(),d(ee.$$.fragment)},l(l){y(t.$$.fragment,l),c=p(l),n=f(l,"P",{"data-svelte-h":!0}),j(n)!=="svelte-1deq73f"&&(n.innerHTML=o),_=p(l),y(h.$$.fragment,l),$=p(l),k=f(l,"P",{"data-svelte-h":!0}),j(k)!=="svelte-10sbmjw"&&(k.innerHTML=Z),w=p(l),y(b.$$.fragment,l),G=p(l),y(z.$$.fragment,l),v=p(l),x=f(l,"P",{"data-svelte-h":!0}),j(x)!=="svelte-1ciqxzg"&&(x.textContent=g),B=p(l),y(ke.$$.fragment,l),Ae=p(l),V=f(l,"P",{"data-svelte-h":!0}),j(V)!=="svelte-1gweezu"&&(V.textContent=ol),ae=p(l),Ze=f(l,"UL",{"data-svelte-h":!0}),j(Ze)!=="svelte-w4uvxk"&&(Ze.innerHTML=ml),Q=p(l),$e=f(l,"P",{"data-svelte-h":!0}),j($e)!=="svelte-ham5e0"&&($e.innerHTML=dl),te=p(l),y(Ge.$$.fragment,l),Ee=p(l),N=f(l,"P",{"data-svelte-h":!0}),j(N)!=="svelte-114yi2l"&&(N.textContent=yl),se=p(l),y(Be.$$.fragment,l),Ye=p(l),A=f(l,"P",{"data-svelte-h":!0}),j(A)!=="svelte-1i6yszn"&&(A.textContent=ja),Fe=p(l),y(E.$$.fragment,l),He=p(l),Y=f(l,"P",{"data-svelte-h":!0}),j(Y)!=="svelte-15i7smm"&&(Y.innerHTML=ba),Se=p(l),y(F.$$.fragment,l),De=p(l),H=f(l,"P",{"data-svelte-h":!0}),j(H)!=="svelte-i04062"&&(H.textContent=Jl),ne=p(l),y(ve.$$.fragment,l),qe=p(l),S=f(l,"P",{"data-svelte-h":!0}),j(S)!=="svelte-1olt95c"&&(S.textContent=Tl),ie=p(l),y(ze.$$.fragment,l),Le=p(l),y(D.$$.fragment,l),Pe=p(l),q=f(l,"P",{"data-svelte-h":!0}),j(q)!=="svelte-1g8mr4u"&&(q.innerHTML=wl),re=p(l),y(Xe.$$.fragment,l),Ke=p(l),L=f(l,"P",{"data-svelte-h":!0}),j(L)!=="svelte-1skur9m"&&(L.innerHTML=ha),Oe=p(l),y(P.$$.fragment,l),el=p(l),y(K.$$.fragment,l),ll=p(l),W=f(l,"P",{"data-svelte-h":!0}),j(W)!=="svelte-8vuhx6"&&(W.textContent=Ul),pe=p(l),y(Re.$$.fragment,l),al=p(l),O=f(l,"P",{"data-svelte-h":!0}),j(O)!=="svelte-1wk5dqw"&&(O.innerHTML=fl),ce=p(l),ue=f(l,"P",{"data-svelte-h":!0}),j(ue)!=="svelte-jm72ma"&&(ue.textContent=Qe),jl=p(l),y(Me.$$.fragment,l),oe=p(l),y(me.$$.fragment,l),de=p(l),ye=f(l,"P",{"data-svelte-h":!0}),j(ye)!=="svelte-pi990m"&&(ye.innerHTML=We),bl=p(l),y(Je.$$.fragment,l),Te=p(l),xe=f(l,"P",{"data-svelte-h":!0}),j(xe)!=="svelte-zhz1o9"&&(xe.textContent=hl),le=p(l),y(Ve.$$.fragment,l),tl=p(l),y(ee.$$.fragment,l)},m(l,m){J(t,l,m),s(l,c,m),s(l,n,m),s(l,_,m),J(h,l,m),s(l,$,m),s(l,k,m),s(l,w,m),J(b,l,m),s(l,G,m),J(z,l,m),s(l,v,m),s(l,x,m),s(l,B,m),J(ke,l,m),s(l,Ae,m),s(l,V,m),s(l,ae,m),s(l,Ze,m),s(l,Q,m),s(l,$e,m),s(l,te,m),J(Ge,l,m),s(l,Ee,m),s(l,N,m),s(l,se,m),J(Be,l,m),s(l,Ye,m),s(l,A,m),s(l,Fe,m),J(E,l,m),s(l,He,m),s(l,Y,m),s(l,Se,m),J(F,l,m),s(l,De,m),s(l,H,m),s(l,ne,m),J(ve,l,m),s(l,qe,m),s(l,S,m),s(l,ie,m),J(ze,l,m),s(l,Le,m),J(D,l,m),s(l,Pe,m),s(l,q,m),s(l,re,m),J(Xe,l,m),s(l,Ke,m),s(l,L,m),s(l,Oe,m),J(P,l,m),s(l,el,m),J(K,l,m),s(l,ll,m),s(l,W,m),s(l,pe,m),J(Re,l,m),s(l,al,m),s(l,O,m),s(l,ce,m),s(l,ue,m),s(l,jl,m),J(Me,l,m),s(l,oe,m),J(me,l,m),s(l,de,m),s(l,ye,m),s(l,bl,m),J(Je,l,m),s(l,Te,m),s(l,xe,m),s(l,le,m),J(Ve,l,m),s(l,tl,m),J(ee,l,m),Cl=!0},i(l){Cl||(u(t.$$.fragment,l),u(h.$$.fragment,l),u(b.$$.fragment,l),u(z.$$.fragment,l),u(ke.$$.fragment,l),u(Ge.$$.fragment,l),u(Be.$$.fragment,l),u(E.$$.fragment,l),u(F.$$.fragment,l),u(ve.$$.fragment,l),u(ze.$$.fragment,l),u(D.$$.fragment,l),u(Xe.$$.fragment,l),u(P.$$.fragment,l),u(K.$$.fragment,l),u(Re.$$.fragment,l),u(Me.$$.fragment,l),u(me.$$.fragment,l),u(Je.$$.fragment,l),u(Ve.$$.fragment,l),u(ee.$$.fragment,l),Cl=!0)},o(l){M(t.$$.fragment,l),M(h.$$.fragment,l),M(b.$$.fragment,l),M(z.$$.fragment,l),M(ke.$$.fragment,l),M(Ge.$$.fragment,l),M(Be.$$.fragment,l),M(E.$$.fragment,l),M(F.$$.fragment,l),M(ve.$$.fragment,l),M(ze.$$.fragment,l),M(D.$$.fragment,l),M(Xe.$$.fragment,l),M(P.$$.fragment,l),M(K.$$.fragment,l),M(Re.$$.fragment,l),M(Me.$$.fragment,l),M(me.$$.fragment,l),M(Je.$$.fragment,l),M(Ve.$$.fragment,l),M(ee.$$.fragment,l),Cl=!1},d(l){l&&(a(c),a(n),a(_),a($),a(k),a(w),a(G),a(v),a(x),a(B),a(Ae),a(V),a(ae),a(Ze),a(Q),a($e),a(te),a(Ee),a(N),a(se),a(Ye),a(A),a(Fe),a(He),a(Y),a(Se),a(De),a(H),a(ne),a(qe),a(S),a(ie),a(Le),a(Pe),a(q),a(re),a(Ke),a(L),a(Oe),a(el),a(ll),a(W),a(pe),a(al),a(O),a(ce),a(ue),a(jl),a(oe),a(de),a(ye),a(bl),a(Te),a(xe),a(le),a(tl)),T(t,l),T(h,l),T(b,l),T(z,l),T(ke,l),T(Ge,l),T(Be,l),T(E,l),T(F,l),T(ve,l),T(ze,l),T(D,l),T(Xe,l),T(P,l),T(K,l),T(Re,l),T(Me,l),T(me,l),T(Je,l),T(Ve,l),T(ee,l)}}}function Qs(I){let t,c='🚨 Dacă antrenați pe un TPU, va trebui să mutați tot codul începând cu celula de mai sus într-o funcție de antrenare dedicată. Consultați <a href="/course/chapter3">Capitolul 3</a> pentru mai multe detalii.';return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-sg2lu8"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},p:Ma,d(n){n&&a(t)}}}function Ws(I){let t,c="✏️ <strong>încercați!</strong> Fie vă creați propria funcție de pierdere personalizată, adaptată la cazul vostru de utilizare, fie adăugați un alt pas personalizat în bucla de antrenare.";return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-1nf6k9s"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},p:Ma,d(n){n&&a(t)}}}function xs(I){let t,c="✏️ <strong>încercați!</strong> Atunci când efectuați experimente de antrenare de lungă durată, este o idee bună să înregistrați parametrii importanți utilizând instrumente precum TensorBoard sau Weights &amp; Biases. Adăugați o logare adecvată la bucla de antrenare, astfel încât să puteți verifica întotdeauna cum decurge antrenarea.";return{c(){t=U("p"),t.innerHTML=c},l(n){t=f(n,"P",{"data-svelte-h":!0}),j(t)!=="svelte-uxqq5y"&&(t.innerHTML=c)},m(n,o){s(n,t,o)},p:Ma,d(n){n&&a(t)}}}function Vs(I){let t,c,n,o,_,h,$,k,Z,w,b,G,z,v,x='Până acum, am folosit în principal modele preantrenate și le-am făcut fine-tuning pentru noi cazuri de utilizare prin reutilizarea weighturilor din preantrenare. După cum am văzut în <a href="/course/chapter1">Capitolul 1</a>, acest lucru este denumit în mod obișnuit <em>învățare prin transfer</em> și este o strategie foarte reușită pentru aplicarea modelelor Transformer la majoritatea cazurilor de utilizare din lumea reală în care datele etichetate sunt puține. În acest capitol, vom adopta o abordare diferită și vom antrena un model complet nou de la zero. Aceasta este o abordare bună dacă aveți multe date și este foarte diferită de datele de preantrenare utilizate pentru modelele disponibile. Cu toate acestea, preantrenarea unui model lingvistic necesită, de asemenea, mult mai multe resurse de calcul decât fine-tuningul unui model existent. Printre exemplele în care poate fi utilă antrenarea unui nou model se numără dataseturile formate din note muzicale, secvențe moleculare precum ADN sau limbaje de programare. Acestea din urmă au câștigat recent teren datorită unor instrumente precum TabNine și Copilot de la GitHub, alimentate de modelul Codex al OpenAI, care pot genera secvențe lungi de cod. Această sarcină de generare a textului este cel mai bine abordată cu modele de limbaj autoregresive sau cauzale, cum ar fi GPT-2.',g,B,ke="În această secțiune vom construi o versiune la scară redusă a unui model de generare a codului: ne vom concentra pe completări de o linie în loc de funcții sau clase complete, folosind un subset de cod Python. Atunci când lucrați cu date în Python, sunteți în contact frecvent Python data science stack, formată din bibliotecile <code>matplotlib</code>, <code>seaborn</code>, <code>pandas</code> și <code>scikit-learn</code>. Atunci când se utilizează aceste cadre, este frecvent să fie nevoie să se caute comenzi specifice, astfel încât ar fi bine dacă am putea utiliza un model care să efectueze aceste apeluri pentru noi.",Ae,V,ol,ae,Ze='În <a href="/course/chapter6">Capitolul 6</a> am creat un tokenizer eficient pentru a procesa codul sursă Python, dar avem nevoie de un dataset la scară largă pe care să preantrenăm un model. Aici, vom aplica tokenizerul nostru la un corpus de cod Python derivat din repositoriile GitHub. Vom utiliza apoi API-ul <code>Trainer</code> și 🤗 Accelerate pentru a antrena modelul. Să trecem la treabă!',ml,Q,$e,dl,te,Ge='Aceasta este de fapt o prezentare a modelului care a fost antrenat și încărcat în Hub folosind codul prezentat în această secțiune. Îl puteți găsi <a href="https://huggingface.co/huggingface-course/codeparrot-ds?text=plt.imshow%28" rel="nofollow">aici</a>. Rețineți că, deoarece are loc o anumită randomizare în generarea textului, veți obține probabil un rezultat ușor diferit.',Ee,N,yl,se,Be='Codul Python este disponibil din abundență în repositorii de cod, cum ar fi GitHub, pe care le putem utiliza pentru a crea un dataset prin scraping pentru fiecare repositoriu Python. Aceasta a fost abordarea adoptată în <a href="https://learning.oreilly.com/library/view/natural-language-processing/9781098136789/" rel="nofollow">Transformers textbook</a> pentru a preantrena un model GPT-2. Folosind o descărcare GitHub de aproximativ 180 GB care conține aproximativ 20 de milioane de fișiere Python numită <code>codeparrot</code>, autorii au construit un dataset pe care l-au oferit apoi pe <a href="https://huggingface.co/datasets/transformersbook/codeparrot" rel="nofollow">Hugging Face Hub</a>.',Ye,A,ja="Cu toate acestea, antrenarea pe întregul corpus consumă timp și puterea calculatorului, iar noi avem nevoie doar de subsetul datasetului referitor la Python data science stack. Așadar, să începem prin filtrarea datasetului <code>codeparrot</code> pentru toate fișierele care includ oricare dintre bibliotecile din aceast stack. Din cauza dimensiunii datasetului, dorim să evităm descărcarea acestuia; în schimb, vom utiliza funcția de streaming pentru a-l filtra din mers. Pentru a ne ajuta să filtrăm exemplele de cod care utilizează bibliotecile pe care le-am menționat mai devreme, vom utiliza următoarea funcție:",Fe,E,He,Y,ba="Să-l testăm pe două exemple:",Se,F,De,H,Jl,ne,ve="Putem folosi acest lucru pentru a crea o funcție care va transmite în flux datasetul și va filtra elementele dorite:",qe,S,Tl,ie,ze="Apoi, putem aplica pur și simplu această funcție pe datasetului din flux:",Le,D,Pe,q,wl,re,Xe="Acest lucru ne lasă cu aproximativ 3% din setul de date original, care este încă destul de mare - datasetul rezultat este de 6 GB și constă din 600.000 de scripturi Python!",Ke,L,ha="Filtrarea datasetului complet poate dura 2-3 ore, în funcție de calculator și de bandwidth. Dacă nu doriți să parcurgeți singur acest proces îndelungat, vă punem la dispoziție datasetul filtrat pe Hub pentru a-l descărca:",Oe,P,el,K,ll,W,Ul,pe,Re="Să ne uităm la un exemplu din dataset. Vom arăta doar primele 200 de caractere din fiecare câmp:",al,O,fl,ce,ue,Qe,jl="Putem vedea căci câmpul <code>content</code> conține codul pe care dorim ca modelul nostru să se antreneze. Acum că avem un dataset, trebuie să pregătim textele astfel încât acestea să fie într-un format adecvat pentru preantrenare.",Me,oe,me,de,ye,We,bl="Primul pas va fi tokenizarea datelor, astfel încât să le putem utiliza pentru antrenare. Deoarece obiectivul nostru este de a autocompleta în principal apeluri scurte de funcții, putem păstra dimensiunea contextului relativ mică. Acest lucru are avantajul că putem antrena modelul mult mai rapid și că necesită semnificativ mai puțină memorie. Dacă este important pentru aplicația voastră să aveți mai mult context (de exemplu, dacă doriți ca modelul să scrie teste unitare pe baza unui fișier cu definiția funcției), asigurați-vă că măriți acest număr, dar rețineți, de asemenea, că acest lucru vine cu utilizare mai mare de memorie GPU. Pentru moment, să fixăm dimensiunea contextului la 128 de tokeni, spre deosebire de 1 024 sau 2 048 utilizate în GPT-2 sau respectiv GPT-3.",Je,Te,xe='Majoritatea documentelor conțin mult mai mult de 128 de cuvinte, astfel încât trunchierea simplă a inputurilor la lungimea maximă ar elimina o mare parte din datasetul nostru. În schimb, vom utiliza opțiunea <code>return_overflowing_tokens</code> pentru a tokeniza întreagul input și a o împărți în mai multe bucăți, așa cum am făcut în <a href="/course/chapter6/4">Capitolul 6</a>. De asemenea, vom utiliza opțiunea <code>return_length</code> pentru a returna automat lungimea fiecărui fragment creat. Adesea, ultimul fragment va fi mai mic decât dimensiunea contextului, iar noi vom scăpa de aceste bucăți pentru a evita problemele de padding; nu avem nevoie de ele, deoarece oricum avem o mulțime de date.',hl,le,Ve='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts.svg" alt="Fragmentarea unui text mare în mai multe bucăți."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts-dark.svg" alt="Fragmentarea unui text mare în mai multe bucăți."/>',tl,ee,Cl="Să vedem exact cum funcționează acest lucru analizând primele două exemple:",l,m,Ia,Il,_a,_l,ft="Putem vedea că obținem 34 de segmente în total din aceste două exemple. Uitându-ne la lungimea segmentelor, putem vedea că segmentele de la sfârșitul ambelor documente au mai puțin de 128 de token-uri (117 și, respectiv, 41). Acestea reprezintă doar o mică parte din totalul segmentelor pe care le avem, așa că le putem șterge în siguranță. Cu ajutorul câmpului <code>overflow_to_sample_mapping</code>, putem, de asemenea, să reconstituim care segmente au aparținut căror probe de intrare.",ga,gl,jt='Cu această operațiune folosim o caracteristică utilă a funcției <code>Dataset.map()</code> din 🤗 Datasets, și anume că nu necesită one-to-one maps; așa cum am văzut în <a href="/course/chaptero7/3">secțiunea 3</a>, putem crea batch-uri cu mai multe sau mai puține elemente decât batch-ul de intrare. Acest lucru este util atunci când efectuăm operațiuni precum augmentarea sau filtrarea datelor care modifică numărul de elemente. În cazul nostru, atunci când tokenizăm fiecare element în segmente de dimensiunea contextului specificat, creăm multe probe din fiecare document. Trebuie doar să ne asigurăm că ștergem coloanele existente, deoarece acestea au o dimensiune conflictuală. Dacă am dori să le păstrăm, am putea să le repetăm în mod corespunzător și să le returnăm în cadrul apelului <code>Dataset.map()</code>:',ka,kl,Za,Zl,$a,$l,bt="Avem acum 16,7 milioane de exemple cu 128 de tokenii fiecare, ceea ce corespunde unui total de aproximativ 2,1 miliarde de tokeni. Ca referință, modelele GPT-3 și Codex ale OpenAI sunt antrenate pe 300 și, respectiv, 100 de miliarde de tokeni, unde modelele Codex sunt inițializate din checkpointurile GPT-3. Scopul nostru în această secțiune nu este de a concura cu aceste modele, care pot genera texte lungi și coerente, ci de a crea o versiune la scară redusă care să ofere o funcție rapidă de autocompletare pentru data scientists.",Ga,Gl,ht="Acum că avem datasetul gata, hai să configurăm modelul!",Ba,nl,va,Bl,za,vl,Ct="Primul nostru pas este să inițializăm un model GPT-2. Vom utiliza aceeași configurație pentru modelul nostru ca și pentru modelul GPT-2 mic, deci încărcăm configurația preantrenată, ne asigurăm că dimensiunea tokenizerlui corespunde cu dimensiunea vocabularului modelului și transmitem ID-urile tokenilor <code>bos</code> și <code>eos</code> (începutul și sfârșitul secvenței):",Xa,we,Ue,oa,zl,It="Modelul nostru are 124 milioane de parametri pe care va trebui să le facem tune. Înainte de a începe antrenarea, trebuie să configurăm un data collator care se va ocupa de crearea batch-urilor. Putem utiliza colatorul <code>DataCollatorForLanguageModeling</code>, care este conceput special pentru modelarea limbajului (după cum sugerează subtil numele). Pe lângă stacking și paddingul batchurilor, acesta se ocupă și de crearea labelurilor modelului lingvistic - în modelarea cauzală a limbajului, inputurile servesc și ca labels (doar că sunt decalate cu un element), iar acest data collator le creează din mers în timpul antrenării, astfel încât să nu fie nevoie să duplicăm <code>input_ids</code>.",Ra,Xl,_t="Rețineți că <code>DataCollatorForLanguageModeling</code> acceptă atât masked language masking (MLM), cât și causal language modeling(CLM). În mod implicit, acesta pregătește datele pentru MLM, dar putem trece la CLM prin setarea argumentului <code>mlm=False</code>:",Qa,fe,je,ma,Rl,gt="Să aruncăm o privire la un exemplu:",Wa,Ql,xa,be,he,da,Wl,kt="Putem vedea că exemplele sunt stacked și că toți tensorii au aceeași formă.",Va,ya,il,Na,xl,Zt="Acum avem totul pregătit pentru a ne antrena modelul - până la urmă nu a fost atât de greu! Înainte de a începe antrenamentul, trebuie să ne conectăm la Hugging Face. Dacă lucrați într-un notebook, puteți face acest lucru cu următoarea funcție de utilitate:",Aa,Vl,Ea,Nl,$t="Aceasta va afișa un widget în care puteți introduce datele voastre de autentificare Hugging Face.",Ya,Al,Gt="Dacă nu lucrați într-un notebook, tastați următoarea linie în terminal:",Fa,El,Ha,Ce,Ie,Ja,rl,Sa,pl,Da,Yl,qa,Fl,Bt="Acum este momentul adevărului: să vedem cât de bine funcționează de fapt modelul antrenat! Putem vedea în loguri că pierderea a scăzut în mod constant, dar pentru a testa modelul, hai să vedem cât de bine funcționează la câteva încerări. Pentru a face acest lucru, vom încorpora modelul într-un <code>pipeline</code> de generare a textului și îl vom pune pe un GPU pentru generații rapide, dacă există unul disponibil:",La,_e,ge,Ta,Hl,vt="Să începem cu sarcina simplă de a crea un scatter plot:",Pa,Sl,Ka,Dl,Oa,ql,zt="Rezultatul pare corect. Funcționează și pentru o operație <code>pandas</code>? Să vedem dacă putem crea un <code>DataFrame</code> din două array-uri:",et,Ll,lt,Pl,at,Kl,Xt="Excelent, acesta este răspunsul corect - deși apoi introduce din nou coloana <code>x</code>. Deoarece numărul de tokeni generate este limitat, următoarea buclă <code>for</code> este întreruptă. Să vedem dacă putem face ceva un pic mai complex și dacă modelul ne ajută să folosim operația <code>groupby</code>:",tt,Ol,st,ea,nt,la,Rt="Nu este rău; acesta este modul corect de a face acest lucru. În cele din urmă, să vedem dacă îl putem folosi și pentru <code>scikit-learn</code> și să configurăm un model Random Forest:",it,aa,rt,ta,pt,wa,Ua,sa,ct,Ca,ut;_=new ys({props:{fw:I[0]}}),$=new ms({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),Z=new fa({props:{title:"Antrenarea de la zero a unui model de limbaj cauzal",local:"training-a-causal-language-model-from-scratch",headingTag:"h1"}});const Qt=[Ts,Js],na=[];function Wt(e,i){return e[0]==="pt"?0:1}b=Wt(I),G=na[b]=Qt[b](I),V=new Ut({props:{id:"Vpjb1lu0MDk"}}),N=new fa({props:{title:"Colectarea datelor",local:"gathering-the-data",headingTag:"h2"}}),E=new C({props:{code:"ZGVmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHN0cmluZyUyQyUyMGtleXdvcmRzKSUzQSUwQSUyMCUyMCUyMCUyMGZvciUyMGtleXdvcmQlMjBpbiUyMGtleXdvcmRzJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBrZXl3b3JkJTIwaW4lMjBzdHJpbmclM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm4lMjBUcnVlJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwRmFsc2U=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">any_keyword_in_string</span>(<span class="hljs-params">string, keywords</span>):
    <span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> keywords:
        <span class="hljs-keyword">if</span> keyword <span class="hljs-keyword">in</span> string:
            <span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>`,wrap:!1}}),F=new C({props:{code:"ZmlsdGVycyUyMCUzRCUyMCU1QiUyMnBhbmRhcyUyMiUyQyUyMCUyMnNrbGVhcm4lMjIlMkMlMjAlMjJtYXRwbG90bGliJTIyJTJDJTIwJTIyc2VhYm9ybiUyMiU1RCUwQWV4YW1wbGVfMSUyMCUzRCUyMCUyMmltcG9ydCUyMG51bXB5JTIwYXMlMjBucCUyMiUwQWV4YW1wbGVfMiUyMCUzRCUyMCUyMmltcG9ydCUyMHBhbmRhcyUyMGFzJTIwcGQlMjIlMEElMEFwcmludCglMEElMjAlMjAlMjAlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8xJTJDJTIwZmlsdGVycyklMkMlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8yJTJDJTIwZmlsdGVycyklMEEp",highlighted:`filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]
example_1 = <span class="hljs-string">&quot;import numpy as np&quot;</span>
example_2 = <span class="hljs-string">&quot;import pandas as pd&quot;</span>

<span class="hljs-built_in">print</span>(
    any_keyword_in_string(example_1, filters), any_keyword_in_string(example_2, filters)
)`,wrap:!1}}),H=new C({props:{code:"RmFsc2UlMjBUcnVl",highlighted:'<span class="hljs-literal">False</span> <span class="hljs-literal">True</span>',wrap:!1}}),S=new C({props:{code:"ZnJvbSUyMGNvbGxlY3Rpb25zJTIwaW1wb3J0JTIwZGVmYXVsdGRpY3QlMEFmcm9tJTIwdHFkbSUyMGltcG9ydCUyMHRxZG0lMEFmcm9tJTIwZGF0YXNldHMlMjBpbXBvcnQlMjBEYXRhc2V0JTBBJTBBJTBBZGVmJTIwZmlsdGVyX3N0cmVhbWluZ19kYXRhc2V0KGRhdGFzZXQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlMjAlM0QlMjBkZWZhdWx0ZGljdChsaXN0KSUwQSUyMCUyMCUyMCUyMHRvdGFsJTIwJTNEJTIwMCUwQSUyMCUyMCUyMCUyMGZvciUyMHNhbXBsZSUyMGluJTIwdHFkbShpdGVyKGRhdGFzZXQpKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRvdGFsJTIwJTJCJTNEJTIwMSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHNhbXBsZSU1QiUyMmNvbnRlbnQlMjIlNUQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZvciUyMGslMkMlMjB2JTIwaW4lMjBzYW1wbGUuaXRlbXMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlNUJrJTVELmFwcGVuZCh2KSUwQSUyMCUyMCUyMCUyMHByaW50KGYlMjIlN0JsZW4oZmlsdGVyZWRfZGljdCU1Qidjb250ZW50JyU1RCklMkZ0b3RhbCUzQS4yJTI1JTdEJTIwb2YlMjBkYXRhJTIwYWZ0ZXIlMjBmaWx0ZXJpbmcuJTIyKSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMERhdGFzZXQuZnJvbV9kaWN0KGZpbHRlcmVkX2RpY3Qp",highlighted:`<span class="hljs-keyword">from</span> collections <span class="hljs-keyword">import</span> defaultdict
<span class="hljs-keyword">from</span> tqdm <span class="hljs-keyword">import</span> tqdm
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> Dataset


<span class="hljs-keyword">def</span> <span class="hljs-title function_">filter_streaming_dataset</span>(<span class="hljs-params">dataset, filters</span>):
    filtered_dict = defaultdict(<span class="hljs-built_in">list</span>)
    total = <span class="hljs-number">0</span>
    <span class="hljs-keyword">for</span> sample <span class="hljs-keyword">in</span> tqdm(<span class="hljs-built_in">iter</span>(dataset)):
        total += <span class="hljs-number">1</span>
        <span class="hljs-keyword">if</span> any_keyword_in_string(sample[<span class="hljs-string">&quot;content&quot;</span>], filters):
            <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> sample.items():
                filtered_dict[k].append(v)
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{<span class="hljs-built_in">len</span>(filtered_dict[<span class="hljs-string">&#x27;content&#x27;</span>])/total:<span class="hljs-number">.2</span>%}</span> of data after filtering.&quot;</span>)
    <span class="hljs-keyword">return</span> Dataset.from_dict(filtered_dict)`,wrap:!1}}),D=new C({props:{code:"JTIzJTIwVGhpcyUyMGNlbGwlMjB3aWxsJTIwdGFrZSUyMGElMjB2ZXJ5JTIwbG9uZyUyMHRpbWUlMjB0byUyMGV4ZWN1dGUlMkMlMjBzbyUyMHlvdSUyMHNob3VsZCUyMHNraXAlMjBpdCUyMGFuZCUyMGdvJTIwdG8lMEElMjMlMjB0aGUlMjBuZXh0JTIwb25lISUwQWZyb20lMjBkYXRhc2V0cyUyMGltcG9ydCUyMGxvYWRfZGF0YXNldCUwQSUwQXNwbGl0JTIwJTNEJTIwJTIydHJhaW4lMjIlMjAlMjAlMjMlMjAlMjJ2YWxpZCUyMiUwQWZpbHRlcnMlMjAlM0QlMjAlNUIlMjJwYW5kYXMlMjIlMkMlMjAlMjJza2xlYXJuJTIyJTJDJTIwJTIybWF0cGxvdGxpYiUyMiUyQyUyMCUyMnNlYWJvcm4lMjIlNUQlMEElMEFkYXRhJTIwJTNEJTIwbG9hZF9kYXRhc2V0KGYlMjJ0cmFuc2Zvcm1lcnNib29rJTJGY29kZXBhcnJvdC0lN0JzcGxpdCU3RCUyMiUyQyUyMHNwbGl0JTNEc3BsaXQlMkMlMjBzdHJlYW1pbmclM0RUcnVlKSUwQWZpbHRlcmVkX2RhdGElMjAlM0QlMjBmaWx0ZXJfc3RyZWFtaW5nX2RhdGFzZXQoZGF0YSUyQyUyMGZpbHRlcnMp",highlighted:`<span class="hljs-comment"># This cell will take a very long time to execute, so you should skip it and go to</span>
<span class="hljs-comment"># the next one!</span>
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

split = <span class="hljs-string">&quot;train&quot;</span>  <span class="hljs-comment"># &quot;valid&quot;</span>
filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]

data = load_dataset(<span class="hljs-string">f&quot;transformersbook/codeparrot-<span class="hljs-subst">{split}</span>&quot;</span>, split=split, streaming=<span class="hljs-literal">True</span>)
filtered_data = filter_streaming_dataset(data, filters)`,wrap:!1}}),q=new C({props:{code:"My4yNiUyNSUyMG9mJTIwZGF0YSUyMGFmdGVyJTIwZmlsdGVyaW5nLg==",highlighted:'<span class="hljs-number">3.26</span>% of data after filtering.',wrap:!1}}),P=new C({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTJDJTIwRGF0YXNldERpY3QlMEElMEFkc190cmFpbiUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXRyYWluJTIyJTJDJTIwc3BsaXQlM0QlMjJ0cmFpbiUyMiklMEFkc192YWxpZCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXZhbGlkJTIyJTJDJTIwc3BsaXQlM0QlMjJ2YWxpZGF0aW9uJTIyKSUwQSUwQXJhd19kYXRhc2V0cyUyMCUzRCUyMERhdGFzZXREaWN0KCUwQSUyMCUyMCUyMCUyMCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnRyYWluJTIyJTNBJTIwZHNfdHJhaW4lMkMlMjAlMjAlMjMlMjAuc2h1ZmZsZSgpLnNlbGVjdChyYW5nZSg1MDAwMCkpJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIydmFsaWQlMjIlM0ElMjBkc192YWxpZCUyQyUyMCUyMCUyMyUyMC5zaHVmZmxlKCkuc2VsZWN0KHJhbmdlKDUwMCkpJTBBJTIwJTIwJTIwJTIwJTdEJTBBKSUwQSUwQXJhd19kYXRhc2V0cw==",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset, DatasetDict

ds_train = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-train&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)
ds_valid = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-valid&quot;</span>, split=<span class="hljs-string">&quot;validation&quot;</span>)

raw_datasets = DatasetDict(
    {
        <span class="hljs-string">&quot;train&quot;</span>: ds_train,  <span class="hljs-comment"># .shuffle().select(range(50000)),</span>
        <span class="hljs-string">&quot;valid&quot;</span>: ds_valid,  <span class="hljs-comment"># .shuffle().select(range(500))</span>
    }
)

raw_datasets`,wrap:!1}}),K=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3JlcG9fbmFtZSclMkMlMjAncGF0aCclMkMlMjAnY29waWVzJyUyQyUyMCdzaXplJyUyQyUyMCdjb250ZW50JyUyQyUyMCdsaWNlbnNlJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNjA2NzIwJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidyZXBvX25hbWUnJTJDJTIwJ3BhdGgnJTJDJTIwJ2NvcGllcyclMkMlMjAnc2l6ZSclMkMlMjAnY29udGVudCclMkMlMjAnbGljZW5zZSclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDMzMjIlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
        num_rows: <span class="hljs-number">606720</span>
    })
    valid: Dataset({
        features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
        num_rows: <span class="hljs-number">3322</span>
    })
})`,wrap:!1}}),W=new Ml({props:{$$slots:{default:[ws]},$$scope:{ctx:I}}}),O=new C({props:{code:"Zm9yJTIwa2V5JTIwaW4lMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjAlNUQlM0ElMEElMjAlMjAlMjAlMjBwcmludChmJTIyJTdCa2V5LnVwcGVyKCklN0QlM0ElMjAlN0JyYXdfZGF0YXNldHMlNUIndHJhaW4nJTVEJTVCMCU1RCU1QmtleSU1RCU1QiUzQTIwMCU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>]:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key.upper()}</span>: <span class="hljs-subst">{raw_datasets[<span class="hljs-string">&#x27;train&#x27;</span>][<span class="hljs-number">0</span>][key][:<span class="hljs-number">200</span>]}</span>&quot;</span>)`,wrap:!1}}),ce=new C({props:{code:"J1JFUE9fTkFNRSUzQSUyMGttaWtlJTJGc2Npa2l0LWxlYXJuJyUwQSdQQVRIJTNBJTIwc2tsZWFybiUyRnV0aWxzJTJGX19pbml0X18ucHknJTBBJ0NPUElFUyUzQSUyMDMnJTBBJ1NJWkUlM0ElMjAxMDA5NCclMEEnJydDT05URU5UJTNBJTIwJTIyJTIyJTIyJTBBVGhlJTIwJTNBbW9kJTNBJTYwc2tsZWFybi51dGlscyU2MCUyMG1vZHVsZSUyMGluY2x1ZGVzJTIwdmFyaW91cyUyMHV0aWxpdGVzLiUwQSUyMiUyMiUyMiUwQSUwQWZyb20lMjBjb2xsZWN0aW9ucyUyMGltcG9ydCUyMFNlcXVlbmNlJTBBJTBBaW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBZnJvbSUyMHNjaXB5LnNwYXJzZSUyMGltcG9ydCUyMGlzc3BhcnNlJTBBaW1wb3J0JTIwd2FybmluZ3MlMEElMEFmcm9tJTIwLm11cm11cmhhc2glMjBpbXBvcnQlMjBtdXJtJTBBTElDRU5TRSUzQSUyMGJzZC0zLWNsYXVzZScnJw==",highlighted:`<span class="hljs-string">&#x27;REPO_NAME: kmike/scikit-learn&#x27;</span>
<span class="hljs-string">&#x27;PATH: sklearn/utils/__init__.py&#x27;</span>
<span class="hljs-string">&#x27;COPIES: 3&#x27;</span>
<span class="hljs-string">&#x27;SIZE: 10094&#x27;</span>
<span class="hljs-string">&#x27;&#x27;&#x27;CONTENT: &quot;&quot;&quot;
The :mod:\`sklearn.utils\` module includes various utilites.
&quot;&quot;&quot;

from collections import Sequence

import numpy as np
from scipy.sparse import issparse
import warnings

from .murmurhash import murm
LICENSE: bsd-3-clause&#x27;&#x27;&#x27;</span>`,wrap:!1}}),oe=new fa({props:{title:"Pregătirea datasetului",local:"preparing-the-dataset",headingTag:"h2"}}),de=new Ut({props:{id:"ma1TrR7gE7I"}}),m=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjb250ZXh0X2xlbmd0aCUyMCUzRCUyMDEyOCUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGUtc2VhcmNoLW5ldC10b2tlbml6ZXIlMjIpJTBBJTBBb3V0cHV0cyUyMCUzRCUyMHRva2VuaXplciglMEElMjAlMjAlMjAlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUzQTIlNUQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBKSUwQSUwQXByaW50KGYlMjJJbnB1dCUyMElEcyUyMGxlbmd0aCUzQSUyMCU3QmxlbihvdXRwdXRzJTVCJ2lucHV0X2lkcyclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJJbnB1dCUyMGNodW5rJTIwbGVuZ3RocyUzQSUyMCU3QihvdXRwdXRzJTVCJ2xlbmd0aCclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJDaHVuayUyMG1hcHBpbmclM0ElMjAlN0JvdXRwdXRzJTVCJ292ZXJmbG93X3RvX3NhbXBsZV9tYXBwaW5nJyU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

context_length = <span class="hljs-number">128</span>
tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/code-search-net-tokenizer&quot;</span>)

outputs = tokenizer(
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">2</span>][<span class="hljs-string">&quot;content&quot;</span>],
    truncation=<span class="hljs-literal">True</span>,
    max_length=context_length,
    return_overflowing_tokens=<span class="hljs-literal">True</span>,
    return_length=<span class="hljs-literal">True</span>,
)

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input IDs length: <span class="hljs-subst">{<span class="hljs-built_in">len</span>(outputs[<span class="hljs-string">&#x27;input_ids&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input chunk lengths: <span class="hljs-subst">{(outputs[<span class="hljs-string">&#x27;length&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Chunk mapping: <span class="hljs-subst">{outputs[<span class="hljs-string">&#x27;overflow_to_sample_mapping&#x27;</span>]}</span>&quot;</span>)`,wrap:!1}}),Il=new C({props:{code:"SW5wdXQlMjBJRHMlMjBsZW5ndGglM0ElMjAzNCUwQUlucHV0JTIwY2h1bmslMjBsZW5ndGhzJTNBJTIwJTVCMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTE3JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwNDElNUQlMEFDaHVuayUyMG1hcHBpbmclM0ElMjAlNUIwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVE",highlighted:`Input IDs length: <span class="hljs-number">34</span>
Input chunk lengths: [<span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">117</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">41</span>]
Chunk mapping: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]`,wrap:!1}}),kl=new C({props:{code:"ZGVmJTIwdG9rZW5pemUoZWxlbWVudCklM0ElMEElMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsZW1lbnQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMGlucHV0X2JhdGNoJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbGVuZ3RoJTJDJTIwaW5wdXRfaWRzJTIwaW4lMjB6aXAob3V0cHV0cyU1QiUyMmxlbmd0aCUyMiU1RCUyQyUyMG91dHB1dHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBsZW5ndGglMjAlM0QlM0QlMjBjb250ZXh0X2xlbmd0aCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlucHV0X2JhdGNoLmFwcGVuZChpbnB1dF9pZHMpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwJTdCJTIyaW5wdXRfaWRzJTIyJTNBJTIwaW5wdXRfYmF0Y2glN0QlMEElMEElMEF0b2tlbml6ZWRfZGF0YXNldHMlMjAlM0QlMjByYXdfZGF0YXNldHMubWFwKCUwQSUyMCUyMCUyMCUyMHRva2VuaXplJTJDJTIwYmF0Y2hlZCUzRFRydWUlMkMlMjByZW1vdmVfY29sdW1ucyUzRHJhd19kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELmNvbHVtbl9uYW1lcyUwQSklMEF0b2tlbml6ZWRfZGF0YXNldHM=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize</span>(<span class="hljs-params">element</span>):
    outputs = tokenizer(
        element[<span class="hljs-string">&quot;content&quot;</span>],
        truncation=<span class="hljs-literal">True</span>,
        max_length=context_length,
        return_overflowing_tokens=<span class="hljs-literal">True</span>,
        return_length=<span class="hljs-literal">True</span>,
    )
    input_batch = []
    <span class="hljs-keyword">for</span> length, input_ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(outputs[<span class="hljs-string">&quot;length&quot;</span>], outputs[<span class="hljs-string">&quot;input_ids&quot;</span>]):
        <span class="hljs-keyword">if</span> length == context_length:
            input_batch.append(input_ids)
    <span class="hljs-keyword">return</span> {<span class="hljs-string">&quot;input_ids&quot;</span>: input_batch}


tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(
    tokenize, batched=<span class="hljs-literal">True</span>, remove_columns=raw_datasets[<span class="hljs-string">&quot;train&quot;</span>].column_names
)
tokenized_datasets`,wrap:!1}}),Zl=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2lucHV0X2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE2NzAyMDYxJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidpbnB1dF9pZHMnJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3Jvd3MlM0ElMjA5MzE2NCUwQSUyMCUyMCUyMCUyMCU3RCklMEElN0Qp",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
        num_rows: <span class="hljs-number">16702061</span>
    })
    valid: Dataset({
        features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
        num_rows: <span class="hljs-number">93164</span>
    })
})`,wrap:!1}}),nl=new Ml({props:{$$slots:{default:[Us]},$$scope:{ctx:I}}}),Bl=new fa({props:{title:"Inițializarea unui nou model",local:"initializing-a-new-model",headingTag:"h2"}});const xt=[js,fs],ia=[];function Vt(e,i){return e[0]==="pt"?0:1}we=Vt(I),Ue=ia[we]=xt[we](I);const Nt=[hs,bs],ra=[];function At(e,i){return e[0]==="pt"?0:1}fe=At(I),je=ra[fe]=Nt[fe](I),Ql=new C({props:{code:"b3V0JTIwJTNEJTIwZGF0YV9jb2xsYXRvciglNUJ0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QmklNUQlMjBmb3IlMjBpJTIwaW4lMjByYW5nZSg1KSU1RCklMEFmb3IlMjBrZXklMjBpbiUyMG91dCUzQSUwQSUyMCUyMCUyMCUyMHByaW50KGYlMjIlN0JrZXklN0QlMjBzaGFwZSUzQSUyMCU3Qm91dCU1QmtleSU1RC5zaGFwZSU3RCUyMik=",highlighted:`out = data_collator([tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">5</span>)])
<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> out:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key}</span> shape: <span class="hljs-subst">{out[key].shape}</span>&quot;</span>)`,wrap:!1}});const Et=[Is,Cs],pa=[];function Yt(e,i){return e[0]==="pt"?0:1}be=Yt(I),he=pa[be]=Et[be](I);let X=I[0]==="tf"&&ts();il=new Ml({props:{warning:!0,$$slots:{default:[_s]},$$scope:{ctx:I}}}),Vl=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),El=new C({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}});const Ft=[ks,gs],ca=[];function Ht(e,i){return e[0]==="pt"?0:1}Ce=Ht(I),Ie=ca[Ce]=Ft[Ce](I),rl=new Ml({props:{$$slots:{default:[Zs]},$$scope:{ctx:I}}}),pl=new Ml({props:{$$slots:{default:[Bs]},$$scope:{ctx:I}}}),Yl=new fa({props:{title:"Generarea codului cu un pipeline",local:"code-generation-with-a-pipeline",headingTag:"h2"}});const St=[zs,vs],ua=[];function Dt(e,i){return e[0]==="pt"?0:1}_e=Dt(I),ge=ua[_e]=St[_e](I),Sl=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhcmVhJTIwdW51aSUyMHNjYXR0ZXIlMjBwbG90JTIwY3UlMjB4JTJDJTIweSUwQSUyMiUyMiUyMiUwQXByaW50KHBpcGUodHh0JTJDJTIwbnVtX3JldHVybl9zZXF1ZW5jZXMlM0QxKSU1QjAlNUQlNUIlMjJnZW5lcmF0ZWRfdGV4dCUyMiU1RCk=",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# create some data
x = np.random.randn(100)
y = np.random.randn(100)

# crearea unui scatter plot cu x, y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Dl=new C({props:{code:"JTIzJTIwY3JlYXJlYSUyMHVub3IlMjBkYXRlJTBBeCUyMCUzRCUyMG5wLnJhbmRvbS5yYW5kbigxMDApJTBBeSUyMCUzRCUyMG5wLnJhbmRvbS5yYW5kbigxMDApJTBBJTBBJTIzJTIwY3JlYXJlYSUyMHNjYXR0ZXIlMjBwbG90JTIwY3UlMjB4JTJDJTIweSUwQXBsdC5zY2F0dGVyKHglMkMlMjB5KSUwQSUwQSUyMyUyMGNyZWFyZWElMjBzY2F0dGVy",highlighted:`<span class="hljs-comment"># crearea unor date</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)

<span class="hljs-comment"># crearea scatter plot cu x, y</span>
plt.scatter(x, y)

<span class="hljs-comment"># crearea scatter</span>`,wrap:!1}}),Ll=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhJUM4JTlCaSUyMGRhdGFmcmFtZXVsJTIwZGluJTIweCUyMCVDOCU5OWklMjB5JTBBJTIyJTIyJTIyJTBBcHJpbnQocGlwZSh0eHQlMkMlMjBudW1fcmV0dXJuX3NlcXVlbmNlcyUzRDEpJTVCMCU1RCU1QiUyMmdlbmVyYXRlZF90ZXh0JTIyJTVEKQ==",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# create some data
x = np.random.randn(100)
y = np.random.randn(100)

# creați dataframeul din x și y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Pl=new C({props:{code:"JTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVheiVDNCU4MyUyMHVuJTIwZGF0YWZyYW1lJTIwZGluJTIweCUyMCVDOCU5OWklMjB5JTBBZGYlMjAlM0QlMjBwZC5EYXRhRnJhbWUoJTdCJ3gnJTNBJTIweCUyQyUyMCd5JyUzQSUyMHklN0QpJTBBZGYuaW5zZXJ0KDAlMkMneCclMkMlMjB4KSUwQWZvcg==",highlighted:`<span class="hljs-comment"># create some data</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)

<span class="hljs-comment"># crează un dataframe din x și y</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;x&#x27;</span>: x, <span class="hljs-string">&#x27;y&#x27;</span>: y})
df.insert(<span class="hljs-number">0</span>,<span class="hljs-string">&#x27;x&#x27;</span>, x)
<span class="hljs-keyword">for</span>`,wrap:!1}}),Ol=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwZGF0YWZyYW1lJTIwd2l0aCUyMHByb2Zlc3Npb24lMkMlMjBpbmNvbWUlMjBhbmQlMjBuYW1lJTBBZGYlMjAlM0QlMjBwZC5EYXRhRnJhbWUoJTdCJ3Byb2Zlc3Npb24nJTNBJTIweCUyQyUyMCdpbmNvbWUnJTNBeSUyQyUyMCduYW1lJyUzQSUyMHolN0QpJTBBJTBBJTIzJTIwY2FsY3VsYSVDOCU5QmklMjB2ZW5pdHVsJTIwbWVkaXUlMjBwZSUyMHByb2Zlc2llJTBBJTIyJTIyJTIyJTBBcHJpbnQocGlwZSh0eHQlMkMlMjBudW1fcmV0dXJuX3NlcXVlbmNlcyUzRDEpJTVCMCU1RCU1QiUyMmdlbmVyYXRlZF90ZXh0JTIyJTVEKQ==",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# dataframe with profession, income and name
df = pd.DataFrame({&#x27;profession&#x27;: x, &#x27;income&#x27;:y, &#x27;name&#x27;: z})

# calculați venitul mediu pe profesie
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),ea=new C({props:{code:"JTIzJTIwZGF0YWZyYW1lJTIwd2l0aCUyMHByb2Zlc3Npb24lMkMlMjBpbmNvbWUlMjBhbmQlMjBuYW1lJTBBZGYlMjAlM0QlMjBwZC5EYXRhRnJhbWUoJTdCJ3Byb2Zlc3Npb24nJTNBJTIweCUyQyUyMCdpbmNvbWUnJTNBeSUyQyUyMCduYW1lJyUzQSUyMHolN0QpJTBBJTBBJTIzJTIwY2FsY3VsZXolQzQlODMlMjB2ZW5pdHVsJTIwbWVkaXUlMjBwZSUyMHByb2Zlc2llJTBBcHJvZmVzc2lvbiUyMCUzRCUyMGRmLmdyb3VwYnkoJTVCJ3Byb2Zlc3Npb24nJTVEKS5tZWFuKCklMEElMEElMjMlMjBjYWxjdWxlYXolQzQlODM=",highlighted:`<span class="hljs-comment"># dataframe with profession, income and name</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;profession&#x27;</span>: x, <span class="hljs-string">&#x27;income&#x27;</span>:y, <span class="hljs-string">&#x27;name&#x27;</span>: z})

<span class="hljs-comment"># calculeză venitul mediu pe profesie</span>
profession = df.groupby([<span class="hljs-string">&#x27;profession&#x27;</span>]).mean()

<span class="hljs-comment"># calculează</span>`,wrap:!1}}),aa=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTBBJTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwYWp1c3RhJUM4JTlCaSUyMG1vZGVsdWwlMjBSYW5kb20lMjBGb3Jlc3QlMjBjdSUyMDMwMCUyMGRlJTIwZXN0aW1hdG9yaSUyMHBlJTIwWCUyQyUyMHklM0ElMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;
# import random forest regressor from scikit-learn
from sklearn.ensemble import RandomForestRegressor

# ajustați modelul Random Forest cu 300 de estimatori pe X, y:
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),ta=new C({props:{code:"JTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwYWp1c3RhJUM4JTlCaSUyMG1vZGVsdWwlMjBSYW5kb20lMjBGb3Jlc3QlMjBjdSUyMDMwMCUyMGRlJTIwZXN0aW1hdG9yaSUyMHBlJTIwWCUyQyUyMHklM0ElMEFyZiUyMCUzRCUyMFJhbmRvbUZvcmVzdFJlZ3Jlc3NvcihuX2VzdGltYXRvcnMlM0QzMDAlMkMlMjByYW5kb21fc3RhdGUlM0RyYW5kb21fc3RhdGUlMkMlMjBtYXhfZGVwdGglM0QzKSUwQXJmLmZpdChYJTJDJTIweSklMEFyZg==",highlighted:`<span class="hljs-comment"># import random forest regressor from scikit-learn</span>
<span class="hljs-keyword">from</span> sklearn.ensemble <span class="hljs-keyword">import</span> RandomForestRegressor

<span class="hljs-comment"># ajustați modelul Random Forest cu 300 de estimatori pe X, y:</span>
rf = RandomForestRegressor(n_estimators=<span class="hljs-number">300</span>, random_state=random_state, max_depth=<span class="hljs-number">3</span>)
rf.fit(X, y)
rf`,wrap:!1}});function qt(e,i){return e[0]==="tf"?Rs:Xs}let Mt=qt(I),sl=Mt(I),R=I[0]==="pt"&&ss(I);return sa=new ds({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ro/chapter7/6.mdx"}}),{c(){t=U("meta"),c=r(),n=U("p"),o=r(),d(_.$$.fragment),h=r(),d($.$$.fragment),k=r(),d(Z.$$.fragment),w=r(),G.c(),z=r(),v=U("p"),v.innerHTML=x,g=r(),B=U("p"),B.innerHTML=ke,Ae=r(),d(V.$$.fragment),ol=r(),ae=U("p"),ae.innerHTML=Ze,ml=r(),Q=U("iframe"),dl=r(),te=U("p"),te.innerHTML=Ge,Ee=r(),d(N.$$.fragment),yl=r(),se=U("p"),se.innerHTML=Be,Ye=r(),A=U("p"),A.innerHTML=ja,Fe=r(),d(E.$$.fragment),He=r(),Y=U("p"),Y.textContent=ba,Se=r(),d(F.$$.fragment),De=r(),d(H.$$.fragment),Jl=r(),ne=U("p"),ne.textContent=ve,qe=r(),d(S.$$.fragment),Tl=r(),ie=U("p"),ie.textContent=ze,Le=r(),d(D.$$.fragment),Pe=r(),d(q.$$.fragment),wl=r(),re=U("p"),re.textContent=Xe,Ke=r(),L=U("p"),L.textContent=ha,Oe=r(),d(P.$$.fragment),el=r(),d(K.$$.fragment),ll=r(),d(W.$$.fragment),Ul=r(),pe=U("p"),pe.textContent=Re,al=r(),d(O.$$.fragment),fl=r(),d(ce.$$.fragment),ue=r(),Qe=U("p"),Qe.innerHTML=jl,Me=r(),d(oe.$$.fragment),me=r(),d(de.$$.fragment),ye=r(),We=U("p"),We.textContent=bl,Je=r(),Te=U("p"),Te.innerHTML=xe,hl=r(),le=U("div"),le.innerHTML=Ve,tl=r(),ee=U("p"),ee.textContent=Cl,l=r(),d(m.$$.fragment),Ia=r(),d(Il.$$.fragment),_a=r(),_l=U("p"),_l.innerHTML=ft,ga=r(),gl=U("p"),gl.innerHTML=jt,ka=r(),d(kl.$$.fragment),Za=r(),d(Zl.$$.fragment),$a=r(),$l=U("p"),$l.textContent=bt,Ga=r(),Gl=U("p"),Gl.textContent=ht,Ba=r(),d(nl.$$.fragment),va=r(),d(Bl.$$.fragment),za=r(),vl=U("p"),vl.innerHTML=Ct,Xa=r(),Ue.c(),oa=r(),zl=U("p"),zl.innerHTML=It,Ra=r(),Xl=U("p"),Xl.innerHTML=_t,Qa=r(),je.c(),ma=r(),Rl=U("p"),Rl.textContent=gt,Wa=r(),d(Ql.$$.fragment),xa=r(),he.c(),da=r(),Wl=U("p"),Wl.textContent=kt,Va=r(),X&&X.c(),ya=r(),d(il.$$.fragment),Na=r(),xl=U("p"),xl.textContent=Zt,Aa=r(),d(Vl.$$.fragment),Ea=r(),Nl=U("p"),Nl.textContent=$t,Ya=r(),Al=U("p"),Al.textContent=Gt,Fa=r(),d(El.$$.fragment),Ha=r(),Ie.c(),Ja=r(),d(rl.$$.fragment),Sa=r(),d(pl.$$.fragment),Da=r(),d(Yl.$$.fragment),qa=r(),Fl=U("p"),Fl.innerHTML=Bt,La=r(),ge.c(),Ta=r(),Hl=U("p"),Hl.textContent=vt,Pa=r(),d(Sl.$$.fragment),Ka=r(),d(Dl.$$.fragment),Oa=r(),ql=U("p"),ql.innerHTML=zt,et=r(),d(Ll.$$.fragment),lt=r(),d(Pl.$$.fragment),at=r(),Kl=U("p"),Kl.innerHTML=Xt,tt=r(),d(Ol.$$.fragment),st=r(),d(ea.$$.fragment),nt=r(),la=U("p"),la.innerHTML=Rt,it=r(),d(aa.$$.fragment),rt=r(),d(ta.$$.fragment),pt=r(),sl.c(),wa=r(),R&&R.c(),Ua=r(),d(sa.$$.fragment),ct=r(),Ca=U("p"),this.h()},l(e){const i=Ms("svelte-u9bgzb",document.head);t=f(i,"META",{name:!0,content:!0}),i.forEach(a),c=p(e),n=f(e,"P",{}),wt(n).forEach(a),o=p(e),y(_.$$.fragment,e),h=p(e),y($.$$.fragment,e),k=p(e),y(Z.$$.fragment,e),w=p(e),G.l(e),z=p(e),v=f(e,"P",{"data-svelte-h":!0}),j(v)!=="svelte-b4m2r4"&&(v.innerHTML=x),g=p(e),B=f(e,"P",{"data-svelte-h":!0}),j(B)!=="svelte-x4ejk4"&&(B.innerHTML=ke),Ae=p(e),y(V.$$.fragment,e),ol=p(e),ae=f(e,"P",{"data-svelte-h":!0}),j(ae)!=="svelte-1m8la55"&&(ae.innerHTML=Ze),ml=p(e),Q=f(e,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),wt(Q).forEach(a),dl=p(e),te=f(e,"P",{"data-svelte-h":!0}),j(te)!=="svelte-1uw1ifa"&&(te.innerHTML=Ge),Ee=p(e),y(N.$$.fragment,e),yl=p(e),se=f(e,"P",{"data-svelte-h":!0}),j(se)!=="svelte-1lmk8zm"&&(se.innerHTML=Be),Ye=p(e),A=f(e,"P",{"data-svelte-h":!0}),j(A)!=="svelte-ocfyhb"&&(A.innerHTML=ja),Fe=p(e),y(E.$$.fragment,e),He=p(e),Y=f(e,"P",{"data-svelte-h":!0}),j(Y)!=="svelte-w81hdx"&&(Y.textContent=ba),Se=p(e),y(F.$$.fragment,e),De=p(e),y(H.$$.fragment,e),Jl=p(e),ne=f(e,"P",{"data-svelte-h":!0}),j(ne)!=="svelte-186rpvt"&&(ne.textContent=ve),qe=p(e),y(S.$$.fragment,e),Tl=p(e),ie=f(e,"P",{"data-svelte-h":!0}),j(ie)!=="svelte-1hcvr7a"&&(ie.textContent=ze),Le=p(e),y(D.$$.fragment,e),Pe=p(e),y(q.$$.fragment,e),wl=p(e),re=f(e,"P",{"data-svelte-h":!0}),j(re)!=="svelte-13so8r4"&&(re.textContent=Xe),Ke=p(e),L=f(e,"P",{"data-svelte-h":!0}),j(L)!=="svelte-lexd28"&&(L.textContent=ha),Oe=p(e),y(P.$$.fragment,e),el=p(e),y(K.$$.fragment,e),ll=p(e),y(W.$$.fragment,e),Ul=p(e),pe=f(e,"P",{"data-svelte-h":!0}),j(pe)!=="svelte-2gb85e"&&(pe.textContent=Re),al=p(e),y(O.$$.fragment,e),fl=p(e),y(ce.$$.fragment,e),ue=p(e),Qe=f(e,"P",{"data-svelte-h":!0}),j(Qe)!=="svelte-6il8on"&&(Qe.innerHTML=jl),Me=p(e),y(oe.$$.fragment,e),me=p(e),y(de.$$.fragment,e),ye=p(e),We=f(e,"P",{"data-svelte-h":!0}),j(We)!=="svelte-11rzd2n"&&(We.textContent=bl),Je=p(e),Te=f(e,"P",{"data-svelte-h":!0}),j(Te)!=="svelte-zqsxog"&&(Te.innerHTML=xe),hl=p(e),le=f(e,"DIV",{class:!0,"data-svelte-h":!0}),j(le)!=="svelte-ad79t9"&&(le.innerHTML=Ve),tl=p(e),ee=f(e,"P",{"data-svelte-h":!0}),j(ee)!=="svelte-os0dae"&&(ee.textContent=Cl),l=p(e),y(m.$$.fragment,e),Ia=p(e),y(Il.$$.fragment,e),_a=p(e),_l=f(e,"P",{"data-svelte-h":!0}),j(_l)!=="svelte-1b8waz5"&&(_l.innerHTML=ft),ga=p(e),gl=f(e,"P",{"data-svelte-h":!0}),j(gl)!=="svelte-16vzg8w"&&(gl.innerHTML=jt),ka=p(e),y(kl.$$.fragment,e),Za=p(e),y(Zl.$$.fragment,e),$a=p(e),$l=f(e,"P",{"data-svelte-h":!0}),j($l)!=="svelte-1b7i97r"&&($l.textContent=bt),Ga=p(e),Gl=f(e,"P",{"data-svelte-h":!0}),j(Gl)!=="svelte-1jnxa23"&&(Gl.textContent=ht),Ba=p(e),y(nl.$$.fragment,e),va=p(e),y(Bl.$$.fragment,e),za=p(e),vl=f(e,"P",{"data-svelte-h":!0}),j(vl)!=="svelte-1bci551"&&(vl.innerHTML=Ct),Xa=p(e),Ue.l(e),oa=p(e),zl=f(e,"P",{"data-svelte-h":!0}),j(zl)!=="svelte-kl78gw"&&(zl.innerHTML=It),Ra=p(e),Xl=f(e,"P",{"data-svelte-h":!0}),j(Xl)!=="svelte-1ibjgzj"&&(Xl.innerHTML=_t),Qa=p(e),je.l(e),ma=p(e),Rl=f(e,"P",{"data-svelte-h":!0}),j(Rl)!=="svelte-ed1ynj"&&(Rl.textContent=gt),Wa=p(e),y(Ql.$$.fragment,e),xa=p(e),he.l(e),da=p(e),Wl=f(e,"P",{"data-svelte-h":!0}),j(Wl)!=="svelte-18xxsbw"&&(Wl.textContent=kt),Va=p(e),X&&X.l(e),ya=p(e),y(il.$$.fragment,e),Na=p(e),xl=f(e,"P",{"data-svelte-h":!0}),j(xl)!=="svelte-qmeovb"&&(xl.textContent=Zt),Aa=p(e),y(Vl.$$.fragment,e),Ea=p(e),Nl=f(e,"P",{"data-svelte-h":!0}),j(Nl)!=="svelte-1dujvgk"&&(Nl.textContent=$t),Ya=p(e),Al=f(e,"P",{"data-svelte-h":!0}),j(Al)!=="svelte-fhjhmt"&&(Al.textContent=Gt),Fa=p(e),y(El.$$.fragment,e),Ha=p(e),Ie.l(e),Ja=p(e),y(rl.$$.fragment,e),Sa=p(e),y(pl.$$.fragment,e),Da=p(e),y(Yl.$$.fragment,e),qa=p(e),Fl=f(e,"P",{"data-svelte-h":!0}),j(Fl)!=="svelte-1yv8wjm"&&(Fl.innerHTML=Bt),La=p(e),ge.l(e),Ta=p(e),Hl=f(e,"P",{"data-svelte-h":!0}),j(Hl)!=="svelte-11n9xm4"&&(Hl.textContent=vt),Pa=p(e),y(Sl.$$.fragment,e),Ka=p(e),y(Dl.$$.fragment,e),Oa=p(e),ql=f(e,"P",{"data-svelte-h":!0}),j(ql)!=="svelte-314mkf"&&(ql.innerHTML=zt),et=p(e),y(Ll.$$.fragment,e),lt=p(e),y(Pl.$$.fragment,e),at=p(e),Kl=f(e,"P",{"data-svelte-h":!0}),j(Kl)!=="svelte-f39pdp"&&(Kl.innerHTML=Xt),tt=p(e),y(Ol.$$.fragment,e),st=p(e),y(ea.$$.fragment,e),nt=p(e),la=f(e,"P",{"data-svelte-h":!0}),j(la)!=="svelte-1k2a5gy"&&(la.innerHTML=Rt),it=p(e),y(aa.$$.fragment,e),rt=p(e),y(ta.$$.fragment,e),pt=p(e),sl.l(e),wa=p(e),R&&R.l(e),Ua=p(e),y(sa.$$.fragment,e),ct=p(e),Ca=f(e,"P",{}),wt(Ca).forEach(a),this.h()},h(){Ne(t,"name","hf:doc:metadata"),Ne(t,"content",Ns),rs(Q.src,$e="https://course-demos-codeparrot-ds.hf.space")||Ne(Q,"src",$e),Ne(Q,"frameborder","0"),Ne(Q,"height","300"),Ne(Q,"title","Gradio app"),Ne(Q,"class","block dark:hidden container p-0 flex-grow space-iframe"),Ne(Q,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),Ne(Q,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),Ne(le,"class","flex justify-center")},m(e,i){os(document.head,t),s(e,c,i),s(e,n,i),s(e,o,i),J(_,e,i),s(e,h,i),J($,e,i),s(e,k,i),J(Z,e,i),s(e,w,i),na[b].m(e,i),s(e,z,i),s(e,v,i),s(e,g,i),s(e,B,i),s(e,Ae,i),J(V,e,i),s(e,ol,i),s(e,ae,i),s(e,ml,i),s(e,Q,i),s(e,dl,i),s(e,te,i),s(e,Ee,i),J(N,e,i),s(e,yl,i),s(e,se,i),s(e,Ye,i),s(e,A,i),s(e,Fe,i),J(E,e,i),s(e,He,i),s(e,Y,i),s(e,Se,i),J(F,e,i),s(e,De,i),J(H,e,i),s(e,Jl,i),s(e,ne,i),s(e,qe,i),J(S,e,i),s(e,Tl,i),s(e,ie,i),s(e,Le,i),J(D,e,i),s(e,Pe,i),J(q,e,i),s(e,wl,i),s(e,re,i),s(e,Ke,i),s(e,L,i),s(e,Oe,i),J(P,e,i),s(e,el,i),J(K,e,i),s(e,ll,i),J(W,e,i),s(e,Ul,i),s(e,pe,i),s(e,al,i),J(O,e,i),s(e,fl,i),J(ce,e,i),s(e,ue,i),s(e,Qe,i),s(e,Me,i),J(oe,e,i),s(e,me,i),J(de,e,i),s(e,ye,i),s(e,We,i),s(e,Je,i),s(e,Te,i),s(e,hl,i),s(e,le,i),s(e,tl,i),s(e,ee,i),s(e,l,i),J(m,e,i),s(e,Ia,i),J(Il,e,i),s(e,_a,i),s(e,_l,i),s(e,ga,i),s(e,gl,i),s(e,ka,i),J(kl,e,i),s(e,Za,i),J(Zl,e,i),s(e,$a,i),s(e,$l,i),s(e,Ga,i),s(e,Gl,i),s(e,Ba,i),J(nl,e,i),s(e,va,i),J(Bl,e,i),s(e,za,i),s(e,vl,i),s(e,Xa,i),ia[we].m(e,i),s(e,oa,i),s(e,zl,i),s(e,Ra,i),s(e,Xl,i),s(e,Qa,i),ra[fe].m(e,i),s(e,ma,i),s(e,Rl,i),s(e,Wa,i),J(Ql,e,i),s(e,xa,i),pa[be].m(e,i),s(e,da,i),s(e,Wl,i),s(e,Va,i),X&&X.m(e,i),s(e,ya,i),J(il,e,i),s(e,Na,i),s(e,xl,i),s(e,Aa,i),J(Vl,e,i),s(e,Ea,i),s(e,Nl,i),s(e,Ya,i),s(e,Al,i),s(e,Fa,i),J(El,e,i),s(e,Ha,i),ca[Ce].m(e,i),s(e,Ja,i),J(rl,e,i),s(e,Sa,i),J(pl,e,i),s(e,Da,i),J(Yl,e,i),s(e,qa,i),s(e,Fl,i),s(e,La,i),ua[_e].m(e,i),s(e,Ta,i),s(e,Hl,i),s(e,Pa,i),J(Sl,e,i),s(e,Ka,i),J(Dl,e,i),s(e,Oa,i),s(e,ql,i),s(e,et,i),J(Ll,e,i),s(e,lt,i),J(Pl,e,i),s(e,at,i),s(e,Kl,i),s(e,tt,i),J(Ol,e,i),s(e,st,i),J(ea,e,i),s(e,nt,i),s(e,la,i),s(e,it,i),J(aa,e,i),s(e,rt,i),J(ta,e,i),s(e,pt,i),sl.m(e,i),s(e,wa,i),R&&R.m(e,i),s(e,Ua,i),J(sa,e,i),s(e,ct,i),s(e,Ca,i),ut=!0},p(e,[i]){const Lt={};i&1&&(Lt.fw=e[0]),_.$set(Lt);let ot=b;b=Wt(e),b!==ot&&(ul(),M(na[ot],1,1,()=>{na[ot]=null}),cl(),G=na[b],G||(G=na[b]=Qt[b](e),G.c()),u(G,1),G.m(z.parentNode,z));const Pt={};i&2&&(Pt.$$scope={dirty:i,ctx:e}),W.$set(Pt);const Kt={};i&2&&(Kt.$$scope={dirty:i,ctx:e}),nl.$set(Kt);let mt=we;we=Vt(e),we!==mt&&(ul(),M(ia[mt],1,1,()=>{ia[mt]=null}),cl(),Ue=ia[we],Ue||(Ue=ia[we]=xt[we](e),Ue.c()),u(Ue,1),Ue.m(oa.parentNode,oa));let dt=fe;fe=At(e),fe!==dt&&(ul(),M(ra[dt],1,1,()=>{ra[dt]=null}),cl(),je=ra[fe],je||(je=ra[fe]=Nt[fe](e),je.c()),u(je,1),je.m(ma.parentNode,ma));let yt=be;be=Yt(e),be!==yt&&(ul(),M(pa[yt],1,1,()=>{pa[yt]=null}),cl(),he=pa[be],he||(he=pa[be]=Et[be](e),he.c()),u(he,1),he.m(da.parentNode,da)),e[0]==="tf"?X?i&1&&u(X,1):(X=ts(),X.c(),u(X,1),X.m(ya.parentNode,ya)):X&&(ul(),M(X,1,1,()=>{X=null}),cl());const Ot={};i&2&&(Ot.$$scope={dirty:i,ctx:e}),il.$set(Ot);let Jt=Ce;Ce=Ht(e),Ce!==Jt&&(ul(),M(ca[Jt],1,1,()=>{ca[Jt]=null}),cl(),Ie=ca[Ce],Ie||(Ie=ca[Ce]=Ft[Ce](e),Ie.c()),u(Ie,1),Ie.m(Ja.parentNode,Ja));const es={};i&2&&(es.$$scope={dirty:i,ctx:e}),rl.$set(es);const ls={};i&3&&(ls.$$scope={dirty:i,ctx:e}),pl.$set(ls);let Tt=_e;_e=Dt(e),_e!==Tt&&(ul(),M(ua[Tt],1,1,()=>{ua[Tt]=null}),cl(),ge=ua[_e],ge||(ge=ua[_e]=St[_e](e),ge.c()),u(ge,1),ge.m(Ta.parentNode,Ta)),Mt!==(Mt=qt(e))&&(sl.d(1),sl=Mt(e),sl&&(sl.c(),sl.m(wa.parentNode,wa))),e[0]==="pt"?R?i&1&&u(R,1):(R=ss(e),R.c(),u(R,1),R.m(Ua.parentNode,Ua)):R&&(ul(),M(R,1,1,()=>{R=null}),cl())},i(e){ut||(u(_.$$.fragment,e),u($.$$.fragment,e),u(Z.$$.fragment,e),u(G),u(V.$$.fragment,e),u(N.$$.fragment,e),u(E.$$.fragment,e),u(F.$$.fragment,e),u(H.$$.fragment,e),u(S.$$.fragment,e),u(D.$$.fragment,e),u(q.$$.fragment,e),u(P.$$.fragment,e),u(K.$$.fragment,e),u(W.$$.fragment,e),u(O.$$.fragment,e),u(ce.$$.fragment,e),u(oe.$$.fragment,e),u(de.$$.fragment,e),u(m.$$.fragment,e),u(Il.$$.fragment,e),u(kl.$$.fragment,e),u(Zl.$$.fragment,e),u(nl.$$.fragment,e),u(Bl.$$.fragment,e),u(Ue),u(je),u(Ql.$$.fragment,e),u(he),u(X),u(il.$$.fragment,e),u(Vl.$$.fragment,e),u(El.$$.fragment,e),u(Ie),u(rl.$$.fragment,e),u(pl.$$.fragment,e),u(Yl.$$.fragment,e),u(ge),u(Sl.$$.fragment,e),u(Dl.$$.fragment,e),u(Ll.$$.fragment,e),u(Pl.$$.fragment,e),u(Ol.$$.fragment,e),u(ea.$$.fragment,e),u(aa.$$.fragment,e),u(ta.$$.fragment,e),u(R),u(sa.$$.fragment,e),ut=!0)},o(e){M(_.$$.fragment,e),M($.$$.fragment,e),M(Z.$$.fragment,e),M(G),M(V.$$.fragment,e),M(N.$$.fragment,e),M(E.$$.fragment,e),M(F.$$.fragment,e),M(H.$$.fragment,e),M(S.$$.fragment,e),M(D.$$.fragment,e),M(q.$$.fragment,e),M(P.$$.fragment,e),M(K.$$.fragment,e),M(W.$$.fragment,e),M(O.$$.fragment,e),M(ce.$$.fragment,e),M(oe.$$.fragment,e),M(de.$$.fragment,e),M(m.$$.fragment,e),M(Il.$$.fragment,e),M(kl.$$.fragment,e),M(Zl.$$.fragment,e),M(nl.$$.fragment,e),M(Bl.$$.fragment,e),M(Ue),M(je),M(Ql.$$.fragment,e),M(he),M(X),M(il.$$.fragment,e),M(Vl.$$.fragment,e),M(El.$$.fragment,e),M(Ie),M(rl.$$.fragment,e),M(pl.$$.fragment,e),M(Yl.$$.fragment,e),M(ge),M(Sl.$$.fragment,e),M(Dl.$$.fragment,e),M(Ll.$$.fragment,e),M(Pl.$$.fragment,e),M(Ol.$$.fragment,e),M(ea.$$.fragment,e),M(aa.$$.fragment,e),M(ta.$$.fragment,e),M(R),M(sa.$$.fragment,e),ut=!1},d(e){e&&(a(c),a(n),a(o),a(h),a(k),a(w),a(z),a(v),a(g),a(B),a(Ae),a(ol),a(ae),a(ml),a(Q),a(dl),a(te),a(Ee),a(yl),a(se),a(Ye),a(A),a(Fe),a(He),a(Y),a(Se),a(De),a(Jl),a(ne),a(qe),a(Tl),a(ie),a(Le),a(Pe),a(wl),a(re),a(Ke),a(L),a(Oe),a(el),a(ll),a(Ul),a(pe),a(al),a(fl),a(ue),a(Qe),a(Me),a(me),a(ye),a(We),a(Je),a(Te),a(hl),a(le),a(tl),a(ee),a(l),a(Ia),a(_a),a(_l),a(ga),a(gl),a(ka),a(Za),a($a),a($l),a(Ga),a(Gl),a(Ba),a(va),a(za),a(vl),a(Xa),a(oa),a(zl),a(Ra),a(Xl),a(Qa),a(ma),a(Rl),a(Wa),a(xa),a(da),a(Wl),a(Va),a(ya),a(Na),a(xl),a(Aa),a(Ea),a(Nl),a(Ya),a(Al),a(Fa),a(Ha),a(Ja),a(Sa),a(Da),a(qa),a(Fl),a(La),a(Ta),a(Hl),a(Pa),a(Ka),a(Oa),a(ql),a(et),a(lt),a(at),a(Kl),a(tt),a(st),a(nt),a(la),a(it),a(rt),a(pt),a(wa),a(Ua),a(ct),a(Ca)),a(t),T(_,e),T($,e),T(Z,e),na[b].d(e),T(V,e),T(N,e),T(E,e),T(F,e),T(H,e),T(S,e),T(D,e),T(q,e),T(P,e),T(K,e),T(W,e),T(O,e),T(ce,e),T(oe,e),T(de,e),T(m,e),T(Il,e),T(kl,e),T(Zl,e),T(nl,e),T(Bl,e),ia[we].d(e),ra[fe].d(e),T(Ql,e),pa[be].d(e),X&&X.d(e),T(il,e),T(Vl,e),T(El,e),ca[Ce].d(e),T(rl,e),T(pl,e),T(Yl,e),ua[_e].d(e),T(Sl,e),T(Dl,e),T(Ll,e),T(Pl,e),T(Ol,e),T(ea,e),T(aa,e),T(ta,e),sl.d(e),R&&R.d(e),T(sa,e)}}}const Ns='{"title":"Antrenarea de la zero a unui model de limbaj cauzal","local":"training-a-causal-language-model-from-scratch","sections":[{"title":"Colectarea datelor","local":"gathering-the-data","sections":[],"depth":2},{"title":"Pregătirea datasetului","local":"preparing-the-dataset","sections":[],"depth":2},{"title":"Inițializarea unui nou model","local":"initializing-a-new-model","sections":[],"depth":2},{"title":"Generarea codului cu un pipeline","local":"code-generation-with-a-pipeline","sections":[],"depth":2},{"title":"Antrenarea cu 🤗 Accelerate","local":"training-with-accelerate","sections":[],"depth":2}],"depth":1}';function As(I,t,c){let n="pt";return ps(()=>{const o=new URLSearchParams(window.location.search);c(0,n=o.get("fw")||"pt")}),[n]}class Ps extends cs{constructor(t){super(),us(this,t,As,Vs,is,{})}}export{Ps as component};
