import{s as Mt,a as rt,o as ct,n as ul}from"../chunks/scheduler.cc52f4b9.js";import{S as mt,i as dt,e as j,s as o,c as d,h as yt,a as w,d as l,b as p,f as yn,g as y,j as b,k as A,l as Ut,m as t,n as U,o as M,u as is,t as u,p as J,y as ot,v as us}from"../chunks/index.9480bb2b.js";import{T as Ms}from"../chunks/Tip.f7b80743.js";import{C as Jt,H as jl,E as Tt}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.04d617be.js";import{Y as fn}from"../chunks/Youtube.7b12d9e8.js";import{C}from"../chunks/CodeBlock.f4148b32.js";import{C as ut}from"../chunks/CourseFloatingBanner.cdc38ef1.js";import{F as jt}from"../chunks/FrameworkSwitchCourse.42d12053.js";function wt(I){let n,i;return n=new ut({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"English",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_tf.ipynb"},{label:"Français",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/fr/chapter7/section6_tf.ipynb"},{label:"English",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_tf.ipynb"},{label:"Français",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/fr/chapter7/section6_tf.ipynb"}]}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function bt(I){let n,i;return n=new ut({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"English",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_pt.ipynb"},{label:"Français",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/fr/chapter7/section6_pt.ipynb"},{label:"English",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter7/section6_pt.ipynb"},{label:"Français",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/fr/chapter7/section6_pt.ipynb"}]}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function ft(I){let n,i="Le pré-entraînement du modèle de langue prendra un certain temps. Nous vous suggérons donc d’exécuter d’abord la boucle d’entraînement sur un petit échantillon des données en décommentant les deux lignes dans le code ci-dessus. Assurez-vous alors que l’entraînement se termine avec succès et que les modèles sont stockés. Rien n’est plus frustrant qu’un entraînement qui échoue à la dernière étape car vous avez oublié de créer un dossier ou parce qu’il y a une faute de frappe à la fin de la boucle d’entraînement !";return{c(){n=j("p"),n.textContent=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-7uq7hm"&&(n.textContent=i)},m(a,c){t(a,n,c)},p:ul,d(a){a&&l(n)}}}function ht(I){let n,i="✏️ <strong>Essayez !</strong> Se débarrasser de tous les morceaux qui sont plus petits que la taille du contexte n’était pas un gros problème ici parce que nous utilisons de petites fenêtres de contexte. Si vous augmentez la taille du contexte (ou si vous avez un corpus de documents courts), la fraction des morceaux qui sont jetés augmentera. Une façon plus efficace de préparer les données est de joindre tous les échantillons dans un batch avec un <em>token</em> <code>eos_token_id</code> entre les deux, puis d’effectuer le découpage sur les séquences concaténées. Comme exercice, modifiez la fonction <code>tokenize()</code> pour utiliser cette approche. Notez que vous devrez mettre <code>truncation=False</code> et enlever les autres arguments du <em>tokenizer</em> pour obtenir la séquence complète des identifiants des <em>tokens</em>.";return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-1ytgv5e"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},p:ul,d(a){a&&l(n)}}}function Ct(I){let n,i,a,c="Avec cette configuration, nous pouvons charger un nouveau modèle. Notez que c’est la première fois que nous n’utilisons pas la fonction <code>from_pretrained()</code> puisque nous initialisons nous-mêmes un modèle :",_,h,Z,v,k;return n=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBURkdQVDJMTUhlYWRNb2RlbCUyQyUyMEF1dG9Db25maWclMEElMEFjb25maWclMjAlM0QlMjBBdXRvQ29uZmlnLmZyb21fcHJldHJhaW5lZCglMEElMjAlMjAlMjAlMjAlMjJncHQyJTIyJTJDJTBBJTIwJTIwJTIwJTIwdm9jYWJfc2l6ZSUzRGxlbih0b2tlbml6ZXIpJTJDJTBBJTIwJTIwJTIwJTIwbl9jdHglM0Rjb250ZXh0X2xlbmd0aCUyQyUwQSUyMCUyMCUyMCUyMGJvc190b2tlbl9pZCUzRHRva2VuaXplci5ib3NfdG9rZW5faWQlMkMlMEElMjAlMjAlMjAlMjBlb3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuZW9zX3Rva2VuX2lkJTJDJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFGPT2LMHeadModel, AutoConfig

config = AutoConfig.from_pretrained(
    <span class="hljs-string">&quot;gpt2&quot;</span>,
    vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
    n_ctx=context_length,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),h=new C({props:{code:"bW9kZWwlMjAlM0QlMjBURkdQVDJMTUhlYWRNb2RlbChjb25maWcpJTBBbW9kZWwobW9kZWwuZHVtbXlfaW5wdXRzKSUyMCUyMCUyMyUyMENvbnN0cnVpdCUyMGxlJTIwbW9kJUMzJUE4bGUlMEFtb2RlbC5zdW1tYXJ5KCk=",highlighted:`model = TFGPT2LMHeadModel(config)
model(model.dummy_inputs)  <span class="hljs-comment"># Construit le modèle</span>
model.summary()`,wrap:!1}}),v=new C({props:{code:"X19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX18lMEFMYXllciUyMCh0eXBlKSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyME91dHB1dCUyMFNoYXBlJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwUGFyYW0lMjAlMjMlMjAlMjAlMjAlMEElM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlMEF0cmFuc2Zvcm1lciUyMChURkdQVDJNYWluTGF5ZXIlMjBtdWx0aXBsZSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDEyNDI0MjQzMiUyMCUwQSUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUwQVRvdGFsJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBVHJhaW5hYmxlJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBTm9uLXRyYWluYWJsZSUyMHBhcmFtcyUzQSUyMDAlMEFfX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXw==",highlighted:`_________________________________________________________________
Layer (<span class="hljs-built_in">type</span>)                 Output Shape              Param <span class="hljs-comment">#   </span>
=================================================================
transformer (TFGPT2MainLayer multiple                  <span class="hljs-number">124242432</span> 
=================================================================
Total params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Trainable params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Non-trainable params: <span class="hljs-number">0</span>
_________________________________________________________________`,wrap:!1}}),{c(){d(n.$$.fragment),i=o(),a=j("p"),a.innerHTML=c,_=o(),d(h.$$.fragment),Z=o(),d(v.$$.fragment)},l(T){y(n.$$.fragment,T),i=p(T),a=w(T,"P",{"data-svelte-h":!0}),b(a)!=="svelte-10q4vn3"&&(a.innerHTML=c),_=p(T),y(h.$$.fragment,T),Z=p(T),y(v.$$.fragment,T)},m(T,f){U(n,T,f),t(T,i,f),t(T,a,f),t(T,_,f),U(h,T,f),t(T,Z,f),U(v,T,f),k=!0},i(T){k||(u(n.$$.fragment,T),u(h.$$.fragment,T),u(v.$$.fragment,T),k=!0)},o(T){M(n.$$.fragment,T),M(h.$$.fragment,T),M(v.$$.fragment,T),k=!1},d(T){T&&(l(i),l(a),l(_),l(Z)),J(n,T),J(h,T),J(v,T)}}}function It(I){let n,i,a,c="Avec cette configuration, nous pouvons charger un nouveau modèle. Notez que c’est la première fois que nous n’utilisons pas la fonction <code>from_pretrained()</code> puisque nous initialisons nous-mêmes un modèle :",_,h,Z,v,k;return n=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBHUFQyTE1IZWFkTW9kZWwlMkMlMjBBdXRvQ29uZmlnJTBBJTBBY29uZmlnJTIwJTNEJTIwQXV0b0NvbmZpZy5mcm9tX3ByZXRyYWluZWQoJTBBJTIwJTIwJTIwJTIwJTIyZ3B0MiUyMiUyQyUwQSUyMCUyMCUyMCUyMHZvY2FiX3NpemUlM0RsZW4odG9rZW5pemVyKSUyQyUwQSUyMCUyMCUyMCUyMG5fY3R4JTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjBib3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuYm9zX3Rva2VuX2lkJTJDJTBBJTIwJTIwJTIwJTIwZW9zX3Rva2VuX2lkJTNEdG9rZW5pemVyLmVvc190b2tlbl9pZCUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, GPT2LMHeadModel, AutoConfig

config = AutoConfig.from_pretrained(
    <span class="hljs-string">&quot;gpt2&quot;</span>,
    vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
    n_ctx=context_length,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),h=new C({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKSUwQW1vZGVsX3NpemUlMjAlM0QlMjBzdW0odC5udW1lbCgpJTIwZm9yJTIwdCUyMGluJTIwbW9kZWwucGFyYW1ldGVycygpKSUwQXByaW50KGYlMjJHUFQtMiUyMHNpemUlM0ElMjAlN0Jtb2RlbF9zaXplJTJGMTAwMCoqMiUzQS4xZiU3RE0lMjBwYXJhbWV0ZXJzJTIyKQ==",highlighted:`model = GPT2LMHeadModel(config)
model_size = <span class="hljs-built_in">sum</span>(t.numel() <span class="hljs-keyword">for</span> t <span class="hljs-keyword">in</span> model.parameters())
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;GPT-2 size: <span class="hljs-subst">{model_size/<span class="hljs-number">1000</span>**<span class="hljs-number">2</span>:<span class="hljs-number">.1</span>f}</span>M parameters&quot;</span>)`,wrap:!1}}),v=new C({props:{code:"R1BULTIlMjBzaXplJTNBJTIwMTI0LjJNJTIwcGFyYW1ldGVycw==",highlighted:'GPT-<span class="hljs-number">2</span> size: <span class="hljs-number">124.2</span>M parameters',wrap:!1}}),{c(){d(n.$$.fragment),i=o(),a=j("p"),a.innerHTML=c,_=o(),d(h.$$.fragment),Z=o(),d(v.$$.fragment)},l(T){y(n.$$.fragment,T),i=p(T),a=w(T,"P",{"data-svelte-h":!0}),b(a)!=="svelte-10q4vn3"&&(a.innerHTML=c),_=p(T),y(h.$$.fragment,T),Z=p(T),y(v.$$.fragment,T)},m(T,f){U(n,T,f),t(T,i,f),t(T,a,f),t(T,_,f),U(h,T,f),t(T,Z,f),U(v,T,f),k=!0},i(T){k||(u(n.$$.fragment,T),u(h.$$.fragment,T),u(v.$$.fragment,T),k=!0)},o(T){M(n.$$.fragment,T),M(h.$$.fragment,T),M(v.$$.fragment,T),k=!1},d(T){T&&(l(i),l(a),l(_),l(Z)),J(n,T),J(h,T),J(v,T)}}}function _t(I){let n,i;return n=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling

tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function gt(I){let n,i;return n=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling

tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>)`,wrap:!1}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function vt(I){let n,i;return n=new C({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCklMEFhdHRlbnRpb25fbWFzayUyMHNoYXBlJTNBJTIwKDUlMkMlMjAxMjgpJTBBbGFiZWxzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCk=",highlighted:`input_ids shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
attention_mask shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
labels shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)`,wrap:!1}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function kt(I){let n,i;return n=new C({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjB0b3JjaC5TaXplKCU1QjUlMkMlMjAxMjglNUQpJTBBYXR0ZW50aW9uX21hc2slMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCklMEFsYWJlbHMlMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCk=",highlighted:`input_ids shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
attention_mask shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
labels shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])`,wrap:!1}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function pt(I){let n,i="Maintenant nous pouvons utiliser la méthode <code>prepare_tf_dataset()</code> pour convertir nos jeux de données en jeux de données TensorFlow avec l’assembleur de données que nous avons créé ci-dessus :",a,c,_;return c=new C({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMG1vZGVsLnByZXBhcmVfdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfZGF0YXNldCU1QiUyMnRyYWluJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0QzMiUyQyUwQSklMEF0Zl9ldmFsX2RhdGFzZXQlMjAlM0QlMjBtb2RlbC5wcmVwYXJlX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwdG9rZW5pemVkX2RhdGFzZXQlNUIlMjJ2YWxpZCUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMGNvbGxhdGVfZm4lM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzREZhbHNlJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDMyJTJDJTBBKQ==",highlighted:`tf_train_dataset = model.prepare_tf_dataset(
    tokenized_dataset[<span class="hljs-string">&quot;train&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">True</span>,
    batch_size=<span class="hljs-number">32</span>,
)
tf_eval_dataset = model.prepare_tf_dataset(
    tokenized_dataset[<span class="hljs-string">&quot;valid&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">False</span>,
    batch_size=<span class="hljs-number">32</span>,
)`,wrap:!1}}),{c(){n=j("p"),n.innerHTML=i,a=o(),d(c.$$.fragment)},l(h){n=w(h,"P",{"data-svelte-h":!0}),b(n)!=="svelte-12qk88j"&&(n.innerHTML=i),a=p(h),y(c.$$.fragment,h)},m(h,Z){t(h,n,Z),t(h,a,Z),U(c,h,Z),_=!0},i(h){_||(u(c.$$.fragment,h),_=!0)},o(h){M(c.$$.fragment,h),_=!1},d(h){h&&(l(n),l(a)),J(c,h)}}}function Zt(I){let n,i="⚠️ Le déplacement des entrées et des étiquettes pour les aligner se fait à l’intérieur du modèle, de sorte que l’assembleur de données ne fait que copier les entrées pour créer les étiquettes.";return{c(){n=j("p"),n.textContent=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-r75aem"&&(n.textContent=i)},m(a,c){t(a,n,c)},p:ul,d(a){a&&l(n)}}}function $t(I){let n,i="Tout ce qu’il reste à faire est de configurer les hyperparamètres d’entraînement et d’appeler <code>compile()</code> et <code>fit()</code>. Nous utiliserons un programme de taux d’apprentissage avec un réchauffement pour améliorer la stabilité de l’entraînement :",a,c,_,h,Z="Maintenant, nous pouvons simplement appeler <code>model.fit()</code> et attendre que l’entraînement se termine. Selon que vous l’exécutez sur la totalité ou sur un sous-ensemble de l’échantillon d’entraînement, cela prendra respectivement 20 ou 2 heures. Alors prenez quelques cafés et un bon livre à lire ! Une fois l’entraînement terminé, nous pouvons pousser le modèle et le <em>tokenizer</em> vers le <em>Hub</em> :",v,k,T;return c=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGNyZWF0ZV9vcHRpbWl6ZXIlMEFpbXBvcnQlMjB0ZW5zb3JmbG93JTIwYXMlMjB0ZiUwQSUwQW51bV90cmFpbl9zdGVwcyUyMCUzRCUyMGxlbih0Zl90cmFpbl9kYXRhc2V0KSUwQW9wdGltaXplciUyQyUyMHNjaGVkdWxlJTIwJTNEJTIwY3JlYXRlX29wdGltaXplciglMEElMjAlMjAlMjAlMjBpbml0X2xyJTNENWUtNSUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QxXzAwMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbl9zdGVwcyUzRG51bV90cmFpbl9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheV9yYXRlJTNEMC4wMSUyQyUwQSklMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzRG9wdGltaXplciklMEElMEElMjMlMjBFbnRyYSVDMyVBRW5lciUyMGVuJTIwbWl4ZWQtcHJlY2lzaW9uJTIwZmxvYXQxNiUwQXRmLmtlcmFzLm1peGVkX3ByZWNpc2lvbi5zZXRfZ2xvYmFsX3BvbGljeSglMjJtaXhlZF9mbG9hdDE2JTIyKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> create_optimizer
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset)
optimizer, schedule = create_optimizer(
    init_lr=<span class="hljs-number">5e-5</span>,
    num_warmup_steps=<span class="hljs-number">1_000</span>,
    num_train_steps=num_train_steps,
    weight_decay_rate=<span class="hljs-number">0.01</span>,
)
model.<span class="hljs-built_in">compile</span>(optimizer=optimizer)

<span class="hljs-comment"># Entraîner en mixed-precision float16</span>
tf.keras.mixed_precision.set_global_policy(<span class="hljs-string">&quot;mixed_float16&quot;</span>)`,wrap:!1}}),k=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQWNhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2sob3V0cHV0X2RpciUzRCUyMmNvZGVwYXJyb3QtZHMlMjIlMkMlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIpJTBBJTBBbW9kZWwuZml0KHRmX3RyYWluX2RhdGFzZXQlMkMlMjB2YWxpZGF0aW9uX2RhdGElM0R0Zl9ldmFsX2RhdGFzZXQlMkMlMjBjYWxsYmFja3MlM0QlNUJjYWxsYmFjayU1RCk=",highlighted:`<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback

callback = PushToHubCallback(output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>, tokenizer=tokenizer)

model.fit(tf_train_dataset, validation_data=tf_eval_dataset, callbacks=[callback])`,wrap:!1}}),{c(){n=j("p"),n.innerHTML=i,a=o(),d(c.$$.fragment),_=o(),h=j("p"),h.innerHTML=Z,v=o(),d(k.$$.fragment)},l(f){n=w(f,"P",{"data-svelte-h":!0}),b(n)!=="svelte-yrrdez"&&(n.innerHTML=i),a=p(f),y(c.$$.fragment,f),_=p(f),h=w(f,"P",{"data-svelte-h":!0}),b(h)!=="svelte-puoinj"&&(h.innerHTML=Z),v=p(f),y(k.$$.fragment,f)},m(f,$){t(f,n,$),t(f,a,$),U(c,f,$),t(f,_,$),t(f,h,$),t(f,v,$),U(k,f,$),T=!0},i(f){T||(u(c.$$.fragment,f),u(k.$$.fragment,f),T=!0)},o(f){M(c.$$.fragment,f),M(k.$$.fragment,f),T=!1},d(f){f&&(l(n),l(a),l(_),l(h),l(v)),J(c,f),J(k,f)}}}function Gt(I){let n,i="Tout ce qu’il reste à faire est de configurer les arguments d’entraînement et de lancer la fonction <code>Trainer</code>. Nous utiliserons un programme de taux d’apprentissage de type cosinus avec un réchauffement et une taille de batch de 256 (<code>per_device_train_batch_size</code> x <code>gradient_accumulation_steps</code>). L’accumulation du gradient est utilisée lorsqu’un seul batch ne tient pas en mémoire, et construit le gradient de manière incrémentale à travers plusieurs passages en avant/en arrière. Nous verrons cela en action lorsque nous créerons la boucle d’entraînement avec 🤗 <em>Accelerate</em>.",a,c,_,h,Z="Maintenant, nous pouvons simplement lancer le <code>Trainer</code> et attendre que l’entraînement se termine. Selon que vous l’exécutez sur la totalité ou sur un sous-ensemble de l’échantillon d’entraînement, cela prendra respectivement 20 ou 2 heures. Alors prenez quelques cafés et un bon livre à lire !",v,k,T,f,$="Une fois l’entraînement terminé, nous pouvons pousser le modèle et le <em>tokenizer</em> vers le <em>Hub</em> :",Q,B,E;return c=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluZXIlMkMlMjBUcmFpbmluZ0FyZ3VtZW50cyUwQSUwQWFyZ3MlMjAlM0QlMjBUcmFpbmluZ0FyZ3VtZW50cyglMEElMjAlMjAlMjAlMjBvdXRwdXRfZGlyJTNEJTIyY29kZXBhcnJvdC1kcyUyMiUyQyUwQSUyMCUyMCUyMCUyMHBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDMyJTJDJTBBJTIwJTIwJTIwJTIwcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0QzMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWx1YXRpb25fc3RyYXRlZ3klM0QlMjJzdGVwcyUyMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWxfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGxvZ2dpbmdfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUzRDglMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fZXBvY2hzJTNEMSUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheSUzRDAuMSUyQyUwQSUyMCUyMCUyMCUyMHdhcm11cF9zdGVwcyUzRDFfMDAwJTJDJTBBJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyX3R5cGUlM0QlMjJjb3NpbmUlMjIlMkMlMEElMjAlMjAlMjAlMjBsZWFybmluZ19yYXRlJTNENWUtNCUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGZwMTYlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwcHVzaF90b19odWIlM0RUcnVlJTJDJTBBKSUwQSUwQXRyYWluZXIlMjAlM0QlMjBUcmFpbmVyKCUwQSUyMCUyMCUyMCUyMG1vZGVsJTNEbW9kZWwlMkMlMEElMjAlMjAlMjAlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMEElMjAlMjAlMjAlMjBhcmdzJTNEYXJncyUyQyUwQSUyMCUyMCUyMCUyMGRhdGFfY29sbGF0b3IlM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwdHJhaW5fZGF0YXNldCUzRHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwZXZhbF9kYXRhc2V0JTNEdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydmFsaWQlMjIlNUQlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Trainer, TrainingArguments

args = TrainingArguments(
    output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>,
    per_device_train_batch_size=<span class="hljs-number">32</span>,
    per_device_eval_batch_size=<span class="hljs-number">32</span>,
    evaluation_strategy=<span class="hljs-string">&quot;steps&quot;</span>,
    eval_steps=<span class="hljs-number">5_000</span>,
    logging_steps=<span class="hljs-number">5_000</span>,
    gradient_accumulation_steps=<span class="hljs-number">8</span>,
    num_train_epochs=<span class="hljs-number">1</span>,
    weight_decay=<span class="hljs-number">0.1</span>,
    warmup_steps=<span class="hljs-number">1_000</span>,
    lr_scheduler_type=<span class="hljs-string">&quot;cosine&quot;</span>,
    learning_rate=<span class="hljs-number">5e-4</span>,
    save_steps=<span class="hljs-number">5_000</span>,
    fp16=<span class="hljs-literal">True</span>,
    push_to_hub=<span class="hljs-literal">True</span>,
)

trainer = Trainer(
    model=model,
    tokenizer=tokenizer,
    args=args,
    data_collator=data_collator,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;valid&quot;</span>],
)`,wrap:!1}}),k=new C({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:"trainer.train()",wrap:!1}}),B=new C({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yigp",highlighted:"trainer.push_to_hub()",wrap:!1}}),{c(){n=j("p"),n.innerHTML=i,a=o(),d(c.$$.fragment),_=o(),h=j("p"),h.innerHTML=Z,v=o(),d(k.$$.fragment),T=o(),f=j("p"),f.innerHTML=$,Q=o(),d(B.$$.fragment)},l(g){n=w(g,"P",{"data-svelte-h":!0}),b(n)!=="svelte-6k81lp"&&(n.innerHTML=i),a=p(g),y(c.$$.fragment,g),_=p(g),h=w(g,"P",{"data-svelte-h":!0}),b(h)!=="svelte-16b346u"&&(h.innerHTML=Z),v=p(g),y(k.$$.fragment,g),T=p(g),f=w(g,"P",{"data-svelte-h":!0}),b(f)!=="svelte-1vcit78"&&(f.innerHTML=$),Q=p(g),y(B.$$.fragment,g)},m(g,G){t(g,n,G),t(g,a,G),U(c,g,G),t(g,_,G),t(g,h,G),t(g,v,G),U(k,g,G),t(g,T,G),t(g,f,G),t(g,Q,G),U(B,g,G),E=!0},i(g){E||(u(c.$$.fragment,g),u(k.$$.fragment,g),u(B.$$.fragment,g),E=!0)},o(g){M(c.$$.fragment,g),M(k.$$.fragment,g),M(B.$$.fragment,g),E=!1},d(g){g&&(l(n),l(a),l(_),l(h),l(v),l(T),l(f),l(Q)),J(c,g),J(k,g),J(B,g)}}}function Bt(I){let n,i="✏️ <strong>Essayez !</strong> Il ne nous a fallu qu’une trentaine de lignes de code en plus des <code>TrainingArguments</code> pour passer des textes bruts à l’entraînement du GPT-2. Essayez-le avec votre propre jeu de données et voyez si vous pouvez obtenir de bons résultats !";return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-gir6yo"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},p:ul,d(a){a&&l(n)}}}function Qt(I){let n,i='💡 Si vous avez accès à une machine avec plusieurs GPUs, vous pouvez essayer d’utiliser <code>MirroredStrategy</code> pour accélérer considérablement l’entraînement. Vous devrez créer un objet <code>tf.distribute.MirroredStrategy</code> et vous assurer que toutes les méthodes <code>to_tf_dataset()</code> ou <code>prepare_tf_dataset()</code> ainsi que la création du modèle et l’appel à <code>fit()</code> sont tous exécutés dans <code>scope()</code>. Vous pouvez consulter la documentation à ce sujet <a href="https://www.tensorflow.org/guide/distributed_training#use_tfdistributestrategy_with_keras_modelfit" rel="nofollow">ici</a>.';return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-1hojixp"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},d(a){a&&l(n)}}}function Xt(I){let n,i="💡 Si vous avez accès à une machine avec plusieurs GPUs, essayez d’y exécuter le code. <code>Trainer</code> gère automatiquement plusieurs machines ce qui peut accélérer considérablement l’entraînement.";return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-1kglhc6"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},d(a){a&&l(n)}}}function zt(I){let n;function i(_,h){return _[0]==="pt"?Xt:Qt}let a=i(I),c=a(I);return{c(){c.c(),n=ot()},l(_){c.l(_),n=ot()},m(_,h){c.m(_,h),t(_,n,h)},p(_,h){a!==(a=i(_))&&(c.d(1),c=a(_),c&&(c.c(),c.m(n.parentNode,n)))},d(_){_&&l(n),c.d(_)}}}function Rt(I){let n,i;return n=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBY291cnNlX21vZGVsJTIwJTNEJTIwVEZHUFQyTE1IZWFkTW9kZWwuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBY291cnNlX3Rva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBcGlwZSUyMCUzRCUyMHBpcGVsaW5lKCUwQSUyMCUyMCUyMCUyMCUyMnRleHQtZ2VuZXJhdGlvbiUyMiUyQyUyMG1vZGVsJTNEY291cnNlX21vZGVsJTJDJTIwdG9rZW5pemVyJTNEY291cnNlX3Rva2VuaXplciUyQyUyMGRldmljZSUzRDAlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

course_model = TFGPT2LMHeadModel.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
course_tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
pipe = pipeline(
    <span class="hljs-string">&quot;text-generation&quot;</span>, model=course_model, tokenizer=course_tokenizer, device=<span class="hljs-number">0</span>
)`,wrap:!1}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function Wt(I){let n,i;return n=new C({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwcGlwZWxpbmUlMEElMEFkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEFwaXBlJTIwJTNEJTIwcGlwZWxpbmUoJTBBJTIwJTIwJTIwJTIwJTIydGV4dC1nZW5lcmF0aW9uJTIyJTJDJTIwbW9kZWwlM0QlMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzJTIyJTJDJTIwZGV2aWNlJTNEZGV2aWNlJTBBKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
pipe = pipeline(
    <span class="hljs-string">&quot;text-generation&quot;</span>, model=<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>, device=device
)`,wrap:!1}}),{c(){d(n.$$.fragment)},l(a){y(n.$$.fragment,a)},m(a,c){U(n,a,c),i=!0},i(a){i||(u(n.$$.fragment,a),i=!0)},o(a){M(n.$$.fragment,a),i=!1},d(a){J(n,a)}}}function At(I){let n,i="Au vu de ces quelques exemples, il semble que le modèle ait appris une partie de la syntaxe des bibliothèques Python de science des données. Bien sûr, nous devrions évaluer le modèle de manière plus approfondie avant de le déployer dans le monde réel, mais il s’agit tout de même d’un prototype impressionnant. Parfois, il est nécessaire de personnaliser davantage l’entraînement du modèle afin d’obtenir les performances nécessaires pour un cas d’utilisation donné. Par exemple, que se passe-t-il si l’on souhaite mettre à jour dynamiquement la taille du batch ou si l’on dispose d’une boucle d’entraînement conditionnelle qui ignore les mauvais exemples à la volée ? Une option serait de sous-classer le <code>Trainer</code> et d’ajouter les changements nécessaires, mais parfois il est plus simple d’écrire la boucle d’entraînement à partir de zéro. C’est là qu’intervient 🤗 <em>Accelerate</em>.";return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-1obdlhb"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},d(a){a&&l(n)}}}function Vt(I){let n,i="Au vu de ces quelques exemples, il semble que le modèle ait appris une partie de la syntaxe des bibliothèques Python de science des données. Bien sûr, nous devrions évaluer le modèle de manière plus approfondie avant de le déployer dans le monde réel, mais il s’agit tout de même d’un prototype impressionnant.";return{c(){n=j("p"),n.textContent=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-1oosok4"&&(n.textContent=i)},m(a,c){t(a,n,c)},d(a){a&&l(n)}}}function it(I){let n,i,a,c="Nous avons vu comment entraîner un modèle avec le <code>Trainer</code>, qui permet une certaine personnalisation. Cependant, parfois nous voulons un contrôle total sur la boucle d’entraînement ou nous souhaitons faire quelques changements exotiques. Dans ce cas, 🤗 <em>Accelerate</em> est un excellent choix, et dans cette section, nous allons suivre les étapes pour l’utiliser pour entraîner notre modèle. Pour rendre les choses plus intéressantes, nous allons également ajouter une touche à la boucle d’entraînement.",_,h,Z,v,k="Puisque nous sommes principalement intéressés par l’autocomplétion pour les bibliothèques de science des données, il est logique de donner plus de poids aux échantillons d’entraînement qui utilisent davantage ces bibliothèques. Nous pouvons facilement identifier ces exemples grâce à l’utilisation de mots-clés tels que <code>plt</code>, <code>pd</code>, <code>sk</code>, <code>fit</code>, et <code>predict</code>, qui sont les noms d’importation les plus fréquents pour <code>matplotlib.pyplot</code>, <code>pandas</code>, et <code>sklearn</code> ainsi que les fonctions <code>fit</code> et <code>predict</code> de cette dernière. Si chacun d’entre eux est représenté par un seul <em>token</em>, nous pouvons facilement vérifier s’ils apparaissent dans la séquence d’entrée. Les <em>tokens</em> peuvent avoir un préfixe d’espacement, donc nous vérifierons aussi ces versions dans le vocabulaire du <em>tokenizer</em>. Pour vérifier que cela fonctionne, nous ajouterons un <em>token</em> de test qui devrait être divisé en plusieurs <em>tokens</em> :",T,f,$,Q,B,E,g="Super, ça a l’air de bien fonctionner ! Nous pouvons maintenant écrire une fonction de perte personnalisée qui prend la séquence d’entrée, les logits et les <em>tokens</em> clés que nous venons de sélectionner comme entrées. Tout d’abord, nous devons aligner les logits et les entrées : la séquence d’entrée décalée d’une unité vers la droite forme les étiquettes, puisque le <em>token</em> suivant est l’étiquette du <em>token</em> actuel. Nous pouvons y parvenir en commençant les étiquettes à partir du deuxième <em>token</em> de la séquence d’entrée, puisque le modèle ne fait pas de prédiction pour le premier <em>token</em> de toute façon. Ensuite, nous coupons le dernier logit, car nous n’avons pas d’étiquette pour le <em>token</em> qui suit la séquence d’entrée complète. Avec cela, nous pouvons calculer la perte par échantillon et compter les occurrences de tous les mots-clés dans chaque échantillon. Enfin, nous calculons la moyenne pondérée sur tous les échantillons en utilisant les occurrences comme poids. Comme nous ne voulons pas rejeter tous les échantillons qui ne contiennent pas de mots-clés, nous ajoutons 1 aux poids :",G,ke,Ve,N,cs="Avant de commencer à entraîner avec cette nouvelle fonction de perte géniale, nous devons préparer quelques éléments :",ae,Ze,ms="<li>Nous avons besoin de chargeurs de données pour charger les données par batch.</li> <li>Nous devons définir les paramètres de décroissance des poids.</li> <li>De temps en temps, nous voulons évaluer, il est donc logique d’envelopper le code d’évaluation dans une fonction.</li>",R,$e,ds="Commençons par les chargeurs de données. Nous avons seulement besoin de définir le format du jeu de données à <code>&quot;torch&quot;</code> et ensuite nous pouvons le passer à un PyTorch <code>DataLoader</code> avec la taille de batch appropriée :",W,Ge,xe,q,wl="Ensuite, nous regroupons les paramètres de façon à ce que l’optimiseur sache lesquels bénéficieront d’une décroissance de poids supplémentaire. Habituellement, tous les termes de biais et les poids de la <em>LayerNorm</em> en sont exemptés. Voici comment nous pouvons le faire :",Ee,H,Ne,F,bl="Puisque nous voulons évaluer le modèle régulièrement sur l’ensemble de validation pendant l’entraînement, écrivons une fonction pour cela aussi. Elle passe simplement par le <em>dataloader</em> d’évaluation et rassemble toutes les pertes à travers les processus :",qe,Y,ys,re,Be='Avec la fonction <code>evaluate()</code> nous pouvons rapporter la perte et la <a href="/course/fr/chapter7/3">perplexité</a> à intervalles réguliers. Ensuite, nous redéfinissons notre modèle pour nous assurer que nous entraînons à nouveau à partir de zéro :',He,S,Us,oe,Qe="Nous pouvons ensuite définir notre optimiseur, en utilisant la fonction précédente pour diviser les paramètres de décroissance des poids :",Fe,D,Ye,L,fl="Préparons maintenant le modèle, l’optimiseur et les chargeurs de données pour pouvoir commencer l’entraînement :",Se,K,De,P,Js,pe,Xe="Maintenant que nous avons envoyé notre <code>train_dataloader</code> à <code>accelerator.prepare()</code>, nous pouvons utiliser sa longueur pour calculer le nombre d’étapes d’entraînement. Rappelez-vous que nous devons toujours faire cela après avoir préparé le <em>dataloader</em> car cette méthode modifiera sa longueur. Nous utilisons un programme linéaire classique du taux d’apprentissage à 0 :",Le,O,Ke,ee,hl="Enfin, pour pousser notre modèle vers le <em>Hub</em>, nous aurons besoin de créer un objet <code>Repository</code> dans un dossier de travail. Tout d’abord, connectez-vous au <em>Hub</em>, si vous n’êtes pas déjà connecté. Nous déterminerons le nom du dépôt à partir de l’identifiant du modèle que nous voulons donner à notre modèle (n’hésitez pas à remplacer le <code>repo_name</code> par votre propre choix. Il doit juste contenir votre nom d’utilisateur, ce que fait la fonction <code>get_full_repo_name()</code>) :",Pe,se,Ts,ie,ue,Me,ze="Ensuite, nous pouvons cloner ce dépôt dans un dossier local. S’il existe déjà, ce dossier local doit être un clone existant du dépôt avec lequel nous travaillons :",Oe,V,es,le,Cl="Nous pouvons maintenant télécharger tout ce que nous sauvegardons dans <code>output_dir</code> en appelant la méthode <code>repo.push_to_hub()</code>. Cela nous aidera à télécharger les modèles intermédiaires à la fin de chaque époque.",ss,ne,js="Avant de nous entraîner, exécutons un test rapide pour voir si la fonction d’évaluation fonctionne correctement :",ce,me,de,Re,ls,te,ws="Ce sont des valeurs très élevées pour la perte et la perplexité, mais ce n’est pas surprenant puisque nous n’avons pas encore entraîné le modèle. Avec cela, nous avons tout préparé pour écrire la partie principale du script d’entraînement : la boucle d’entraînement. Dans celle-ci, nous itérons sur le chargeur de données et transmettons les batchs au modèle. Avec les logits, nous pouvons alors évaluer notre fonction de perte personnalisée. Nous mettons à l’échelle la perte par le nombre d’étapes d’accumulation du gradient afin de ne pas créer de plus grandes pertes en agrégeant plus d’étapes. Avant de procéder à l’optimisation, nous découpons également les gradients pour une meilleure convergence. Enfin, tous les quelques pas, nous évaluons le modèle sur l’ensemble d’évaluation avec notre nouvelle fonction <code>evaluate()</code> :",ye,Ue,Je,We,bs="Et voilà, vous disposez maintenant de votre propre boucle d’entraînement personnalisée pour les modèles de langage causal tels que le GPT-2. Vous pouvez encore l’adapter à vos besoins.",Te,Ae,ns,x,fs;return n=new jl({props:{title:"Entraîner avec 🤗 <i> Accelerate </i>",local:"entraîner-avec--i-accelerate-i",headingTag:"h2"}}),h=new fn({props:{id:"Hm8_PgVTFuc"}}),f=new C({props:{code:"a2V5dG9rZW5faWRzJTIwJTNEJTIwJTVCJTVEJTBBZm9yJTIwa2V5d29yZCUyMGluJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIycGx0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIycGQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJzayUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmZpdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnByZWRpY3QlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwbHQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwZCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMiUyMHNrJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwZml0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwcHJlZGljdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnRlc3R0ZXN0JTIyJTJDJTBBJTVEJTNBJTBBJTIwJTIwJTIwJTIwaWRzJTIwJTNEJTIwdG9rZW5pemVyKCU1QmtleXdvcmQlNUQpLmlucHV0X2lkcyU1QjAlNUQlMEElMjAlMjAlMjAlMjBpZiUyMGxlbihpZHMpJTIwJTNEJTNEJTIwMSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGtleXRva2VuX2lkcy5hcHBlbmQoaWRzJTVCMCU1RCklMEElMjAlMjAlMjAlMjBlbHNlJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJpbnQoZiUyMktleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMCU3QmtleXdvcmQlN0QlMjIp",highlighted:`keytoken_ids = []
<span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> [
    <span class="hljs-string">&quot;plt&quot;</span>,
    <span class="hljs-string">&quot;pd&quot;</span>,
    <span class="hljs-string">&quot;sk&quot;</span>,
    <span class="hljs-string">&quot;fit&quot;</span>,
    <span class="hljs-string">&quot;predict&quot;</span>,
    <span class="hljs-string">&quot; plt&quot;</span>,
    <span class="hljs-string">&quot; pd&quot;</span>,
    <span class="hljs-string">&quot; sk&quot;</span>,
    <span class="hljs-string">&quot; fit&quot;</span>,
    <span class="hljs-string">&quot; predict&quot;</span>,
    <span class="hljs-string">&quot;testtest&quot;</span>,
]:
    ids = tokenizer([keyword]).input_ids[<span class="hljs-number">0</span>]
    <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(ids) == <span class="hljs-number">1</span>:
        keytoken_ids.append(ids[<span class="hljs-number">0</span>])
    <span class="hljs-keyword">else</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Keyword has not single token: <span class="hljs-subst">{keyword}</span>&quot;</span>)`,wrap:!1}}),Q=new C({props:{code:"J0tleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMHRlc3R0ZXN0Jw==",highlighted:'<span class="hljs-string">&#x27;Keyword has not single token: testtest&#x27;</span>',wrap:!1}}),ke=new C({props:{code:"ZnJvbSUyMHRvcmNoLm5uJTIwaW1wb3J0JTIwQ3Jvc3NFbnRyb3B5TG9zcyUwQWltcG9ydCUyMHRvcmNoJTBBJTBBJTBBZGVmJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhpbnB1dHMlMkMlMjBsb2dpdHMlMkMlMjBrZXl0b2tlbl9pZHMlMkMlMjBhbHBoYSUzRDEuMCklM0ElMEElMjAlMjAlMjAlMjAlMjMlMjBEJUMzJUE5Y2FsYWdlJTIwcG91ciUyMHF1ZSUyMHRva2VucyUyMCUzQyUyMG4lMjBwciVDMyVBOWRpc2VudCUyMG4lMEElMjAlMjAlMjAlMjBzaGlmdF9sYWJlbHMlMjAlM0QlMjBpbnB1dHMlNUIuLi4lMkMlMjAxJTNBJTVELmNvbnRpZ3VvdXMoKSUwQSUyMCUyMCUyMCUyMHNoaWZ0X2xvZ2l0cyUyMCUzRCUyMGxvZ2l0cyU1Qi4uLiUyQyUyMCUzQS0xJTJDJTIwJTNBJTVELmNvbnRpZ3VvdXMoKSUwQSUyMCUyMCUyMCUyMCUyMyUyMENhbGN1bCUyMGRlJTIwbGElMjBwZXJ0ZSUyMHBhciUyMHRva2VuJTBBJTIwJTIwJTIwJTIwbG9zc19mY3QlMjAlM0QlMjBDcm9zc0VudHJvcHlMb3NzKHJlZHVjZSUzREZhbHNlKSUwQSUyMCUyMCUyMCUyMGxvc3MlMjAlM0QlMjBsb3NzX2ZjdChzaGlmdF9sb2dpdHMudmlldygtMSUyQyUyMHNoaWZ0X2xvZ2l0cy5zaXplKC0xKSklMkMlMjBzaGlmdF9sYWJlbHMudmlldygtMSkpJTBBJTIwJTIwJTIwJTIwJTIzJTIwUmVkaW1lbnNpb25uZW1lbnQlMjBldCUyMHBlcnRlJTIwbW95ZW5uZSUyMHBhciUyMCVDMyVBOWNoYW50aWxsb24lMEElMjAlMjAlMjAlMjBsb3NzX3Blcl9zYW1wbGUlMjAlM0QlMjBsb3NzLnZpZXcoc2hpZnRfbG9naXRzLnNpemUoMCklMkMlMjBzaGlmdF9sb2dpdHMuc2l6ZSgxKSkubWVhbihheGlzJTNEMSklMEElMjAlMjAlMjAlMjAlMjMlMjBDYWxjdWxlciUyMGV0JTIwJUMzJUE5Y2hlbG9ubmVyJTIwbGElMjBwb25kJUMzJUE5cmF0aW9uJTBBJTIwJTIwJTIwJTIwd2VpZ2h0cyUyMCUzRCUyMHRvcmNoLnN0YWNrKCU1QihpbnB1dHMlMjAlM0QlM0QlMjBrdCkuZmxvYXQoKSUyMGZvciUyMGt0JTIwaW4lMjBrZXl0b2tlbl9pZHMlNUQpLnN1bSglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBheGlzJTNEJTVCMCUyQyUyMDIlNUQlMEElMjAlMjAlMjAlMjApJTBBJTIwJTIwJTIwJTIwd2VpZ2h0cyUyMCUzRCUyMGFscGhhJTIwKiUyMCgxLjAlMjAlMkIlMjB3ZWlnaHRzKSUwQSUyMCUyMCUyMCUyMCUyMyUyMENhbGN1bGVyJTIwbGElMjBtb3llbm5lJTIwcG9uZCVDMyVBOXIlQzMlQTllJTBBJTIwJTIwJTIwJTIwd2VpZ2h0ZWRfbG9zcyUyMCUzRCUyMChsb3NzX3Blcl9zYW1wbGUlMjAqJTIwd2VpZ2h0cykubWVhbigpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwd2VpZ2h0ZWRfbG9zcw==",highlighted:`<span class="hljs-keyword">from</span> torch.nn <span class="hljs-keyword">import</span> CrossEntropyLoss
<span class="hljs-keyword">import</span> torch


<span class="hljs-keyword">def</span> <span class="hljs-title function_">keytoken_weighted_loss</span>(<span class="hljs-params">inputs, logits, keytoken_ids, alpha=<span class="hljs-number">1.0</span></span>):
    <span class="hljs-comment"># Décalage pour que tokens &lt; n prédisent n</span>
    shift_labels = inputs[..., <span class="hljs-number">1</span>:].contiguous()
    shift_logits = logits[..., :-<span class="hljs-number">1</span>, :].contiguous()
    <span class="hljs-comment"># Calcul de la perte par token</span>
    loss_fct = CrossEntropyLoss(reduce=<span class="hljs-literal">False</span>)
    loss = loss_fct(shift_logits.view(-<span class="hljs-number">1</span>, shift_logits.size(-<span class="hljs-number">1</span>)), shift_labels.view(-<span class="hljs-number">1</span>))
    <span class="hljs-comment"># Redimensionnement et perte moyenne par échantillon</span>
    loss_per_sample = loss.view(shift_logits.size(<span class="hljs-number">0</span>), shift_logits.size(<span class="hljs-number">1</span>)).mean(axis=<span class="hljs-number">1</span>)
    <span class="hljs-comment"># Calculer et échelonner la pondération</span>
    weights = torch.stack([(inputs == kt).<span class="hljs-built_in">float</span>() <span class="hljs-keyword">for</span> kt <span class="hljs-keyword">in</span> keytoken_ids]).<span class="hljs-built_in">sum</span>(
        axis=[<span class="hljs-number">0</span>, <span class="hljs-number">2</span>]
    )
    weights = alpha * (<span class="hljs-number">1.0</span> + weights)
    <span class="hljs-comment"># Calculer la moyenne pondérée</span>
    weighted_loss = (loss_per_sample * weights).mean()
    <span class="hljs-keyword">return</span> weighted_loss`,wrap:!1}}),Ge=new C({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGEuZGF0YWxvYWRlciUyMGltcG9ydCUyMERhdGFMb2FkZXIlMEElMEF0b2tlbml6ZWRfZGF0YXNldC5zZXRfZm9ybWF0KCUyMnRvcmNoJTIyKSUwQXRyYWluX2RhdGFsb2FkZXIlMjAlM0QlMjBEYXRhTG9hZGVyKHRva2VuaXplZF9kYXRhc2V0JTVCJTIydHJhaW4lMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMzIlMkMlMjBzaHVmZmxlJTNEVHJ1ZSklMEFldmFsX2RhdGFsb2FkZXIlMjAlM0QlMjBEYXRhTG9hZGVyKHRva2VuaXplZF9kYXRhc2V0JTVCJTIydmFsaWQlMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMzIp",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data.dataloader <span class="hljs-keyword">import</span> DataLoader

tokenized_dataset.set_format(<span class="hljs-string">&quot;torch&quot;</span>)
train_dataloader = DataLoader(tokenized_dataset[<span class="hljs-string">&quot;train&quot;</span>], batch_size=<span class="hljs-number">32</span>, shuffle=<span class="hljs-literal">True</span>)
eval_dataloader = DataLoader(tokenized_dataset[<span class="hljs-string">&quot;valid&quot;</span>], batch_size=<span class="hljs-number">32</span>)`,wrap:!1}}),H=new C({props:{code:"d2VpZ2h0X2RlY2F5JTIwJTNEJTIwMC4xJTBBJTBBJTBBZGVmJTIwZ2V0X2dyb3VwZWRfcGFyYW1zKG1vZGVsJTJDJTIwbm9fZGVjYXklM0QlNUIlMjJiaWFzJTIyJTJDJTIwJTIyTGF5ZXJOb3JtLndlaWdodCUyMiU1RCklM0ElMEElMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZCUyQyUyMHBhcmFtc193aXRob3V0X3dkJTIwJTNEJTIwJTVCJTVEJTJDJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbiUyQyUyMHAlMjBpbiUyMG1vZGVsLm5hbWVkX3BhcmFtZXRlcnMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55KG5kJTIwaW4lMjBuJTIwZm9yJTIwbmQlMjBpbiUyMG5vX2RlY2F5KSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBhcmFtc193aXRob3V0X3dkLmFwcGVuZChwKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsc2UlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZC5hcHBlbmQocCklMEElMjAlMjAlMjAlMjByZXR1cm4lMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlN0IlMjJwYXJhbXMlMjIlM0ElMjBwYXJhbXNfd2l0aF93ZCUyQyUyMCUyMndlaWdodF9kZWNheSUyMiUzQSUyMHdlaWdodF9kZWNheSU3RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3QiUyMnBhcmFtcyUyMiUzQSUyMHBhcmFtc193aXRob3V0X3dkJTJDJTIwJTIyd2VpZ2h0X2RlY2F5JTIyJTNBJTIwMC4wJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTVE",highlighted:`weight_decay = <span class="hljs-number">0.1</span>


<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_grouped_params</span>(<span class="hljs-params">model, no_decay=[<span class="hljs-string">&quot;bias&quot;</span>, <span class="hljs-string">&quot;LayerNorm.weight&quot;</span>]</span>):
    params_with_wd, params_without_wd = [], []
    <span class="hljs-keyword">for</span> n, p <span class="hljs-keyword">in</span> model.named_parameters():
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">any</span>(nd <span class="hljs-keyword">in</span> n <span class="hljs-keyword">for</span> nd <span class="hljs-keyword">in</span> no_decay):
            params_without_wd.append(p)
        <span class="hljs-keyword">else</span>:
            params_with_wd.append(p)
    <span class="hljs-keyword">return</span> [
        {<span class="hljs-string">&quot;params&quot;</span>: params_with_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: weight_decay},
        {<span class="hljs-string">&quot;params&quot;</span>: params_without_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: <span class="hljs-number">0.0</span>},
    ]`,wrap:!1}}),Y=new C({props:{code:"ZGVmJTIwZXZhbHVhdGUoKSUzQSUwQSUyMCUyMCUyMCUyMG1vZGVsLmV2YWwoKSUwQSUyMCUyMCUyMCUyMGxvc3NlcyUyMCUzRCUyMCU1QiU1RCUwQSUyMCUyMCUyMCUyMGZvciUyMHN0ZXAlMkMlMjBiYXRjaCUyMGluJTIwZW51bWVyYXRlKGV2YWxfZGF0YWxvYWRlciklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3aXRoJTIwdG9yY2gubm9fZ3JhZCgpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3V0cHV0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEJTJDJTIwbGFiZWxzJTNEYmF0Y2glNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zc2VzLmFwcGVuZChhY2NlbGVyYXRvci5nYXRoZXIob3V0cHV0cy5sb3NzKSklMEElMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwdG9yY2gubWVhbih0b3JjaC5jYXQobG9zc2VzKSklMEElMjAlMjAlMjAlMjB0cnklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwZXJwbGV4aXR5JTIwJTNEJTIwdG9yY2guZXhwKGxvc3MpJTBBJTIwJTIwJTIwJTIwZXhjZXB0JTIwT3ZlcmZsb3dFcnJvciUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBlcnBsZXhpdHklMjAlM0QlMjBmbG9hdCglMjJpbmYlMjIpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbG9zcy5pdGVtKCklMkMlMjBwZXJwbGV4aXR5Lml0ZW0oKQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">evaluate</span>():
    model.<span class="hljs-built_in">eval</span>()
    losses = []
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(eval_dataloader):
        <span class="hljs-keyword">with</span> torch.no_grad():
            outputs = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], labels=batch[<span class="hljs-string">&quot;input_ids&quot;</span>])

        losses.append(accelerator.gather(outputs.loss))
    loss = torch.mean(torch.cat(losses))
    <span class="hljs-keyword">try</span>:
        perplexity = torch.exp(loss)
    <span class="hljs-keyword">except</span> OverflowError:
        perplexity = <span class="hljs-built_in">float</span>(<span class="hljs-string">&quot;inf&quot;</span>)
    <span class="hljs-keyword">return</span> loss.item(), perplexity.item()`,wrap:!1}}),S=new C({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKQ==",highlighted:"model = GPT2LMHeadModel(config)",wrap:!1}}),D=new C({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhnZXRfZ3JvdXBlZF9wYXJhbXMobW9kZWwpJTJDJTIwbHIlM0Q1ZS00KQ==",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

optimizer = AdamW(get_grouped_params(model), lr=<span class="hljs-number">5e-4</span>)`,wrap:!1}}),K=new C({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoZnAxNiUzRFRydWUpJTBBJTBBbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMkMlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwYWNjZWxlcmF0b3IucHJlcGFyZSglMEElMjAlMjAlMjAlMjBtb2RlbCUyQyUyMG9wdGltaXplciUyQyUyMHRyYWluX2RhdGFsb2FkZXIlMkMlMjBldmFsX2RhdGFsb2FkZXIlMEEp",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

accelerator = Accelerator(fp16=<span class="hljs-literal">True</span>)

model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
    model, optimizer, train_dataloader, eval_dataloader
)`,wrap:!1}}),P=new Ms({props:{$$slots:{default:[xt]},$$scope:{ctx:I}}}),O=new C({props:{code:"bnVtX3RyYWluX2Vwb2NocyUyMCUzRCUyMDElMEFudW1fdXBkYXRlX3N0ZXBzX3Blcl9lcG9jaCUyMCUzRCUyMGxlbih0cmFpbl9kYXRhbG9hZGVyKSUwQW51bV90cmFpbmluZ19zdGVwcyUyMCUzRCUyMG51bV90cmFpbl9lcG9jaHMlMjAqJTIwbnVtX3VwZGF0ZV9zdGVwc19wZXJfZXBvY2glMEElMEFscl9zY2hlZHVsZXIlMjAlM0QlMjBnZXRfc2NoZWR1bGVyKCUwQSUyMCUyMCUyMCUyMG5hbWUlM0QlMjJsaW5lYXIlMjIlMkMlMEElMjAlMjAlMjAlMjBvcHRpbWl6ZXIlM0RvcHRpbWl6ZXIlMkMlMEElMjAlMjAlMjAlMjBudW1fd2FybXVwX3N0ZXBzJTNEMV8wMDAlMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5pbmdfc3RlcHMlM0RudW1fdHJhaW5pbmdfc3RlcHMlMkMlMEEp",highlighted:`num_train_epochs = <span class="hljs-number">1</span>
num_update_steps_per_epoch = <span class="hljs-built_in">len</span>(train_dataloader)
num_training_steps = num_train_epochs * num_update_steps_per_epoch

lr_scheduler = get_scheduler(
    name=<span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">1_000</span>,
    num_training_steps=num_training_steps,
)`,wrap:!1}}),se=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMFJlcG9zaXRvcnklMkMlMjBnZXRfZnVsbF9yZXBvX25hbWUlMEElMEFtb2RlbF9uYW1lJTIwJTNEJTIwJTIyY29kZXBhcnJvdC1kcy1hY2NlbGVyYXRlJTIyJTBBcmVwb19uYW1lJTIwJTNEJTIwZ2V0X2Z1bGxfcmVwb19uYW1lKG1vZGVsX25hbWUpJTBBcmVwb19uYW1l",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> Repository, get_full_repo_name

model_name = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo_name = get_full_repo_name(model_name)
repo_name`,wrap:!1}}),ie=new C({props:{code:"J3NndWdnZXIlMkZjb2RlcGFycm90LWRzLWFjY2VsZXJhdGUn",highlighted:'<span class="hljs-string">&#x27;sgugger/codeparrot-ds-accelerate&#x27;</span>',wrap:!1}}),V=new C({props:{code:"b3V0cHV0X2RpciUyMCUzRCUyMCUyMmNvZGVwYXJyb3QtZHMtYWNjZWxlcmF0ZSUyMiUwQXJlcG8lMjAlM0QlMjBSZXBvc2l0b3J5KG91dHB1dF9kaXIlMkMlMjBjbG9uZV9mcm9tJTNEcmVwb19uYW1lKQ==",highlighted:`output_dir = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo = Repository(output_dir, clone_from=repo_name)`,wrap:!1}}),me=new C({props:{code:"ZXZhbHVhdGUoKQ==",highlighted:"evaluate()",wrap:!1}}),Re=new C({props:{code:"KDEwLjkzNDEyNjg1Mzk0Mjg3MSUyQyUyMDU2MDU3LjE0NDUzMTI1KQ==",highlighted:'(<span class="hljs-number">10.934126853942871</span>, <span class="hljs-number">56057.14453125</span>)',wrap:!1}}),Ue=new C({props:{code:"ZnJvbSUyMHRxZG0ubm90ZWJvb2slMjBpbXBvcnQlMjB0cWRtJTBBJTBBZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTIwJTNEJTIwOCUwQWV2YWxfc3RlcHMlMjAlM0QlMjA1XzAwMCUwQSUwQW1vZGVsLnRyYWluKCklMEFjb21wbGV0ZWRfc3RlcHMlMjAlM0QlMjAwJTBBZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV90cmFpbl9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwc3RlcCUyQyUyMGJhdGNoJTIwaW4lMjB0cWRtKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVudW1lcmF0ZSh0cmFpbl9kYXRhbG9hZGVyJTJDJTIwc3RhcnQlM0QxKSUyQyUyMHRvdGFsJTNEbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBJTIwJTIwJTIwJTIwKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvZ2l0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEKS5sb2dpdHMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhiYXRjaCU1QiUyMmlucHV0X2lkcyUyMiU1RCUyQyUyMGxvZ2l0cyUyQyUyMGtleXRva2VuX2lkcyklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMHN0ZXAlMjAlMjUlMjAxMDAlMjAlM0QlM0QlMjAwJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IucHJpbnQoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIybHIlMjIlM0ElMjBnZXRfbHIoKSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnNhbXBsZXMlMjIlM0ElMjBzdGVwJTIwKiUyMHNhbXBsZXNfcGVyX3N0ZXAlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJzdGVwcyUyMiUzQSUyMGNvbXBsZXRlZF9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmxvc3MlMkZ0cmFpbiUyMiUzQSUyMGxvc3MuaXRlbSgpJTIwKiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwbG9zcyUyMCUyRiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBzdGVwJTIwJTI1JTIwZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTIwJTNEJTNEJTIwMCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmNsaXBfZ3JhZF9ub3JtXyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjAxLjApJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBjb21wbGV0ZWRfc3RlcHMlMjAlMkIlM0QlMjAxJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjAoc3RlcCUyMCUyNSUyMChldmFsX3N0ZXBzJTIwKiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcykpJTIwJTNEJTNEJTIwMCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGV2YWxfbG9zcyUyQyUyMHBlcnBsZXhpdHklMjAlM0QlMjBldmFsdWF0ZSgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IucHJpbnQoJTdCJTIybG9zcyUyRmV2YWwlMjIlM0ElMjBldmFsX2xvc3MlMkMlMjAlMjJwZXJwbGV4aXR5JTIyJTNBJTIwcGVycGxleGl0eSU3RCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtb2RlbC50cmFpbigpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3Iud2FpdF9mb3JfZXZlcnlvbmUoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHVud3JhcHBlZF9tb2RlbCUyMCUzRCUyMGFjY2VsZXJhdG9yLnVud3JhcF9tb2RlbChtb2RlbCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB1bndyYXBwZWRfbW9kZWwuc2F2ZV9wcmV0cmFpbmVkKG91dHB1dF9kaXIlMkMlMjBzYXZlX2Z1bmN0aW9uJTNEYWNjZWxlcmF0b3Iuc2F2ZSklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMGFjY2VsZXJhdG9yLmlzX21haW5fcHJvY2VzcyUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRva2VuaXplci5zYXZlX3ByZXRyYWluZWQob3V0cHV0X2RpciklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXBvLnB1c2hfdG9faHViKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNvbW1pdF9tZXNzYWdlJTNEZiUyMlRyYWluaW5nJTIwaW4lMjBwcm9ncmVzcyUyMHN0ZXAlMjAlN0JzdGVwJTdEJTIyJTJDJTIwYmxvY2tpbmclM0RGYWxzZSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCk=",highlighted:`<span class="hljs-keyword">from</span> tqdm.notebook <span class="hljs-keyword">import</span> tqdm

gradient_accumulation_steps = <span class="hljs-number">8</span>
eval_steps = <span class="hljs-number">5_000</span>

model.train()
completed_steps = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_train_epochs):
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> tqdm(
        <span class="hljs-built_in">enumerate</span>(train_dataloader, start=<span class="hljs-number">1</span>), total=<span class="hljs-built_in">len</span>(train_dataloader)
    ):
        logits = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>]).logits
        loss = keytoken_weighted_loss(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], logits, keytoken_ids)
        <span class="hljs-keyword">if</span> step % <span class="hljs-number">100</span> == <span class="hljs-number">0</span>:
            accelerator.<span class="hljs-built_in">print</span>(
                {
                    <span class="hljs-string">&quot;lr&quot;</span>: get_lr(),
                    <span class="hljs-string">&quot;samples&quot;</span>: step * samples_per_step,
                    <span class="hljs-string">&quot;steps&quot;</span>: completed_steps,
                    <span class="hljs-string">&quot;loss/train&quot;</span>: loss.item() * gradient_accumulation_steps,
                }
            )
        loss = loss / gradient_accumulation_steps
        accelerator.backward(loss)
        <span class="hljs-keyword">if</span> step % gradient_accumulation_steps == <span class="hljs-number">0</span>:
            accelerator.clip_grad_norm_(model.parameters(), <span class="hljs-number">1.0</span>)
            optimizer.step()
            lr_scheduler.step()
            optimizer.zero_grad()
            completed_steps += <span class="hljs-number">1</span>
        <span class="hljs-keyword">if</span> (step % (eval_steps * gradient_accumulation_steps)) == <span class="hljs-number">0</span>:
            eval_loss, perplexity = evaluate()
            accelerator.<span class="hljs-built_in">print</span>({<span class="hljs-string">&quot;loss/eval&quot;</span>: eval_loss, <span class="hljs-string">&quot;perplexity&quot;</span>: perplexity})
            model.train()
            accelerator.wait_for_everyone()
            unwrapped_model = accelerator.unwrap_model(model)
            unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)
            <span class="hljs-keyword">if</span> accelerator.is_main_process:
                tokenizer.save_pretrained(output_dir)
                repo.push_to_hub(
                    commit_message=<span class="hljs-string">f&quot;Training in progress step <span class="hljs-subst">{step}</span>&quot;</span>, blocking=<span class="hljs-literal">False</span>
                )`,wrap:!1}}),Ae=new Ms({props:{$$slots:{default:[Et]},$$scope:{ctx:I}}}),x=new Ms({props:{$$slots:{default:[Nt]},$$scope:{ctx:I}}}),{c(){d(n.$$.fragment),i=o(),a=j("p"),a.innerHTML=c,_=o(),d(h.$$.fragment),Z=o(),v=j("p"),v.innerHTML=k,T=o(),d(f.$$.fragment),$=o(),d(Q.$$.fragment),B=o(),E=j("p"),E.innerHTML=g,G=o(),d(ke.$$.fragment),Ve=o(),N=j("p"),N.textContent=cs,ae=o(),Ze=j("ul"),Ze.innerHTML=ms,R=o(),$e=j("p"),$e.innerHTML=ds,W=o(),d(Ge.$$.fragment),xe=o(),q=j("p"),q.innerHTML=wl,Ee=o(),d(H.$$.fragment),Ne=o(),F=j("p"),F.innerHTML=bl,qe=o(),d(Y.$$.fragment),ys=o(),re=j("p"),re.innerHTML=Be,He=o(),d(S.$$.fragment),Us=o(),oe=j("p"),oe.textContent=Qe,Fe=o(),d(D.$$.fragment),Ye=o(),L=j("p"),L.textContent=fl,Se=o(),d(K.$$.fragment),De=o(),d(P.$$.fragment),Js=o(),pe=j("p"),pe.innerHTML=Xe,Le=o(),d(O.$$.fragment),Ke=o(),ee=j("p"),ee.innerHTML=hl,Pe=o(),d(se.$$.fragment),Ts=o(),d(ie.$$.fragment),ue=o(),Me=j("p"),Me.textContent=ze,Oe=o(),d(V.$$.fragment),es=o(),le=j("p"),le.innerHTML=Cl,ss=o(),ne=j("p"),ne.textContent=js,ce=o(),d(me.$$.fragment),de=o(),d(Re.$$.fragment),ls=o(),te=j("p"),te.innerHTML=ws,ye=o(),d(Ue.$$.fragment),Je=o(),We=j("p"),We.textContent=bs,Te=o(),d(Ae.$$.fragment),ns=o(),d(x.$$.fragment)},l(s){y(n.$$.fragment,s),i=p(s),a=w(s,"P",{"data-svelte-h":!0}),b(a)!=="svelte-c8px9o"&&(a.innerHTML=c),_=p(s),y(h.$$.fragment,s),Z=p(s),v=w(s,"P",{"data-svelte-h":!0}),b(v)!=="svelte-19f9b60"&&(v.innerHTML=k),T=p(s),y(f.$$.fragment,s),$=p(s),y(Q.$$.fragment,s),B=p(s),E=w(s,"P",{"data-svelte-h":!0}),b(E)!=="svelte-jx88zi"&&(E.innerHTML=g),G=p(s),y(ke.$$.fragment,s),Ve=p(s),N=w(s,"P",{"data-svelte-h":!0}),b(N)!=="svelte-rlxpr2"&&(N.textContent=cs),ae=p(s),Ze=w(s,"UL",{"data-svelte-h":!0}),b(Ze)!=="svelte-1vj6u2z"&&(Ze.innerHTML=ms),R=p(s),$e=w(s,"P",{"data-svelte-h":!0}),b($e)!=="svelte-1ctnuyk"&&($e.innerHTML=ds),W=p(s),y(Ge.$$.fragment,s),xe=p(s),q=w(s,"P",{"data-svelte-h":!0}),b(q)!=="svelte-1wo3v6a"&&(q.innerHTML=wl),Ee=p(s),y(H.$$.fragment,s),Ne=p(s),F=w(s,"P",{"data-svelte-h":!0}),b(F)!=="svelte-1uj13c8"&&(F.innerHTML=bl),qe=p(s),y(Y.$$.fragment,s),ys=p(s),re=w(s,"P",{"data-svelte-h":!0}),b(re)!=="svelte-6xkein"&&(re.innerHTML=Be),He=p(s),y(S.$$.fragment,s),Us=p(s),oe=w(s,"P",{"data-svelte-h":!0}),b(oe)!=="svelte-1izzw9s"&&(oe.textContent=Qe),Fe=p(s),y(D.$$.fragment,s),Ye=p(s),L=w(s,"P",{"data-svelte-h":!0}),b(L)!=="svelte-2txhcy"&&(L.textContent=fl),Se=p(s),y(K.$$.fragment,s),De=p(s),y(P.$$.fragment,s),Js=p(s),pe=w(s,"P",{"data-svelte-h":!0}),b(pe)!=="svelte-al3txz"&&(pe.innerHTML=Xe),Le=p(s),y(O.$$.fragment,s),Ke=p(s),ee=w(s,"P",{"data-svelte-h":!0}),b(ee)!=="svelte-1qf7jzv"&&(ee.innerHTML=hl),Pe=p(s),y(se.$$.fragment,s),Ts=p(s),y(ie.$$.fragment,s),ue=p(s),Me=w(s,"P",{"data-svelte-h":!0}),b(Me)!=="svelte-1ollvfx"&&(Me.textContent=ze),Oe=p(s),y(V.$$.fragment,s),es=p(s),le=w(s,"P",{"data-svelte-h":!0}),b(le)!=="svelte-1jqz79z"&&(le.innerHTML=Cl),ss=p(s),ne=w(s,"P",{"data-svelte-h":!0}),b(ne)!=="svelte-yglqf1"&&(ne.textContent=js),ce=p(s),y(me.$$.fragment,s),de=p(s),y(Re.$$.fragment,s),ls=p(s),te=w(s,"P",{"data-svelte-h":!0}),b(te)!=="svelte-gocp5n"&&(te.innerHTML=ws),ye=p(s),y(Ue.$$.fragment,s),Je=p(s),We=w(s,"P",{"data-svelte-h":!0}),b(We)!=="svelte-x4kgtz"&&(We.textContent=bs),Te=p(s),y(Ae.$$.fragment,s),ns=p(s),y(x.$$.fragment,s)},m(s,m){U(n,s,m),t(s,i,m),t(s,a,m),t(s,_,m),U(h,s,m),t(s,Z,m),t(s,v,m),t(s,T,m),U(f,s,m),t(s,$,m),U(Q,s,m),t(s,B,m),t(s,E,m),t(s,G,m),U(ke,s,m),t(s,Ve,m),t(s,N,m),t(s,ae,m),t(s,Ze,m),t(s,R,m),t(s,$e,m),t(s,W,m),U(Ge,s,m),t(s,xe,m),t(s,q,m),t(s,Ee,m),U(H,s,m),t(s,Ne,m),t(s,F,m),t(s,qe,m),U(Y,s,m),t(s,ys,m),t(s,re,m),t(s,He,m),U(S,s,m),t(s,Us,m),t(s,oe,m),t(s,Fe,m),U(D,s,m),t(s,Ye,m),t(s,L,m),t(s,Se,m),U(K,s,m),t(s,De,m),U(P,s,m),t(s,Js,m),t(s,pe,m),t(s,Le,m),U(O,s,m),t(s,Ke,m),t(s,ee,m),t(s,Pe,m),U(se,s,m),t(s,Ts,m),U(ie,s,m),t(s,ue,m),t(s,Me,m),t(s,Oe,m),U(V,s,m),t(s,es,m),t(s,le,m),t(s,ss,m),t(s,ne,m),t(s,ce,m),U(me,s,m),t(s,de,m),U(Re,s,m),t(s,ls,m),t(s,te,m),t(s,ye,m),U(Ue,s,m),t(s,Je,m),t(s,We,m),t(s,Te,m),U(Ae,s,m),t(s,ns,m),U(x,s,m),fs=!0},i(s){fs||(u(n.$$.fragment,s),u(h.$$.fragment,s),u(f.$$.fragment,s),u(Q.$$.fragment,s),u(ke.$$.fragment,s),u(Ge.$$.fragment,s),u(H.$$.fragment,s),u(Y.$$.fragment,s),u(S.$$.fragment,s),u(D.$$.fragment,s),u(K.$$.fragment,s),u(P.$$.fragment,s),u(O.$$.fragment,s),u(se.$$.fragment,s),u(ie.$$.fragment,s),u(V.$$.fragment,s),u(me.$$.fragment,s),u(Re.$$.fragment,s),u(Ue.$$.fragment,s),u(Ae.$$.fragment,s),u(x.$$.fragment,s),fs=!0)},o(s){M(n.$$.fragment,s),M(h.$$.fragment,s),M(f.$$.fragment,s),M(Q.$$.fragment,s),M(ke.$$.fragment,s),M(Ge.$$.fragment,s),M(H.$$.fragment,s),M(Y.$$.fragment,s),M(S.$$.fragment,s),M(D.$$.fragment,s),M(K.$$.fragment,s),M(P.$$.fragment,s),M(O.$$.fragment,s),M(se.$$.fragment,s),M(ie.$$.fragment,s),M(V.$$.fragment,s),M(me.$$.fragment,s),M(Re.$$.fragment,s),M(Ue.$$.fragment,s),M(Ae.$$.fragment,s),M(x.$$.fragment,s),fs=!1},d(s){s&&(l(i),l(a),l(_),l(Z),l(v),l(T),l($),l(B),l(E),l(G),l(Ve),l(N),l(ae),l(Ze),l(R),l($e),l(W),l(xe),l(q),l(Ee),l(Ne),l(F),l(qe),l(ys),l(re),l(He),l(Us),l(oe),l(Fe),l(Ye),l(L),l(Se),l(De),l(Js),l(pe),l(Le),l(Ke),l(ee),l(Pe),l(Ts),l(ue),l(Me),l(Oe),l(es),l(le),l(ss),l(ne),l(ce),l(de),l(ls),l(te),l(ye),l(Je),l(We),l(Te),l(ns)),J(n,s),J(h,s),J(f,s),J(Q,s),J(ke,s),J(Ge,s),J(H,s),J(Y,s),J(S,s),J(D,s),J(K,s),J(P,s),J(O,s),J(se,s),J(ie,s),J(V,s),J(me,s),J(Re,s),J(Ue,s),J(Ae,s),J(x,s)}}}function xt(I){let n,i='🚨 Si vous vous entraînez sur un TPU, vous devrez déplacer tout le code commençant à la cellule ci-dessus dans une fonction d’entraînement dédiée. Voir le <a href="/course/fr/chapter3">chapitre 3</a> pour plus de détails.';return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-1b83gft"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},p:ul,d(a){a&&l(n)}}}function Et(I){let n,i="✏️ <strong>Essayez !</strong> Vous pouvez créer votre propre fonction de perte personnalisée, adaptée à votre cas d’utilisation, ou ajouter une autre étape personnalisée dans la boucle d’entraînement.";return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-19vkkh6"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},p:ul,d(a){a&&l(n)}}}function Nt(I){let n,i="✏️ <strong>Essayez !</strong> Lorsque vous effectuez de longues expériences d’entraînement, il est bon d’enregistrer les mesures importantes à l’aide d’outils tels que <em>TensorBoard</em> ou <em>Weights &amp; Biases</em>. Ajoutez l’un d’eux à la boucle d’entraînement afin de pouvoir toujours vérifier comment se déroule l’entraînement.";return{c(){n=j("p"),n.innerHTML=i},l(a){n=w(a,"P",{"data-svelte-h":!0}),b(n)!=="svelte-5mj027"&&(n.innerHTML=i)},m(a,c){t(a,n,c)},p:ul,d(a){a&&l(n)}}}function qt(I){let n,i,a,c,_,h,Z,v,k,T,f,$,Q,B,E='Jusqu’à présent, nous avons surtout réutilisé des modèles pré-entraînés et les avons <em>finetunés</em> sur de nouveaux cas d’usage. Comme nous l’avons vu dans le <a href="/course/fr/chapter1">chapitre 1</a>, ceci est communément appelé <em>apprentissage par transfert</em>, et il s’agit d’une stratégie très efficace pour appliquer les <em>transformers</em> à la plupart des applications du monde réel où les données étiquetées sont rares. Dans ce chapitre, nous allons adopter une approche différente consistant à entraîner un modèle complètement nouveau à partir de zéro. C’est une bonne démarche à adopter si vous avez beaucoup de données et qu’elles sont très différentes des données de pré-entraînement utilisées par les modèles disponibles. Cependant, le pré-entraînement d’un modèle de langue nécessite beaucoup plus de ressources informatiques que le simple <em>finetuning</em> d’un modèle existant. Parmi les exemples où il peut être utile d’entraîner un nouveau modèle, citons les jeux de données constitués de notes de musique, de séquences moléculaires telles que l’ADN, ou de langages de programmation. Ces derniers ont récemment gagné en popularité grâce à des outils tels que TabNine et Copilot de GitHub (alimentés par le modèle Codex d’OpenAI) qui peuvent générer de longues séquences de code. Cette tâche de génération de texte est mieux abordée avec des modèles de langage autorégressifs ou causaux tels que le GPT-2.',g,G,ke="Dans cette section, nous allons construire une version réduite d’un modèle de génération de code Python. Nous nous concentrerons sur la complétion d’une ligne de code au lieu de fonctions ou de classes complètes. Lorsque vous travaillez sur des projets de science des données en Python, vous êtes souvent en contact avec les bibliothèques <code>matplotlib</code>, <code>seaborn</code>, <code>pandas</code> et <code>scikit-learn</code>. Lors de l’utilisation de ces <em>frameworks</em>, il est fréquent d’avoir besoin de rechercher des commandes spécifiques. Il serait donc bien d’utiliser un modèle pour compléter ces appels pour nous.",Ve,N,cs,ae,Ze='Dans le <a href="/course/fr/chapter6">chapitre 6</a>, nous avons créé un <em>tokenizer</em> efficace pour traiter du code Python. Nous avons besoin d’un jeu de données à grande échelle pour pré-entraîner un modèle. Ici, nous allons appliquer notre <em>tokenizer</em> à un corpus de code Python provenant des dépôts GitHub. Nous utiliserons ensuite l’API <code>Trainer</code> et 🤗 <em>Accelerate</em> pour entraîner le modèle. C’est parti !',ms,R,$e,ds,W,Ge,xe,q,wl='Il s’agit d’une présentation du modèle qui a été entraîné à l’aide du code présenté dans cette section et qui a ensuité été téléchargé sur le <em>Hub</em>. Vous pouvez le trouver <a href="https://huggingface.co/huggingface-course/codeparrot-ds?text=plt.imshow%28" rel="nofollow">ici</a>. Notez qu’étant donné qu’il y a un certains aléat dans la génération du texte, vous obtiendrez probablement un résultat légèrement différent.',Ee,H,Ne,F,bl='On peut trouver du code Python en abondance dans les dépôts de code tels que GitHub, que nous pouvons utiliser pour créer un jeu de données en récupérant chaque dépôt Python. C’est l’approche adoptée dans le <a href="https://learning.oreilly.com/library/view/natural-language-processing/9781098136789/" rel="nofollow">livre <em>Natural Language Processing with Transformers</em></a> pour pré-entraîner un grand GPT-2. En utilisant un dépôt GitHub d’environ 180 Go contenant approximativement 20 millions de fichiers Python, les auteurs du livre ont construit un jeu de données appelé <code>codeparrot</code> qu’ils ont ensuite partagé sur le <a href="https://huggingface.co/datasets/transformersbook/codeparrot" rel="nofollow"><em>Hub</em></a>.',qe,Y,ys="Cependant, entraîner sur l’ensemble du corpus prend beaucoup de temps et demande beaucoup de ressources de calculs. Dans notre cas, nous n’avons besoin que du sous-ensemble du jeu de données qui est relatif aux codes portant sur la science des données. Commençons donc par filtrer le jeu de données <code>codeparrot</code> en ne gardant que les fichiers incluant l’une des bibliothèques de science des données énumérées précédemment. En raison de la taille du jeu de données, nous voulons éviter de le télécharger. Nous utiliserons donc la fonctionnalité de <em>streaming</em> de 🤗 <em>Datasets</em> afin de le filtrer à la volée. Pour nous aider à filtrer les échantillons de code utilisant les bibliothèques que nous avons mentionnées précédemment, nous utilisons la fonction suivante :",re,Be,He,S,Us="Testons-le sur deux exemples :",oe,Qe,Fe,D,Ye,L,fl="Nous pouvons l’utiliser pour créer une fonction qui va <em>streamer</em> le jeu de donner et filtrer les éléments que nous voulons :",Se,K,De,P,Js="Ensuite, nous pouvons simplement appliquer cette fonction :",pe,Xe,Le,O,Ke,ee,hl="Cela nous laisse avec environ 3 % du jeu de données original, ce qui est tout de même assez important puisqu’il fait 6 Go et se compose de 600 000 scripts Python !",Pe,se,Ts="Le filtrage peut prendre de 2 à 3 heures, selon votre machine et votre bande passante. Si vous ne voulez pas passer par ce long processus, nous fournissons sur le <em>Hub</em> le jeu de données filtré pour que vous puissiez le télécharger :",ie,ue,Me,ze,Oe,V,es,le,Cl="Examinons un exemple tiré du jeu de données. Nous ne montrerons que les 200 premiers caractères de chaque champ :",ss,ne,js,ce,me,de,Re="Nous pouvons voir que le champ <code>content</code> contient le code sur lequel nous voulons que notre modèle s’entraîne. Maintenant que nous avons un jeu de données, nous devons préparer les textes afin qu’ils soient dans un format approprié pour le pré-entraînement.",ls,te,ws,ye,Ue,Je,We="La première étape est de tokeniser les données afin de pouvoir les utiliser pour l’entraînement. Puisque notre objectif est d’autocompléter de courts appels de fonctions, nous pouvons garder la taille du contexte relativement petite. L’avantage est que nous pouvons entraîner le modèle beaucoup plus rapidement et qu’il nécessite beaucoup moins de mémoire. Si c’est important pour votre application d’avoir davantage de contexte (par exemple, si vous voulez que le modèle écrive des tests unitaires basés sur un fichier avec la définition de la fonction), assurez-vous d’augmenter ce nombre. Gardez néanmoins à l’esprit que cela s’accompagne d’une plus grande empreinte mémoire du GPU. Pour l’instant, fixons la taille du contexte à 128 <em>tokens</em>, par opposition aux 1 024 ou 2 048 utilisés respectivement dans le GPT-2 et le GPT-3.",bs,Te,Ae='La plupart des documents contiennent beaucoup plus de 128 <em>tokens</em>, donc le fait de tronquer les entrées à la longueur maximale éliminerait une grande partie de notre jeu de données. A la place, nous allons utiliser l’option <code>return_overflowing_tokens</code> pour tokeniser l’entrée entière et la diviser en plusieurs morceaux, comme nous l’avons fait dans le <a href="/course/fr/chapter6/4">chapitre 6</a>. Nous utiliserons également l’option <code>return_length</code> pour retourner automatiquement la longueur de chaque morceau créé. Souvent, le dernier morceau est plus petit que la taille du contexte et nous nous en débarrasserons pour éviter les problèmes de <em>padding</em>. Nous n’en avons pas vraiment besoin puisque de toute façon nous avons beaucoup de données.',ns,x,fs='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts.svg" alt="Chunking a large texts in several pieces."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts-dark.svg" alt="Chunking a large texts in several pieces."/>',s,m,hn="Voyons comment cela fonctionne en examinant les deux premiers exemples :",_l,hs,gl,Cs,vl,Is,Cn="Nous pouvons voir que nous obtenons 34 morceaux à partir de ces deux exemples. En regardant leurs longueurs, nous pouvons voir qu’ils se terminent avec moins de 128 <em>tokens</em> (117 et 41, respectivement). Ils ne représentent qu’une petite fraction du total des morceaux que nous avons (2/34), donc nous pouvons les jeter sans risque. Avec le champ <code>overflow_to_sample_mapping</code>, nous pouvons aussi reconstruire quels morceaux appartenaient à quels échantillons d’entrée.",kl,_s,In='Avec cette opération, nous utilisons une fonctionnalité pratique de la fonction <code>Dataset.map()</code> de 🤗 <em>Datasets</em>. En effet, celle-ci ne nécessite pas une correspondance un à un comme nous l’avons vu dans la <a href="/course/fr/chapter7/3">section 3</a>. Nous pouvons créer des batchs avec plus ou moins d’éléments que le batch d’entrée. C’est utile lorsque l’on effectue des opérations telles que l’augmentation ou le filtrage des données qui modifient le nombre d’éléments. Dans notre cas, lors de la tokenisation de chaque élément en morceaux de longeur de la taille de contexte spécifiée, nous créons de nombreux échantillons de chaque document. Nous devons juste nous assurer de supprimer les colonnes existantes, car elles ont une taille conflictuelle. Si nous voulions les garder, nous pourrions les répéter de manière appropriée et les retourner dans l’appel <code>Dataset.map()</code> :',Zl,gs,$l,vs,Gl,ks,_n="Nous avons maintenant 16,7 millions d’exemples avec 128 <em>tokens</em> chacun, ce qui correspond à environ 2,1 milliards de <em>tokens</em> au total. A titre de comparaison, les modèles GPT-3 et Codex d’OpenAI sont entraînés sur 300 et 100 milliards de <em>tokens</em>, respectivement. Les modèles Codex étant initialisés à partir des <em>checkpoints</em> GPT-3. Notre objectif dans cette section n’est pas de rivaliser avec ces modèles, qui peuvent générer des textes longs et cohérents, mais de créer une version réduite fournissant une fonction d’autocomplétion rapide.",Bl,Zs,gn="Maintenant que le jeu de données est prêt, configurons le modèle !",Ql,as,Xl,$s,zl,Gs,vn="Notre première étape consiste à initialiser un GPT-2. Pour notre modèle, nous utiliserons la même configuration que pour le petit modèle GPT-2. Ainsi nous chargeons la configuration pré-entraînée, nous nous assurons que la taille du <em>tokenizer</em> correspond à la taille du vocabulaire du modèle et nous passons les identifiants des <em>tokens</em> <code>bos</code> et <code>eos</code> (début et fin de séquence) :",Rl,je,we,Ml,Bs,kn="Notre modèle comporte 124 millions de paramètres que nous devrons régler. Avant de commencer l’entraînement, nous devons configurer un assembleur de données qui se chargera de créer les batchs. Nous pouvons utiliser le assembleur <code>DataCollatorForLanguageModeling</code>, qui est conçu spécifiquement pour la modélisation du langage (comme son nom le suggère subtilement). En plus de l’empilage et du rembourrage des batchs, il s’occupe aussi de la création des étiquettes du modèle de langage. Dans la modélisation causale du langage, les entrées servent aussi d’étiquettes (juste décalées d’un élément) et que le assembleur de données crée à la volée pendant l’entraînement pour ne pas avoir à dupliquer les <code>input_ids</code>.",Wl,Qs,Zn="Notez que <code>DataCollatorForLanguageModeling</code> supporte à la fois la modélisation du langage masqué (MLM pour <em>masked language modeling</em>) et la modélisation du langage causal (CLM pour <em>causal language modeling</em>). Par défaut, il prépare les données pour la MLM mais nous pouvons passer à la CLM en définissant l’argument <code>mlm=False</code> :",Al,be,fe,cl,Xs,$n="Prenons un exemple :",Vl,zs,xl,he,Ce,ml,Rs,Gn="Nous pouvons voir que les exemples ont été empilés et que tous les tenseurs ont la même forme.",El,dl,rs,Nl,Ws,Bn="Nous avons maintenant tout ce qu’il faut pour entraîner notre modèle. Ce n’était pas si compliqué ! Avant de commencer l’entraînement, nous devons nous connecter à Hugging Face. Si vous travaillez dans un <em>notebook</em>, vous pouvez le faire avec la fonction utilitaire suivante :",ql,As,Hl,Vs,Qn="Cela affichera un <em>widget</em> où vous pourrez entrer vos identifiants de connexion à Hugging Face.",Fl,xs,Xn="Si vous ne travaillez pas dans un <em>notebook</em>, tapez simplement la ligne suivante dans votre terminal :",Yl,Es,Sl,Ie,_e,yl,os,Dl,ps,Ll,Ns,Kl,qs,zn="C’est maintenant le moment de vérité : voyons comment le modèle entraîné fonctionne réellement ! Nous pouvons voir dans les logs que la perte a diminué régulièrement, mais pour mettre le modèle à l’épreuve, regardons comment il fonctionne sur certains messages. Pour ce faire, nous allons envelopper le modèle dans un <code>pipeline</code> de génération de texte et, s’il y en a un de disponible, utiliser un GPU pour avoir des générations rapidement :",Pl,ge,ve,Ul,Hs,Rn="Let’s start with the simple task of creating a scatter plot:",Ol,Fs,en,Ys,sn,Ss,Wn="Le résultat semble correct. Est-ce que cela fonctionne aussi pour une opération <code>pandas</code> ? Voyons si nous pouvons créer un <code>DataFrame</code> à partir de deux tableaux :",ln,Ds,nn,Ls,tn,Ks,An="Bien, c’est la bonne réponse. Bien qu’il insère ensuite la colonne <code>x</code> à nouveau. Comme le nombre de <em>tokens</em> générés est limité, la boucle <code>for</code> suivante est coupée. Voyons si nous pouvons faire quelque chose d’un peu plus complexe et faire en sorte que le modèle nous aide à utiliser l’opération <code>groupby</code> :",an,Ps,rn,Os,on,el,Vn="Pas mal, c’est la bonne façon de faire. Enfin, voyons si nous pouvons aussi l’utiliser pour <code>scikit-learn</code> et utiliser un modèle <em>Random Forest</em> :",pn,sl,un,ll,Mn,Jl,Tl,nl,cn,Il,mn;_=new jt({props:{fw:I[0]}}),Z=new Jt({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),k=new jl({props:{title:"Entraîner un modèle de langage causal à partir de zéro",local:"entraîner-un-modèle-de-langage-causal-à-partir-de-zéro",headingTag:"h1"}});const xn=[bt,wt],tl=[];function En(e,r){return e[0]==="pt"?0:1}f=En(I),$=tl[f]=xn[f](I),N=new fn({props:{id:"Vpjb1lu0MDk"}}),H=new jl({props:{title:"Collecte des données",local:"collecte-des-données",headingTag:"h2"}}),Be=new C({props:{code:"ZGVmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHN0cmluZyUyQyUyMGtleXdvcmRzKSUzQSUwQSUyMCUyMCUyMCUyMGZvciUyMGtleXdvcmQlMjBpbiUyMGtleXdvcmRzJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBrZXl3b3JkJTIwaW4lMjBzdHJpbmclM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm4lMjBUcnVlJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwRmFsc2U=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">any_keyword_in_string</span>(<span class="hljs-params">string, keywords</span>):
    <span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> keywords:
        <span class="hljs-keyword">if</span> keyword <span class="hljs-keyword">in</span> string:
            <span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>`,wrap:!1}}),Qe=new C({props:{code:"ZmlsdGVycyUyMCUzRCUyMCU1QiUyMnBhbmRhcyUyMiUyQyUyMCUyMnNrbGVhcm4lMjIlMkMlMjAlMjJtYXRwbG90bGliJTIyJTJDJTIwJTIyc2VhYm9ybiUyMiU1RCUwQWV4YW1wbGVfMSUyMCUzRCUyMCUyMmltcG9ydCUyMG51bXB5JTIwYXMlMjBucCUyMiUwQWV4YW1wbGVfMiUyMCUzRCUyMCUyMmltcG9ydCUyMHBhbmRhcyUyMGFzJTIwcGQlMjIlMEElMEFwcmludCglMEElMjAlMjAlMjAlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8xJTJDJTIwZmlsdGVycyklMkMlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8yJTJDJTIwZmlsdGVycyklMEEp",highlighted:`filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]
example_1 = <span class="hljs-string">&quot;import numpy as np&quot;</span>
example_2 = <span class="hljs-string">&quot;import pandas as pd&quot;</span>

<span class="hljs-built_in">print</span>(
    any_keyword_in_string(example_1, filters), any_keyword_in_string(example_2, filters)
)`,wrap:!1}}),D=new C({props:{code:"RmFsc2UlMjBUcnVl",highlighted:'<span class="hljs-literal">False</span> <span class="hljs-literal">True</span>',wrap:!1}}),K=new C({props:{code:"ZGVmJTIwZmlsdGVyX3N0cmVhbWluZ19kYXRhc2V0KGRhdGFzZXQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlMjAlM0QlMjBkZWZhdWx0ZGljdChsaXN0KSUwQSUyMCUyMCUyMCUyMHRvdGFsJTIwJTNEJTIwMCUwQSUyMCUyMCUyMCUyMGZvciUyMHNhbXBsZSUyMGluJTIwdHFkbShpdGVyKGRhdGFzZXQpKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRvdGFsJTIwJTJCJTNEJTIwMSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHNhbXBsZSU1QiUyMmNvbnRlbnQlMjIlNUQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZvciUyMGslMkMlMjB2JTIwaW4lMjBzYW1wbGUuaXRlbXMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlNUJrJTVELmFwcGVuZCh2KSUwQSUyMCUyMCUyMCUyMHByaW50KGYlMjIlN0JsZW4oZmlsdGVyZWRfZGljdCU1Qidjb250ZW50JyU1RCklMkZ0b3RhbCUzQS4yJTI1JTdEJTIwb2YlMjBkYXRhJTIwYWZ0ZXIlMjBmaWx0ZXJpbmcuJTIyKSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMERhdGFzZXQuZnJvbV9kaWN0KGZpbHRlcmVkX2RpY3Qp",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">filter_streaming_dataset</span>(<span class="hljs-params">dataset, filters</span>):
    filtered_dict = defaultdict(<span class="hljs-built_in">list</span>)
    total = <span class="hljs-number">0</span>
    <span class="hljs-keyword">for</span> sample <span class="hljs-keyword">in</span> tqdm(<span class="hljs-built_in">iter</span>(dataset)):
        total += <span class="hljs-number">1</span>
        <span class="hljs-keyword">if</span> any_keyword_in_string(sample[<span class="hljs-string">&quot;content&quot;</span>], filters):
            <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> sample.items():
                filtered_dict[k].append(v)
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{<span class="hljs-built_in">len</span>(filtered_dict[<span class="hljs-string">&#x27;content&#x27;</span>])/total:<span class="hljs-number">.2</span>%}</span> of data after filtering.&quot;</span>)
    <span class="hljs-keyword">return</span> Dataset.from_dict(filtered_dict)`,wrap:!1}}),Xe=new C({props:{code:"JTIzJTIwQ2V0dGUlMjBjZWxsdWxlJTIwcHJlbmRyYSUyMGJlYXVjb3VwJTIwZGUlMjB0ZW1wcyUyMCVDMyVBMCUyMHMnZXglQzMlQTljdXRlciUyQyUyMGRvbmMlMjB2b3VzJTIwZGV2cmlleiUyMGxhJTIwc2F1dGVyJTIwZXQlMjBhbGxlciUyMCVDMyVBMCUyMGxhJTIwc3VpdmFudGUlMjAhJTBBZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBc3BsaXQlMjAlM0QlMjAlMjJ0cmFpbiUyMiUyMCUyMCUyMyUyMCUyMnZhbGlkJTIyJTBBZmlsdGVycyUyMCUzRCUyMCU1QiUyMnBhbmRhcyUyMiUyQyUyMCUyMnNrbGVhcm4lMjIlMkMlMjAlMjJtYXRwbG90bGliJTIyJTJDJTIwJTIyc2VhYm9ybiUyMiU1RCUwQSUwQWRhdGElMjAlM0QlMjBsb2FkX2RhdGFzZXQoZiUyMnRyYW5zZm9ybWVyc2Jvb2slMkZjb2RlcGFycm90LSU3QnNwbGl0JTdEJTIyJTJDJTIwc3BsaXQlM0RzcGxpdCUyQyUyMHN0cmVhbWluZyUzRFRydWUpJTBBZmlsdGVyZWRfZGF0YSUyMCUzRCUyMGZpbHRlcl9zdHJlYW1pbmdfZGF0YXNldChkYXRhJTJDJTIwZmlsdGVycyk=",highlighted:`<span class="hljs-comment"># Cette cellule prendra beaucoup de temps à s&#x27;exécuter, donc vous devriez la sauter et aller à la suivante !</span>
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

split = <span class="hljs-string">&quot;train&quot;</span>  <span class="hljs-comment"># &quot;valid&quot;</span>
filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]

data = load_dataset(<span class="hljs-string">f&quot;transformersbook/codeparrot-<span class="hljs-subst">{split}</span>&quot;</span>, split=split, streaming=<span class="hljs-literal">True</span>)
filtered_data = filter_streaming_dataset(data, filters)`,wrap:!1}}),O=new C({props:{code:"My4yNiUyNSUyMG9mJTIwZGF0YSUyMGFmdGVyJTIwZmlsdGVyaW5nLg==",highlighted:'<span class="hljs-number">3.26</span>% of data after filtering.',wrap:!1}}),ue=new C({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTJDJTIwRGF0YXNldERpY3QlMEElMEFkc190cmFpbiUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXRyYWluJTIyJTJDJTIwc3BsaXQlM0QlMjJ0cmFpbiUyMiklMEFkc192YWxpZCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXZhbGlkJTIyJTJDJTIwc3BsaXQlM0QlMjJ0cmFpbiUyMiklMEElMEFyYXdfZGF0YXNldHMlMjAlM0QlMjBEYXRhc2V0RGljdCglMEElMjAlMjAlMjAlMjAlN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJ0cmFpbiUyMiUzQSUyMGRzX3RyYWluJTJDJTIwJTIwJTIzJTIwLnNodWZmbGUoKS5zZWxlY3QocmFuZ2UoNTAwMDApKSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnZhbGlkJTIyJTNBJTIwZHNfdmFsaWQlMkMlMjAlMjAlMjMlMjAuc2h1ZmZsZSgpLnNlbGVjdChyYW5nZSg1MDApKSUwQSUyMCUyMCUyMCUyMCU3RCUwQSklMEElMEFyYXdfZGF0YXNldHM=",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset, DatasetDict

ds_train = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-train&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)
ds_valid = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-valid&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)

raw_datasets = DatasetDict(
    {
        <span class="hljs-string">&quot;train&quot;</span>: ds_train,  <span class="hljs-comment"># .shuffle().select(range(50000)),</span>
        <span class="hljs-string">&quot;valid&quot;</span>: ds_valid,  <span class="hljs-comment"># .shuffle().select(range(500))</span>
    }
)

raw_datasets`,wrap:!1}}),ze=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3JlcG9fbmFtZSclMkMlMjAncGF0aCclMkMlMjAnY29waWVzJyUyQyUyMCdzaXplJyUyQyUyMCdjb250ZW50JyUyQyUyMCdsaWNlbnNlJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNjA2NzIwJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidyZXBvX25hbWUnJTJDJTIwJ3BhdGgnJTJDJTIwJ2NvcGllcyclMkMlMjAnc2l6ZSclMkMlMjAnY29udGVudCclMkMlMjAnbGljZW5zZSclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDMzMjIlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
        num_rows: <span class="hljs-number">606720</span>
    })
    valid: Dataset({
        features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
        num_rows: <span class="hljs-number">3322</span>
    })
})`,wrap:!1}}),V=new Ms({props:{$$slots:{default:[ft]},$$scope:{ctx:I}}}),ne=new C({props:{code:"Zm9yJTIwa2V5JTIwaW4lMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjAlNUQlM0ElMEElMjAlMjAlMjAlMjBwcmludChmJTIyJTdCa2V5LnVwcGVyKCklN0QlM0ElMjAlN0JyYXdfZGF0YXNldHMlNUIndHJhaW4nJTVEJTVCMCU1RCU1QmtleSU1RCU1QiUzQTIwMCU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>]:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key.upper()}</span>: <span class="hljs-subst">{raw_datasets[<span class="hljs-string">&#x27;train&#x27;</span>][<span class="hljs-number">0</span>][key][:<span class="hljs-number">200</span>]}</span>&quot;</span>)`,wrap:!1}}),ce=new C({props:{code:"J1JFUE9fTkFNRSUzQSUyMGttaWtlJTJGc2Npa2l0LWxlYXJuJyUwQSdQQVRIJTNBJTIwc2tsZWFybiUyRnV0aWxzJTJGX19pbml0X18ucHknJTBBJ0NPUElFUyUzQSUyMDMnJTBBJ1NJWkUlM0ElMjAxMDA5NCclMEEnJydDT05URU5UJTNBJTIwJTIyJTIyJTIyJTBBVGhlJTIwJTNBbW9kJTNBJTYwc2tsZWFybi51dGlscyU2MCUyMG1vZHVsZSUyMGluY2x1ZGVzJTIwdmFyaW91cyUyMHV0aWxpdGVzLiUwQSUyMiUyMiUyMiUwQSUwQWZyb20lMjBjb2xsZWN0aW9ucyUyMGltcG9ydCUyMFNlcXVlbmNlJTBBJTBBaW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBZnJvbSUyMHNjaXB5LnNwYXJzZSUyMGltcG9ydCUyMGlzc3BhcnNlJTBBaW1wb3J0JTIwd2FybmluZ3MlMEElMEFmcm9tJTIwLm11cm11cmhhc2glMjBpbXBvcnQlMjBtdXJtJTBBTElDRU5TRSUzQSUyMGJzZC0zLWNsYXVzZScnJw==",highlighted:`<span class="hljs-string">&#x27;REPO_NAME: kmike/scikit-learn&#x27;</span>
<span class="hljs-string">&#x27;PATH: sklearn/utils/__init__.py&#x27;</span>
<span class="hljs-string">&#x27;COPIES: 3&#x27;</span>
<span class="hljs-string">&#x27;SIZE: 10094&#x27;</span>
<span class="hljs-string">&#x27;&#x27;&#x27;CONTENT: &quot;&quot;&quot;
The :mod:\`sklearn.utils\` module includes various utilites.
&quot;&quot;&quot;

from collections import Sequence

import numpy as np
from scipy.sparse import issparse
import warnings

from .murmurhash import murm
LICENSE: bsd-3-clause&#x27;&#x27;&#x27;</span>`,wrap:!1}}),te=new jl({props:{title:"Préparation du jeu de données",local:"préparation-du-jeu-de-données",headingTag:"h2"}}),ye=new fn({props:{id:"ma1TrR7gE7I"}}),hs=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjb250ZXh0X2xlbmd0aCUyMCUzRCUyMDEyOCUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGUtc2VhcmNoLW5ldC10b2tlbml6ZXIlMjIpJTBBJTBBb3V0cHV0cyUyMCUzRCUyMHRva2VuaXplciglMEElMjAlMjAlMjAlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUzQTIlNUQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBKSUwQSUwQXByaW50KGYlMjJJbnB1dCUyMElEcyUyMGxlbmd0aCUzQSUyMCU3QmxlbihvdXRwdXRzJTVCJ2lucHV0X2lkcyclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJJbnB1dCUyMGNodW5rJTIwbGVuZ3RocyUzQSUyMCU3QihvdXRwdXRzJTVCJ2xlbmd0aCclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJDaHVuayUyMG1hcHBpbmclM0ElMjAlN0JvdXRwdXRzJTVCJ292ZXJmbG93X3RvX3NhbXBsZV9tYXBwaW5nJyU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

context_length = <span class="hljs-number">128</span>
tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/code-search-net-tokenizer&quot;</span>)

outputs = tokenizer(
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">2</span>][<span class="hljs-string">&quot;content&quot;</span>],
    truncation=<span class="hljs-literal">True</span>,
    max_length=context_length,
    return_overflowing_tokens=<span class="hljs-literal">True</span>,
    return_length=<span class="hljs-literal">True</span>,
)

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input IDs length: <span class="hljs-subst">{<span class="hljs-built_in">len</span>(outputs[<span class="hljs-string">&#x27;input_ids&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input chunk lengths: <span class="hljs-subst">{(outputs[<span class="hljs-string">&#x27;length&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Chunk mapping: <span class="hljs-subst">{outputs[<span class="hljs-string">&#x27;overflow_to_sample_mapping&#x27;</span>]}</span>&quot;</span>)`,wrap:!1}}),Cs=new C({props:{code:"SW5wdXQlMjBJRHMlMjBsZW5ndGglM0ElMjAzNCUwQUlucHV0JTIwY2h1bmslMjBsZW5ndGhzJTNBJTIwJTVCMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTE3JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwNDElNUQlMEFDaHVuayUyMG1hcHBpbmclM0ElMjAlNUIwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVE",highlighted:`Input IDs length: <span class="hljs-number">34</span>
Input chunk lengths: [<span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">117</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">41</span>]
Chunk mapping: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]`,wrap:!1}}),gs=new C({props:{code:"ZGVmJTIwdG9rZW5pemUoZWxlbWVudCklM0ElMEElMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsZW1lbnQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMGlucHV0X2JhdGNoJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbGVuZ3RoJTJDJTIwaW5wdXRfaWRzJTIwaW4lMjB6aXAob3V0cHV0cyU1QiUyMmxlbmd0aCUyMiU1RCUyQyUyMG91dHB1dHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBsZW5ndGglMjAlM0QlM0QlMjBjb250ZXh0X2xlbmd0aCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlucHV0X2JhdGNoLmFwcGVuZChpbnB1dF9pZHMpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwJTdCJTIyaW5wdXRfaWRzJTIyJTNBJTIwaW5wdXRfYmF0Y2glN0QlMEElMEElMEF0b2tlbml6ZWRfZGF0YXNldHMlMjAlM0QlMjByYXdfZGF0YXNldHMubWFwKCUwQSUyMCUyMCUyMCUyMHRva2VuaXplJTJDJTIwYmF0Y2hlZCUzRFRydWUlMkMlMjByZW1vdmVfY29sdW1ucyUzRHJhd19kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELmNvbHVtbl9uYW1lcyUwQSklMEF0b2tlbml6ZWRfZGF0YXNldHM=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize</span>(<span class="hljs-params">element</span>):
    outputs = tokenizer(
        element[<span class="hljs-string">&quot;content&quot;</span>],
        truncation=<span class="hljs-literal">True</span>,
        max_length=context_length,
        return_overflowing_tokens=<span class="hljs-literal">True</span>,
        return_length=<span class="hljs-literal">True</span>,
    )
    input_batch = []
    <span class="hljs-keyword">for</span> length, input_ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(outputs[<span class="hljs-string">&quot;length&quot;</span>], outputs[<span class="hljs-string">&quot;input_ids&quot;</span>]):
        <span class="hljs-keyword">if</span> length == context_length:
            input_batch.append(input_ids)
    <span class="hljs-keyword">return</span> {<span class="hljs-string">&quot;input_ids&quot;</span>: input_batch}


tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(
    tokenize, batched=<span class="hljs-literal">True</span>, remove_columns=raw_datasets[<span class="hljs-string">&quot;train&quot;</span>].column_names
)
tokenized_datasets`,wrap:!1}}),vs=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2lucHV0X2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE2NzAyMDYxJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidpbnB1dF9pZHMnJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3Jvd3MlM0ElMjA5MzE2NCUwQSUyMCUyMCUyMCUyMCU3RCklMEElN0Qp",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
        num_rows: <span class="hljs-number">16702061</span>
    })
    valid: Dataset({
        features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
        num_rows: <span class="hljs-number">93164</span>
    })
})`,wrap:!1}}),as=new Ms({props:{$$slots:{default:[ht]},$$scope:{ctx:I}}}),$s=new jl({props:{title:"Initialisation d’un nouveau modèle",local:"initialisation-dun-nouveau-modèle",headingTag:"h2"}});const Nn=[It,Ct],al=[];function qn(e,r){return e[0]==="pt"?0:1}je=qn(I),we=al[je]=Nn[je](I);const Hn=[gt,_t],rl=[];function Fn(e,r){return e[0]==="pt"?0:1}be=Fn(I),fe=rl[be]=Hn[be](I),zs=new C({props:{code:"b3V0JTIwJTNEJTIwZGF0YV9jb2xsYXRvciglNUJ0b2tlbml6ZWRfZGF0YXNldCU1QiUyMnRyYWluJTIyJTVEJTVCaSU1RCUyMGZvciUyMGklMjBpbiUyMHJhbmdlKDUpJTVEKSUwQWZvciUyMGtleSUyMGluJTIwb3V0JTNBJTBBJTIwJTIwJTIwJTIwcHJpbnQoZiUyMiU3QmtleSU3RCUyMHNoYXBlJTNBJTIwJTdCb3V0JTVCa2V5JTVELnNoYXBlJTdEJTIyKQ==",highlighted:`out = data_collator([tokenized_dataset[<span class="hljs-string">&quot;train&quot;</span>][i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">5</span>)])
<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> out:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key}</span> shape: <span class="hljs-subst">{out[key].shape}</span>&quot;</span>)`,wrap:!1}});const Yn=[kt,vt],ol=[];function Sn(e,r){return e[0]==="pt"?0:1}he=Sn(I),Ce=ol[he]=Yn[he](I);let X=I[0]==="tf"&&pt();rs=new Ms({props:{warning:!0,$$slots:{default:[Zt]},$$scope:{ctx:I}}}),As=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),Es=new C({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}});const Dn=[Gt,$t],pl=[];function Ln(e,r){return e[0]==="pt"?0:1}Ie=Ln(I),_e=pl[Ie]=Dn[Ie](I),os=new Ms({props:{$$slots:{default:[Bt]},$$scope:{ctx:I}}}),ps=new Ms({props:{$$slots:{default:[zt]},$$scope:{ctx:I}}}),Ns=new jl({props:{title:"Génération de code avec le pipeline",local:"génération-de-code-avec-le-pipeline",headingTag:"h2"}});const Kn=[Wt,Rt],il=[];function Pn(e,r){return e[0]==="pt"?0:1}ge=Pn(I),ve=il[ge]=Kn[ge](I),Fs=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3IlQzMlQTllciUyMGRlcyUyMGRvbm4lQzMlQTllcyUwQXglMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQXklMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQSUwQSUyMyUyMGNyJUMzJUE5ZXIlMjB1biUyMG51YWdlJTIwZGUlMjBwb2ludHMlMjBhdmVjJTIweCUyQyUyMHklMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# créer des données
x = np.random.randn(100)
y = np.random.randn(100)

# créer un nuage de points avec x, y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Ys=new C({props:{code:"JTIzJTIwY3IlQzMlQTllciUyMGRlcyUyMGRvbm4lQzMlQTllcyUwQXglMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQXklMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQSUwQSUyMyUyMGNyJUMzJUE5ZXIlMjB1biUyMG51YWdlJTIwZGUlMjBwb2ludHMlMjBhdmVjJTIweCUyQyUyMHklMEFwbHQuc2NhdHRlcih4JTJDJTIweSk=",highlighted:`<span class="hljs-comment"># créer des données</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)

<span class="hljs-comment"># créer un nuage de points avec x, y</span>
plt.scatter(x, y)`,wrap:!1}}),Ds=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3IlQzMlQTllciUyMGRlcyUyMGRvbm4lQzMlQTllcyUwQXglMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQXklMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQSUwQSUyMyUyMGNyJUMzJUE5ZXIlMjB1biUyMHRhYmxlYXUlMjBkZSUyMGRvbm4lQzMlQTllcyUyMCVDMyVBMCUyMHBhcnRpciUyMGRlJTIweCUyMGV0JTIweSUwQSUyMiUyMiUyMiUwQXByaW50KHBpcGUodHh0JTJDJTIwbnVtX3JldHVybl9zZXF1ZW5jZXMlM0QxKSU1QjAlNUQlNUIlMjJnZW5lcmF0ZWRfdGV4dCUyMiU1RCk=",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# créer des données
x = np.random.randn(100)
y = np.random.randn(100)

# créer un tableau de données à partir de x et y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Ls=new C({props:{code:"JTIzJTIwY3IlQzMlQTllciUyMGRlcyUyMGRvbm4lQzMlQTllcyUwQXglMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQXklMjAlM0QlMjBucC5yYW5kb20ucmFuZG4oMTAwKSUwQSUwQSUyMyUyMGNyJUMzJUE5ZXIlMjB1biUyMHRhYmxlYXUlMjBkZSUyMGRvbm4lQzMlQTllcyUyMCVDMyVBMCUyMHBhcnRpciUyMGRlJTIweCUyMGV0JTIweSUwQWRmJTIwJTNEJTIwcGQuRGF0YUZyYW1lKCU3Qid4JyUzQSUyMHglMkMlMjAneSclM0ElMjB5JTdEKSUwQWRmLmluc2VydCgwJTJDJ3gnJTJDJTIweCklMEFmb3I=",highlighted:`<span class="hljs-comment"># créer des données</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)

<span class="hljs-comment"># créer un tableau de données à partir de x et y</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;x&#x27;</span>: x, <span class="hljs-string">&#x27;y&#x27;</span>: y})
df.insert(<span class="hljs-number">0</span>,<span class="hljs-string">&#x27;x&#x27;</span>, x)
<span class="hljs-keyword">for</span>`,wrap:!1}}),Ps=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwdGFibGVhdSUyMGRlJTIwZG9ubiVDMyVBOWVzJTIwYXZlYyUyMHByb2Zlc3Npb24lMkMlMjByZXZlbnUlMjBldCUyMG5vbSUwQWRmJTIwJTNEJTIwcGQuRGF0YUZyYW1lKCU3Qidwcm9mZXNzaW9uJyUzQSUyMHglMkMlMjAnaW5jb21lJyUzQXklMkMlMjAnbmFtZSclM0ElMjB6JTdEKSUwQSUwQSUyMyUyMGNhbGN1bGVyJTIwbGUlMjByZXZlbnUlMjBtb3llbiUyMHBhciUyMHByb2Zlc3Npb24lMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# tableau de données avec profession, revenu et nom
df = pd.DataFrame({&#x27;profession&#x27;: x, &#x27;income&#x27;:y, &#x27;name&#x27;: z})

# calculer le revenu moyen par profession
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Os=new C({props:{code:"JTIzJTIwdGFibGVhdSUyMGRlJTIwZG9ubiVDMyVBOWVzJTIwYXZlYyUyMHByb2Zlc3Npb24lMkMlMjByZXZlbnUlMjBldCUyMG5vbSUwQWRmJTIwJTNEJTIwcGQuRGF0YUZyYW1lKCU3Qidwcm9mZXNzaW9uJyUzQSUyMHglMkMlMjAnaW5jb21lJyUzQXklMkMlMjAnbmFtZSclM0ElMjB6JTdEKSUwQSUwQSUyMyUyMGNhbGN1bGVyJTIwbGUlMjByZXZlbnUlMjBtb3llbiUyMHBhciUyMHByb2Zlc3Npb24lMEFwcm9mZXNzaW9uJTIwJTNEJTIwZGYuZ3JvdXBieSglNUIncHJvZmVzc2lvbiclNUQpLm1lYW4oKQ==",highlighted:`<span class="hljs-comment"># tableau de données avec profession, revenu et nom</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;profession&#x27;</span>: x, <span class="hljs-string">&#x27;income&#x27;</span>:y, <span class="hljs-string">&#x27;name&#x27;</span>: z})

<span class="hljs-comment"># calculer le revenu moyen par profession</span>
profession = df.groupby([<span class="hljs-string">&#x27;profession&#x27;</span>]).mean()`,wrap:!1}}),sl=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTBBJTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwZW50cmElQzMlQUVuZW1lbnQlMjBkdSUyMG1vZCVDMyVBOGxlJTIwZGUlMjBmb3IlQzMlQUF0JTIwYWwlQzMlQTlhdG9pcmUlMjBhdmVjJTIwMzAwJTIwZXN0aW1hdGV1cnMlMjBzdXIlMjBYJTJDJTIweSUyMCUzQSUwQSUyMiUyMiUyMiUwQXByaW50KHBpcGUodHh0JTJDJTIwbnVtX3JldHVybl9zZXF1ZW5jZXMlM0QxKSU1QjAlNUQlNUIlMjJnZW5lcmF0ZWRfdGV4dCUyMiU1RCk=",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;
# import random forest regressor from scikit-learn
from sklearn.ensemble import RandomForestRegressor

# entraînement du modèle de forêt aléatoire avec 300 estimateurs sur X, y :
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),ll=new C({props:{code:"JTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwZW50cmElQzMlQUVuZW1lbnQlMjBkdSUyMG1vZCVDMyVBOGxlJTIwZGUlMjBmb3IlQzMlQUF0JTIwYWwlQzMlQTlhdG9pcmUlMjBhdmVjJTIwMzAwJTIwZXN0aW1hdGV1cnMlMjBzdXIlMjBYJTJDJTIweSUyMCUzQSUwQXJmJTIwJTNEJTIwUmFuZG9tRm9yZXN0UmVncmVzc29yKG5fZXN0aW1hdG9ycyUzRDMwMCUyQyUyMHJhbmRvbV9zdGF0ZSUzRHJhbmRvbV9zdGF0ZSUyQyUyMG1heF9kZXB0aCUzRDMpJTBBcmYuZml0KFglMkMlMjB5KSUwQXJm",highlighted:`<span class="hljs-comment"># import random forest regressor from scikit-learn</span>
<span class="hljs-keyword">from</span> sklearn.ensemble <span class="hljs-keyword">import</span> RandomForestRegressor

<span class="hljs-comment"># entraînement du modèle de forêt aléatoire avec 300 estimateurs sur X, y :</span>
rf = RandomForestRegressor(n_estimators=<span class="hljs-number">300</span>, random_state=random_state, max_depth=<span class="hljs-number">3</span>)
rf.fit(X, y)
rf`,wrap:!1}});function On(e,r){return e[0]==="tf"?Vt:At}let dn=On(I),ts=dn(I),z=I[0]==="pt"&&it(I);return nl=new Tt({props:{source:"https://github.com/huggingface/course/blob/main/chapters/fr/chapter7/6.mdx"}}),{c(){n=j("meta"),i=o(),a=j("p"),c=o(),d(_.$$.fragment),h=o(),d(Z.$$.fragment),v=o(),d(k.$$.fragment),T=o(),$.c(),Q=o(),B=j("p"),B.innerHTML=E,g=o(),G=j("p"),G.innerHTML=ke,Ve=o(),d(N.$$.fragment),cs=o(),ae=j("p"),ae.innerHTML=Ze,ms=o(),R=j("iframe"),ds=o(),W=j("iframe"),xe=o(),q=j("p"),q.innerHTML=wl,Ee=o(),d(H.$$.fragment),Ne=o(),F=j("p"),F.innerHTML=bl,qe=o(),Y=j("p"),Y.innerHTML=ys,re=o(),d(Be.$$.fragment),He=o(),S=j("p"),S.textContent=Us,oe=o(),d(Qe.$$.fragment),Fe=o(),d(D.$$.fragment),Ye=o(),L=j("p"),L.innerHTML=fl,Se=o(),d(K.$$.fragment),De=o(),P=j("p"),P.textContent=Js,pe=o(),d(Xe.$$.fragment),Le=o(),d(O.$$.fragment),Ke=o(),ee=j("p"),ee.textContent=hl,Pe=o(),se=j("p"),se.innerHTML=Ts,ie=o(),d(ue.$$.fragment),Me=o(),d(ze.$$.fragment),Oe=o(),d(V.$$.fragment),es=o(),le=j("p"),le.textContent=Cl,ss=o(),d(ne.$$.fragment),js=o(),d(ce.$$.fragment),me=o(),de=j("p"),de.innerHTML=Re,ls=o(),d(te.$$.fragment),ws=o(),d(ye.$$.fragment),Ue=o(),Je=j("p"),Je.innerHTML=We,bs=o(),Te=j("p"),Te.innerHTML=Ae,ns=o(),x=j("div"),x.innerHTML=fs,s=o(),m=j("p"),m.textContent=hn,_l=o(),d(hs.$$.fragment),gl=o(),d(Cs.$$.fragment),vl=o(),Is=j("p"),Is.innerHTML=Cn,kl=o(),_s=j("p"),_s.innerHTML=In,Zl=o(),d(gs.$$.fragment),$l=o(),d(vs.$$.fragment),Gl=o(),ks=j("p"),ks.innerHTML=_n,Bl=o(),Zs=j("p"),Zs.textContent=gn,Ql=o(),d(as.$$.fragment),Xl=o(),d($s.$$.fragment),zl=o(),Gs=j("p"),Gs.innerHTML=vn,Rl=o(),we.c(),Ml=o(),Bs=j("p"),Bs.innerHTML=kn,Wl=o(),Qs=j("p"),Qs.innerHTML=Zn,Al=o(),fe.c(),cl=o(),Xs=j("p"),Xs.textContent=$n,Vl=o(),d(zs.$$.fragment),xl=o(),Ce.c(),ml=o(),Rs=j("p"),Rs.textContent=Gn,El=o(),X&&X.c(),dl=o(),d(rs.$$.fragment),Nl=o(),Ws=j("p"),Ws.innerHTML=Bn,ql=o(),d(As.$$.fragment),Hl=o(),Vs=j("p"),Vs.innerHTML=Qn,Fl=o(),xs=j("p"),xs.innerHTML=Xn,Yl=o(),d(Es.$$.fragment),Sl=o(),_e.c(),yl=o(),d(os.$$.fragment),Dl=o(),d(ps.$$.fragment),Ll=o(),d(Ns.$$.fragment),Kl=o(),qs=j("p"),qs.innerHTML=zn,Pl=o(),ve.c(),Ul=o(),Hs=j("p"),Hs.textContent=Rn,Ol=o(),d(Fs.$$.fragment),en=o(),d(Ys.$$.fragment),sn=o(),Ss=j("p"),Ss.innerHTML=Wn,ln=o(),d(Ds.$$.fragment),nn=o(),d(Ls.$$.fragment),tn=o(),Ks=j("p"),Ks.innerHTML=An,an=o(),d(Ps.$$.fragment),rn=o(),d(Os.$$.fragment),on=o(),el=j("p"),el.innerHTML=Vn,pn=o(),d(sl.$$.fragment),un=o(),d(ll.$$.fragment),Mn=o(),ts.c(),Jl=o(),z&&z.c(),Tl=o(),d(nl.$$.fragment),cn=o(),Il=j("p"),this.h()},l(e){const r=yt("svelte-u9bgzb",document.head);n=w(r,"META",{name:!0,content:!0}),r.forEach(l),i=p(e),a=w(e,"P",{}),yn(a).forEach(l),c=p(e),y(_.$$.fragment,e),h=p(e),y(Z.$$.fragment,e),v=p(e),y(k.$$.fragment,e),T=p(e),$.l(e),Q=p(e),B=w(e,"P",{"data-svelte-h":!0}),b(B)!=="svelte-uvx8"&&(B.innerHTML=E),g=p(e),G=w(e,"P",{"data-svelte-h":!0}),b(G)!=="svelte-10r4re3"&&(G.innerHTML=ke),Ve=p(e),y(N.$$.fragment,e),cs=p(e),ae=w(e,"P",{"data-svelte-h":!0}),b(ae)!=="svelte-1kzjt1s"&&(ae.innerHTML=Ze),ms=p(e),R=w(e,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),yn(R).forEach(l),ds=p(e),W=w(e,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),yn(W).forEach(l),xe=p(e),q=w(e,"P",{"data-svelte-h":!0}),b(q)!=="svelte-cpd66l"&&(q.innerHTML=wl),Ee=p(e),y(H.$$.fragment,e),Ne=p(e),F=w(e,"P",{"data-svelte-h":!0}),b(F)!=="svelte-1a2r9hi"&&(F.innerHTML=bl),qe=p(e),Y=w(e,"P",{"data-svelte-h":!0}),b(Y)!=="svelte-18bl5gv"&&(Y.innerHTML=ys),re=p(e),y(Be.$$.fragment,e),He=p(e),S=w(e,"P",{"data-svelte-h":!0}),b(S)!=="svelte-1sgrf6t"&&(S.textContent=Us),oe=p(e),y(Qe.$$.fragment,e),Fe=p(e),y(D.$$.fragment,e),Ye=p(e),L=w(e,"P",{"data-svelte-h":!0}),b(L)!=="svelte-1q65oz8"&&(L.innerHTML=fl),Se=p(e),y(K.$$.fragment,e),De=p(e),P=w(e,"P",{"data-svelte-h":!0}),b(P)!=="svelte-7o94cy"&&(P.textContent=Js),pe=p(e),y(Xe.$$.fragment,e),Le=p(e),y(O.$$.fragment,e),Ke=p(e),ee=w(e,"P",{"data-svelte-h":!0}),b(ee)!=="svelte-1n8fs5f"&&(ee.textContent=hl),Pe=p(e),se=w(e,"P",{"data-svelte-h":!0}),b(se)!=="svelte-1vth0nu"&&(se.innerHTML=Ts),ie=p(e),y(ue.$$.fragment,e),Me=p(e),y(ze.$$.fragment,e),Oe=p(e),y(V.$$.fragment,e),es=p(e),le=w(e,"P",{"data-svelte-h":!0}),b(le)!=="svelte-1jm061f"&&(le.textContent=Cl),ss=p(e),y(ne.$$.fragment,e),js=p(e),y(ce.$$.fragment,e),me=p(e),de=w(e,"P",{"data-svelte-h":!0}),b(de)!=="svelte-1yt12nn"&&(de.innerHTML=Re),ls=p(e),y(te.$$.fragment,e),ws=p(e),y(ye.$$.fragment,e),Ue=p(e),Je=w(e,"P",{"data-svelte-h":!0}),b(Je)!=="svelte-l9d6mv"&&(Je.innerHTML=We),bs=p(e),Te=w(e,"P",{"data-svelte-h":!0}),b(Te)!=="svelte-xtx00h"&&(Te.innerHTML=Ae),ns=p(e),x=w(e,"DIV",{class:!0,"data-svelte-h":!0}),b(x)!=="svelte-1mf8pz"&&(x.innerHTML=fs),s=p(e),m=w(e,"P",{"data-svelte-h":!0}),b(m)!=="svelte-1imc09v"&&(m.textContent=hn),_l=p(e),y(hs.$$.fragment,e),gl=p(e),y(Cs.$$.fragment,e),vl=p(e),Is=w(e,"P",{"data-svelte-h":!0}),b(Is)!=="svelte-fc9pz2"&&(Is.innerHTML=Cn),kl=p(e),_s=w(e,"P",{"data-svelte-h":!0}),b(_s)!=="svelte-18hszus"&&(_s.innerHTML=In),Zl=p(e),y(gs.$$.fragment,e),$l=p(e),y(vs.$$.fragment,e),Gl=p(e),ks=w(e,"P",{"data-svelte-h":!0}),b(ks)!=="svelte-1d39f3g"&&(ks.innerHTML=_n),Bl=p(e),Zs=w(e,"P",{"data-svelte-h":!0}),b(Zs)!=="svelte-po2cpu"&&(Zs.textContent=gn),Ql=p(e),y(as.$$.fragment,e),Xl=p(e),y($s.$$.fragment,e),zl=p(e),Gs=w(e,"P",{"data-svelte-h":!0}),b(Gs)!=="svelte-blbto7"&&(Gs.innerHTML=vn),Rl=p(e),we.l(e),Ml=p(e),Bs=w(e,"P",{"data-svelte-h":!0}),b(Bs)!=="svelte-167aayv"&&(Bs.innerHTML=kn),Wl=p(e),Qs=w(e,"P",{"data-svelte-h":!0}),b(Qs)!=="svelte-pit40d"&&(Qs.innerHTML=Zn),Al=p(e),fe.l(e),cl=p(e),Xs=w(e,"P",{"data-svelte-h":!0}),b(Xs)!=="svelte-140ai1o"&&(Xs.textContent=$n),Vl=p(e),y(zs.$$.fragment,e),xl=p(e),Ce.l(e),ml=p(e),Rs=w(e,"P",{"data-svelte-h":!0}),b(Rs)!=="svelte-11ecwmv"&&(Rs.textContent=Gn),El=p(e),X&&X.l(e),dl=p(e),y(rs.$$.fragment,e),Nl=p(e),Ws=w(e,"P",{"data-svelte-h":!0}),b(Ws)!=="svelte-1uvcduu"&&(Ws.innerHTML=Bn),ql=p(e),y(As.$$.fragment,e),Hl=p(e),Vs=w(e,"P",{"data-svelte-h":!0}),b(Vs)!=="svelte-1kdf134"&&(Vs.innerHTML=Qn),Fl=p(e),xs=w(e,"P",{"data-svelte-h":!0}),b(xs)!=="svelte-1p5kkdg"&&(xs.innerHTML=Xn),Yl=p(e),y(Es.$$.fragment,e),Sl=p(e),_e.l(e),yl=p(e),y(os.$$.fragment,e),Dl=p(e),y(ps.$$.fragment,e),Ll=p(e),y(Ns.$$.fragment,e),Kl=p(e),qs=w(e,"P",{"data-svelte-h":!0}),b(qs)!=="svelte-106sefv"&&(qs.innerHTML=zn),Pl=p(e),ve.l(e),Ul=p(e),Hs=w(e,"P",{"data-svelte-h":!0}),b(Hs)!=="svelte-14oror3"&&(Hs.textContent=Rn),Ol=p(e),y(Fs.$$.fragment,e),en=p(e),y(Ys.$$.fragment,e),sn=p(e),Ss=w(e,"P",{"data-svelte-h":!0}),b(Ss)!=="svelte-ou5iz8"&&(Ss.innerHTML=Wn),ln=p(e),y(Ds.$$.fragment,e),nn=p(e),y(Ls.$$.fragment,e),tn=p(e),Ks=w(e,"P",{"data-svelte-h":!0}),b(Ks)!=="svelte-lwdm7v"&&(Ks.innerHTML=An),an=p(e),y(Ps.$$.fragment,e),rn=p(e),y(Os.$$.fragment,e),on=p(e),el=w(e,"P",{"data-svelte-h":!0}),b(el)!=="svelte-14la55e"&&(el.innerHTML=Vn),pn=p(e),y(sl.$$.fragment,e),un=p(e),y(ll.$$.fragment,e),Mn=p(e),ts.l(e),Jl=p(e),z&&z.l(e),Tl=p(e),y(nl.$$.fragment,e),cn=p(e),Il=w(e,"P",{}),yn(Il).forEach(l),this.h()},h(){A(n,"name","hf:doc:metadata"),A(n,"content",Ht),rt(R.src,$e="https://course-demos-codeparrot-ds.hf.space")||A(R,"src",$e),A(R,"frameborder","0"),A(R,"height","300"),A(R,"title","Gradio app"),A(R,"class","block dark:hidden container p-0 flex-grow space-iframe"),A(R,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),A(R,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),rt(W.src,Ge="https://course-demos-codeparrot-ds-darkmode.hf.space")||A(W,"src",Ge),A(W,"frameborder","0"),A(W,"height","300"),A(W,"title","Gradio app"),A(W,"class","hidden dark:block container p-0 flex-grow space-iframe"),A(W,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),A(W,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),A(x,"class","flex justify-center")},m(e,r){Ut(document.head,n),t(e,i,r),t(e,a,r),t(e,c,r),U(_,e,r),t(e,h,r),U(Z,e,r),t(e,v,r),U(k,e,r),t(e,T,r),tl[f].m(e,r),t(e,Q,r),t(e,B,r),t(e,g,r),t(e,G,r),t(e,Ve,r),U(N,e,r),t(e,cs,r),t(e,ae,r),t(e,ms,r),t(e,R,r),t(e,ds,r),t(e,W,r),t(e,xe,r),t(e,q,r),t(e,Ee,r),U(H,e,r),t(e,Ne,r),t(e,F,r),t(e,qe,r),t(e,Y,r),t(e,re,r),U(Be,e,r),t(e,He,r),t(e,S,r),t(e,oe,r),U(Qe,e,r),t(e,Fe,r),U(D,e,r),t(e,Ye,r),t(e,L,r),t(e,Se,r),U(K,e,r),t(e,De,r),t(e,P,r),t(e,pe,r),U(Xe,e,r),t(e,Le,r),U(O,e,r),t(e,Ke,r),t(e,ee,r),t(e,Pe,r),t(e,se,r),t(e,ie,r),U(ue,e,r),t(e,Me,r),U(ze,e,r),t(e,Oe,r),U(V,e,r),t(e,es,r),t(e,le,r),t(e,ss,r),U(ne,e,r),t(e,js,r),U(ce,e,r),t(e,me,r),t(e,de,r),t(e,ls,r),U(te,e,r),t(e,ws,r),U(ye,e,r),t(e,Ue,r),t(e,Je,r),t(e,bs,r),t(e,Te,r),t(e,ns,r),t(e,x,r),t(e,s,r),t(e,m,r),t(e,_l,r),U(hs,e,r),t(e,gl,r),U(Cs,e,r),t(e,vl,r),t(e,Is,r),t(e,kl,r),t(e,_s,r),t(e,Zl,r),U(gs,e,r),t(e,$l,r),U(vs,e,r),t(e,Gl,r),t(e,ks,r),t(e,Bl,r),t(e,Zs,r),t(e,Ql,r),U(as,e,r),t(e,Xl,r),U($s,e,r),t(e,zl,r),t(e,Gs,r),t(e,Rl,r),al[je].m(e,r),t(e,Ml,r),t(e,Bs,r),t(e,Wl,r),t(e,Qs,r),t(e,Al,r),rl[be].m(e,r),t(e,cl,r),t(e,Xs,r),t(e,Vl,r),U(zs,e,r),t(e,xl,r),ol[he].m(e,r),t(e,ml,r),t(e,Rs,r),t(e,El,r),X&&X.m(e,r),t(e,dl,r),U(rs,e,r),t(e,Nl,r),t(e,Ws,r),t(e,ql,r),U(As,e,r),t(e,Hl,r),t(e,Vs,r),t(e,Fl,r),t(e,xs,r),t(e,Yl,r),U(Es,e,r),t(e,Sl,r),pl[Ie].m(e,r),t(e,yl,r),U(os,e,r),t(e,Dl,r),U(ps,e,r),t(e,Ll,r),U(Ns,e,r),t(e,Kl,r),t(e,qs,r),t(e,Pl,r),il[ge].m(e,r),t(e,Ul,r),t(e,Hs,r),t(e,Ol,r),U(Fs,e,r),t(e,en,r),U(Ys,e,r),t(e,sn,r),t(e,Ss,r),t(e,ln,r),U(Ds,e,r),t(e,nn,r),U(Ls,e,r),t(e,tn,r),t(e,Ks,r),t(e,an,r),U(Ps,e,r),t(e,rn,r),U(Os,e,r),t(e,on,r),t(e,el,r),t(e,pn,r),U(sl,e,r),t(e,un,r),U(ll,e,r),t(e,Mn,r),ts.m(e,r),t(e,Jl,r),z&&z.m(e,r),t(e,Tl,r),U(nl,e,r),t(e,cn,r),t(e,Il,r),mn=!0},p(e,[r]){const et={};r&1&&(et.fw=e[0]),_.$set(et);let Un=f;f=En(e),f!==Un&&(us(),M(tl[Un],1,1,()=>{tl[Un]=null}),is(),$=tl[f],$||($=tl[f]=xn[f](e),$.c()),u($,1),$.m(Q.parentNode,Q));const st={};r&2&&(st.$$scope={dirty:r,ctx:e}),V.$set(st);const lt={};r&2&&(lt.$$scope={dirty:r,ctx:e}),as.$set(lt);let Jn=je;je=qn(e),je!==Jn&&(us(),M(al[Jn],1,1,()=>{al[Jn]=null}),is(),we=al[je],we||(we=al[je]=Nn[je](e),we.c()),u(we,1),we.m(Ml.parentNode,Ml));let Tn=be;be=Fn(e),be!==Tn&&(us(),M(rl[Tn],1,1,()=>{rl[Tn]=null}),is(),fe=rl[be],fe||(fe=rl[be]=Hn[be](e),fe.c()),u(fe,1),fe.m(cl.parentNode,cl));let jn=he;he=Sn(e),he!==jn&&(us(),M(ol[jn],1,1,()=>{ol[jn]=null}),is(),Ce=ol[he],Ce||(Ce=ol[he]=Yn[he](e),Ce.c()),u(Ce,1),Ce.m(ml.parentNode,ml)),e[0]==="tf"?X?r&1&&u(X,1):(X=pt(),X.c(),u(X,1),X.m(dl.parentNode,dl)):X&&(us(),M(X,1,1,()=>{X=null}),is());const nt={};r&2&&(nt.$$scope={dirty:r,ctx:e}),rs.$set(nt);let wn=Ie;Ie=Ln(e),Ie!==wn&&(us(),M(pl[wn],1,1,()=>{pl[wn]=null}),is(),_e=pl[Ie],_e||(_e=pl[Ie]=Dn[Ie](e),_e.c()),u(_e,1),_e.m(yl.parentNode,yl));const tt={};r&2&&(tt.$$scope={dirty:r,ctx:e}),os.$set(tt);const at={};r&3&&(at.$$scope={dirty:r,ctx:e}),ps.$set(at);let bn=ge;ge=Pn(e),ge!==bn&&(us(),M(il[bn],1,1,()=>{il[bn]=null}),is(),ve=il[ge],ve||(ve=il[ge]=Kn[ge](e),ve.c()),u(ve,1),ve.m(Ul.parentNode,Ul)),dn!==(dn=On(e))&&(ts.d(1),ts=dn(e),ts&&(ts.c(),ts.m(Jl.parentNode,Jl))),e[0]==="pt"?z?r&1&&u(z,1):(z=it(e),z.c(),u(z,1),z.m(Tl.parentNode,Tl)):z&&(us(),M(z,1,1,()=>{z=null}),is())},i(e){mn||(u(_.$$.fragment,e),u(Z.$$.fragment,e),u(k.$$.fragment,e),u($),u(N.$$.fragment,e),u(H.$$.fragment,e),u(Be.$$.fragment,e),u(Qe.$$.fragment,e),u(D.$$.fragment,e),u(K.$$.fragment,e),u(Xe.$$.fragment,e),u(O.$$.fragment,e),u(ue.$$.fragment,e),u(ze.$$.fragment,e),u(V.$$.fragment,e),u(ne.$$.fragment,e),u(ce.$$.fragment,e),u(te.$$.fragment,e),u(ye.$$.fragment,e),u(hs.$$.fragment,e),u(Cs.$$.fragment,e),u(gs.$$.fragment,e),u(vs.$$.fragment,e),u(as.$$.fragment,e),u($s.$$.fragment,e),u(we),u(fe),u(zs.$$.fragment,e),u(Ce),u(X),u(rs.$$.fragment,e),u(As.$$.fragment,e),u(Es.$$.fragment,e),u(_e),u(os.$$.fragment,e),u(ps.$$.fragment,e),u(Ns.$$.fragment,e),u(ve),u(Fs.$$.fragment,e),u(Ys.$$.fragment,e),u(Ds.$$.fragment,e),u(Ls.$$.fragment,e),u(Ps.$$.fragment,e),u(Os.$$.fragment,e),u(sl.$$.fragment,e),u(ll.$$.fragment,e),u(z),u(nl.$$.fragment,e),mn=!0)},o(e){M(_.$$.fragment,e),M(Z.$$.fragment,e),M(k.$$.fragment,e),M($),M(N.$$.fragment,e),M(H.$$.fragment,e),M(Be.$$.fragment,e),M(Qe.$$.fragment,e),M(D.$$.fragment,e),M(K.$$.fragment,e),M(Xe.$$.fragment,e),M(O.$$.fragment,e),M(ue.$$.fragment,e),M(ze.$$.fragment,e),M(V.$$.fragment,e),M(ne.$$.fragment,e),M(ce.$$.fragment,e),M(te.$$.fragment,e),M(ye.$$.fragment,e),M(hs.$$.fragment,e),M(Cs.$$.fragment,e),M(gs.$$.fragment,e),M(vs.$$.fragment,e),M(as.$$.fragment,e),M($s.$$.fragment,e),M(we),M(fe),M(zs.$$.fragment,e),M(Ce),M(X),M(rs.$$.fragment,e),M(As.$$.fragment,e),M(Es.$$.fragment,e),M(_e),M(os.$$.fragment,e),M(ps.$$.fragment,e),M(Ns.$$.fragment,e),M(ve),M(Fs.$$.fragment,e),M(Ys.$$.fragment,e),M(Ds.$$.fragment,e),M(Ls.$$.fragment,e),M(Ps.$$.fragment,e),M(Os.$$.fragment,e),M(sl.$$.fragment,e),M(ll.$$.fragment,e),M(z),M(nl.$$.fragment,e),mn=!1},d(e){e&&(l(i),l(a),l(c),l(h),l(v),l(T),l(Q),l(B),l(g),l(G),l(Ve),l(cs),l(ae),l(ms),l(R),l(ds),l(W),l(xe),l(q),l(Ee),l(Ne),l(F),l(qe),l(Y),l(re),l(He),l(S),l(oe),l(Fe),l(Ye),l(L),l(Se),l(De),l(P),l(pe),l(Le),l(Ke),l(ee),l(Pe),l(se),l(ie),l(Me),l(Oe),l(es),l(le),l(ss),l(js),l(me),l(de),l(ls),l(ws),l(Ue),l(Je),l(bs),l(Te),l(ns),l(x),l(s),l(m),l(_l),l(gl),l(vl),l(Is),l(kl),l(_s),l(Zl),l($l),l(Gl),l(ks),l(Bl),l(Zs),l(Ql),l(Xl),l(zl),l(Gs),l(Rl),l(Ml),l(Bs),l(Wl),l(Qs),l(Al),l(cl),l(Xs),l(Vl),l(xl),l(ml),l(Rs),l(El),l(dl),l(Nl),l(Ws),l(ql),l(Hl),l(Vs),l(Fl),l(xs),l(Yl),l(Sl),l(yl),l(Dl),l(Ll),l(Kl),l(qs),l(Pl),l(Ul),l(Hs),l(Ol),l(en),l(sn),l(Ss),l(ln),l(nn),l(tn),l(Ks),l(an),l(rn),l(on),l(el),l(pn),l(un),l(Mn),l(Jl),l(Tl),l(cn),l(Il)),l(n),J(_,e),J(Z,e),J(k,e),tl[f].d(e),J(N,e),J(H,e),J(Be,e),J(Qe,e),J(D,e),J(K,e),J(Xe,e),J(O,e),J(ue,e),J(ze,e),J(V,e),J(ne,e),J(ce,e),J(te,e),J(ye,e),J(hs,e),J(Cs,e),J(gs,e),J(vs,e),J(as,e),J($s,e),al[je].d(e),rl[be].d(e),J(zs,e),ol[he].d(e),X&&X.d(e),J(rs,e),J(As,e),J(Es,e),pl[Ie].d(e),J(os,e),J(ps,e),J(Ns,e),il[ge].d(e),J(Fs,e),J(Ys,e),J(Ds,e),J(Ls,e),J(Ps,e),J(Os,e),J(sl,e),J(ll,e),ts.d(e),z&&z.d(e),J(nl,e)}}}const Ht='{"title":"Entraîner un modèle de langage causal à partir de zéro","local":"entraîner-un-modèle-de-langage-causal-à-partir-de-zéro","sections":[{"title":"Collecte des données","local":"collecte-des-données","sections":[],"depth":2},{"title":"Préparation du jeu de données","local":"préparation-du-jeu-de-données","sections":[],"depth":2},{"title":"Initialisation d’un nouveau modèle","local":"initialisation-dun-nouveau-modèle","sections":[],"depth":2},{"title":"Génération de code avec le pipeline","local":"génération-de-code-avec-le-pipeline","sections":[],"depth":2},{"title":"Entraîner avec 🤗 <i> Accelerate </i>","local":"entraîner-avec--i-accelerate-i","sections":[],"depth":2}],"depth":1}';function Ft(I,n,i){let a="pt";return ct(()=>{const c=new URLSearchParams(window.location.search);i(0,a=c.get("fw")||"pt")}),[a]}class sa extends mt{constructor(n){super(),dt(this,n,Ft,qt,Mt,{})}}export{sa as component};
