import{s as De,o as Oe,n as Ne}from"../chunks/scheduler.9bc65507.js";import{S as Pe,i as Ke,g as $,s as r,r as c,A as et,h as u,f as t,c as p,j as Ee,u as h,x as U,k as _e,y as tt,a as l,v as g,d as T,t as y,w as J}from"../chunks/index.707bf1b6.js";import{T as Qe}from"../chunks/Tip.c2ecdbf4.js";import{Y as Ye}from"../chunks/Youtube.e1129c6f.js";import{C as V}from"../chunks/CodeBlock.54a9f38d.js";import{D as st}from"../chunks/DocNotebookDropdown.3e6b3817.js";import{F as qe,M as Ae}from"../chunks/Markdown.8ab98a13.js";import{H as we}from"../chunks/Heading.342b1fa6.js";function lt(Te){let i,j=`一部の事前学習済みの重みが使用されず、一部の重みがランダムに初期化された警告が表示されることがあります。心配しないでください、これは完全に正常です！
BERTモデルの事前学習済みのヘッドは破棄され、ランダムに初期化された分類ヘッドで置き換えられます。この新しいモデルヘッドをシーケンス分類タスクでファインチューニングし、事前学習モデルの知識をそれに転送します。`;return{c(){i=$("p"),i.textContent=j},l(m){i=u(m,"P",{"data-svelte-h":!0}),U(i)!=="svelte-1r1rjun"&&(i.textContent=j)},m(m,w){l(m,i,w)},p:Ne,d(m){m&&t(i)}}}function at(Te){let i,j,m,w,b,re=`🤗 Transformersは、🤗 Transformersモデルのトレーニングを最適化した<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>クラスを提供し、独自のトレーニングループを手動で記述せずにトレーニングを開始しやすくしています。
<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a> APIは、ログ記録、勾配累積、混合精度など、さまざまなトレーニングオプションと機能をサポートしています。`,Y,pe,N='まず、モデルをロードし、予想されるラベルの数を指定します。Yelp Review <a href="https://huggingface.co/datasets/yelp_review_full#data-fields" rel="nofollow">dataset card</a>から、5つのラベルがあることがわかります：',ie,F,Q,ye,P,Z,ae,A,me=`次に、トレーニングオプションをアクティベートするためのすべてのハイパーパラメータと、調整できるハイパーパラメータを含む<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.TrainingArguments">TrainingArguments</a>クラスを作成します。
このチュートリアルでは、デフォルトのトレーニング<a href="https://huggingface.co/docs/transformers/main_classes/trainer#transformers.TrainingArguments" rel="nofollow">ハイパーパラメータ</a>を使用して開始できますが、最適な設定を見つけるためにこれらを実験しても構いません。`,z,I,K="トレーニングのチェックポイントを保存する場所を指定します：",be,G,E,S,oe,L,fe=`<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>はトレーニング中に自動的にモデルのパフォーマンスを評価しません。メトリクスを計算して報告する関数を<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>に渡す必要があります。
<a href="https://huggingface.co/docs/evaluate/index" rel="nofollow">🤗 Evaluate</a>ライブラリでは、<code>evaluate.load</code>関数を使用して読み込むことができるシンプルな<a href="https://huggingface.co/spaces/evaluate-metric/accuracy" rel="nofollow"><code>accuracy</code></a>関数が提供されています（詳細については<a href="https://huggingface.co/docs/evaluate/a_quick_tour" rel="nofollow">こちらのクイックツアー</a>を参照してください）：`,W,B,ee,k,$e="<code>metric</code>の<code>~evaluate.compute</code>を呼び出して、予測の正確度を計算します。 <code>compute</code>に予測を渡す前に、予測をロジットに変換する必要があります（すべての🤗 Transformersモデルはロジットを返すことを覚えておいてください）：",Me,q,te,C,ue="評価メトリクスをファインチューニング中に監視したい場合、トレーニング引数で <code>evaluation_strategy</code> パラメータを指定して、各エポックの終了時に評価メトリクスを報告します：",Je,X,D,se,R,Ue,de='モデル、トレーニング引数、トレーニングおよびテストデータセット、評価関数を使用して<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>オブジェクトを作成します：',H,le,_,ce,O='その後、<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer.train">train()</a>を呼び出してモデルを微調整します：',he,v,x;return i=new Ye({props:{id:"nvBXf7s7vTI"}}),m=new we({props:{title:"Train with Pytorch Trainer",local:"train-with-pytorch-trainer",headingTag:"h2"}}),F=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKCUyMmJlcnQtYmFzZS1jYXNlZCUyMiUyQyUyMG51bV9sYWJlbHMlM0Q1KQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification

<span class="hljs-meta">&gt;&gt;&gt; </span>model = AutoModelForSequenceClassification.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>, num_labels=<span class="hljs-number">5</span>)`,wrap:!1}}),ye=new Qe({props:{$$slots:{default:[lt]},$$scope:{ctx:Te}}}),Z=new we({props:{title:"Training Hyperparameters",local:"training-hyperparameters",headingTag:"h3"}}),G=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluaW5nQXJndW1lbnRzJTBBJTBBdHJhaW5pbmdfYXJncyUyMCUzRCUyMFRyYWluaW5nQXJndW1lbnRzKG91dHB1dF9kaXIlM0QlMjJ0ZXN0X3RyYWluZXIlMjIp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TrainingArguments

<span class="hljs-meta">&gt;&gt;&gt; </span>training_args = TrainingArguments(output_dir=<span class="hljs-string">&quot;test_trainer&quot;</span>)`,wrap:!1}}),S=new we({props:{title:"Evaluate",local:"evaluate",headingTag:"h3"}}),B=new V({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBaW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMmFjY3VyYWN5JTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> evaluate

<span class="hljs-meta">&gt;&gt;&gt; </span>metric = evaluate.load(<span class="hljs-string">&quot;accuracy&quot;</span>)`,wrap:!1}}),q=new V({props:{code:"ZGVmJTIwY29tcHV0ZV9tZXRyaWNzKGV2YWxfcHJlZCklM0ElMEElMjAlMjAlMjAlMjBsb2dpdHMlMkMlMjBsYWJlbHMlMjAlM0QlMjBldmFsX3ByZWQlMEElMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUyMCUzRCUyMG5wLmFyZ21heChsb2dpdHMlMkMlMjBheGlzJTNELTEpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbWV0cmljLmNvbXB1dGUocHJlZGljdGlvbnMlM0RwcmVkaWN0aW9ucyUyQyUyMHJlZmVyZW5jZXMlM0RsYWJlbHMp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>(<span class="hljs-params">eval_pred</span>):
<span class="hljs-meta">... </span>    logits, labels = eval_pred
<span class="hljs-meta">... </span>    predictions = np.argmax(logits, axis=-<span class="hljs-number">1</span>)
<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> metric.compute(predictions=predictions, references=labels)`,wrap:!1}}),X=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluaW5nQXJndW1lbnRzJTJDJTIwVHJhaW5lciUwQSUwQXRyYWluaW5nX2FyZ3MlMjAlM0QlMjBUcmFpbmluZ0FyZ3VtZW50cyhvdXRwdXRfZGlyJTNEJTIydGVzdF90cmFpbmVyJTIyJTJDJTIwZXZhbHVhdGlvbl9zdHJhdGVneSUzRCUyMmVwb2NoJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TrainingArguments, Trainer

<span class="hljs-meta">&gt;&gt;&gt; </span>training_args = TrainingArguments(output_dir=<span class="hljs-string">&quot;test_trainer&quot;</span>, evaluation_strategy=<span class="hljs-string">&quot;epoch&quot;</span>)`,wrap:!1}}),se=new we({props:{title:"Trainer",local:"trainer",headingTag:"h3"}}),le=new V({props:{code:"dHJhaW5lciUyMCUzRCUyMFRyYWluZXIoJTBBJTIwJTIwJTIwJTIwbW9kZWwlM0Rtb2RlbCUyQyUwQSUyMCUyMCUyMCUyMGFyZ3MlM0R0cmFpbmluZ19hcmdzJTJDJTBBJTIwJTIwJTIwJTIwdHJhaW5fZGF0YXNldCUzRHNtYWxsX3RyYWluX2RhdGFzZXQlMkMlMEElMjAlMjAlMjAlMjBldmFsX2RhdGFzZXQlM0RzbWFsbF9ldmFsX2RhdGFzZXQlMkMlMEElMjAlMjAlMjAlMjBjb21wdXRlX21ldHJpY3MlM0Rjb21wdXRlX21ldHJpY3MlMkMlMEEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>trainer = Trainer(
<span class="hljs-meta">... </span>    model=model,
<span class="hljs-meta">... </span>    args=training_args,
<span class="hljs-meta">... </span>    train_dataset=small_train_dataset,
<span class="hljs-meta">... </span>    eval_dataset=small_eval_dataset,
<span class="hljs-meta">... </span>    compute_metrics=compute_metrics,
<span class="hljs-meta">... </span>)`,wrap:!1}}),v=new V({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>trainer.train()',wrap:!1}}),{c(){c(i.$$.fragment),j=r(),c(m.$$.fragment),w=r(),b=$("p"),b.innerHTML=re,Y=r(),pe=$("p"),pe.innerHTML=N,ie=r(),c(F.$$.fragment),Q=r(),c(ye.$$.fragment),P=r(),c(Z.$$.fragment),ae=r(),A=$("p"),A.innerHTML=me,z=r(),I=$("p"),I.textContent=K,be=r(),c(G.$$.fragment),E=r(),c(S.$$.fragment),oe=r(),L=$("p"),L.innerHTML=fe,W=r(),c(B.$$.fragment),ee=r(),k=$("p"),k.innerHTML=$e,Me=r(),c(q.$$.fragment),te=r(),C=$("p"),C.innerHTML=ue,Je=r(),c(X.$$.fragment),D=r(),c(se.$$.fragment),R=r(),Ue=$("p"),Ue.innerHTML=de,H=r(),c(le.$$.fragment),_=r(),ce=$("p"),ce.innerHTML=O,he=r(),c(v.$$.fragment)},l(a){h(i.$$.fragment,a),j=p(a),h(m.$$.fragment,a),w=p(a),b=u(a,"P",{"data-svelte-h":!0}),U(b)!=="svelte-xticyv"&&(b.innerHTML=re),Y=p(a),pe=u(a,"P",{"data-svelte-h":!0}),U(pe)!=="svelte-idmno9"&&(pe.innerHTML=N),ie=p(a),h(F.$$.fragment,a),Q=p(a),h(ye.$$.fragment,a),P=p(a),h(Z.$$.fragment,a),ae=p(a),A=u(a,"P",{"data-svelte-h":!0}),U(A)!=="svelte-hahful"&&(A.innerHTML=me),z=p(a),I=u(a,"P",{"data-svelte-h":!0}),U(I)!=="svelte-yrhe9g"&&(I.textContent=K),be=p(a),h(G.$$.fragment,a),E=p(a),h(S.$$.fragment,a),oe=p(a),L=u(a,"P",{"data-svelte-h":!0}),U(L)!=="svelte-upoddc"&&(L.innerHTML=fe),W=p(a),h(B.$$.fragment,a),ee=p(a),k=u(a,"P",{"data-svelte-h":!0}),U(k)!=="svelte-92ek02"&&(k.innerHTML=$e),Me=p(a),h(q.$$.fragment,a),te=p(a),C=u(a,"P",{"data-svelte-h":!0}),U(C)!=="svelte-7iull8"&&(C.innerHTML=ue),Je=p(a),h(X.$$.fragment,a),D=p(a),h(se.$$.fragment,a),R=p(a),Ue=u(a,"P",{"data-svelte-h":!0}),U(Ue)!=="svelte-117y1cw"&&(Ue.innerHTML=de),H=p(a),h(le.$$.fragment,a),_=p(a),ce=u(a,"P",{"data-svelte-h":!0}),U(ce)!=="svelte-brzo73"&&(ce.innerHTML=O),he=p(a),h(v.$$.fragment,a)},m(a,M){g(i,a,M),l(a,j,M),g(m,a,M),l(a,w,M),l(a,b,M),l(a,Y,M),l(a,pe,M),l(a,ie,M),g(F,a,M),l(a,Q,M),g(ye,a,M),l(a,P,M),g(Z,a,M),l(a,ae,M),l(a,A,M),l(a,z,M),l(a,I,M),l(a,be,M),g(G,a,M),l(a,E,M),g(S,a,M),l(a,oe,M),l(a,L,M),l(a,W,M),g(B,a,M),l(a,ee,M),l(a,k,M),l(a,Me,M),g(q,a,M),l(a,te,M),l(a,C,M),l(a,Je,M),g(X,a,M),l(a,D,M),g(se,a,M),l(a,R,M),l(a,Ue,M),l(a,H,M),g(le,a,M),l(a,_,M),l(a,ce,M),l(a,he,M),g(v,a,M),x=!0},p(a,M){const ne={};M&2&&(ne.$$scope={dirty:M,ctx:a}),ye.$set(ne)},i(a){x||(T(i.$$.fragment,a),T(m.$$.fragment,a),T(F.$$.fragment,a),T(ye.$$.fragment,a),T(Z.$$.fragment,a),T(G.$$.fragment,a),T(S.$$.fragment,a),T(B.$$.fragment,a),T(q.$$.fragment,a),T(X.$$.fragment,a),T(se.$$.fragment,a),T(le.$$.fragment,a),T(v.$$.fragment,a),x=!0)},o(a){y(i.$$.fragment,a),y(m.$$.fragment,a),y(F.$$.fragment,a),y(ye.$$.fragment,a),y(Z.$$.fragment,a),y(G.$$.fragment,a),y(S.$$.fragment,a),y(B.$$.fragment,a),y(q.$$.fragment,a),y(X.$$.fragment,a),y(se.$$.fragment,a),y(le.$$.fragment,a),y(v.$$.fragment,a),x=!1},d(a){a&&(t(j),t(w),t(b),t(Y),t(pe),t(ie),t(Q),t(P),t(ae),t(A),t(z),t(I),t(be),t(E),t(oe),t(L),t(W),t(ee),t(k),t(Me),t(te),t(C),t(Je),t(D),t(R),t(Ue),t(H),t(_),t(ce),t(he)),J(i,a),J(m,a),J(F,a),J(ye,a),J(Z,a),J(G,a),J(S,a),J(B,a),J(q,a),J(X,a),J(se,a),J(le,a),J(v,a)}}}function nt(Te){let i,j;return i=new Ae({props:{$$slots:{default:[at]},$$scope:{ctx:Te}}}),{c(){c(i.$$.fragment)},l(m){h(i.$$.fragment,m)},m(m,w){g(i,m,w),j=!0},p(m,w){const b={};w&2&&(b.$$scope={dirty:w,ctx:m}),i.$set(b)},i(m){j||(T(i.$$.fragment,m),j=!0)},o(m){y(i.$$.fragment,m),j=!1},d(m){J(i,m)}}}function rt(Te){let i,j=`モデルを<code>compile()</code>する際に<code>loss</code>引数を渡す必要はありません！Hugging Faceモデルは、この引数を空白のままにしておくと、タスクとモデルアーキテクチャに適した損失を自動的に選択します。
必要に応じて自分で損失を指定してオーバーライドすることもできます！`;return{c(){i=$("p"),i.innerHTML=j},l(m){i=u(m,"P",{"data-svelte-h":!0}),U(i)!=="svelte-f8a72j"&&(i.innerHTML=j)},m(m,w){l(m,i,w)},p:Ne,d(m){m&&t(i)}}}function pt(Te){let i,j,m,w,b,re,Y,pe="Keras APIを使用して🤗 TransformersモデルをTensorFlowでトレーニングすることもできます！",N,ie,F,Q,ye=`🤗 TransformersモデルをKeras APIでトレーニングする場合、データセットをKerasが理解できる形式に変換する必要があります。
データセットが小さい場合、データセット全体をNumPy配列に変換してKerasに渡すことができます。
複雑なことをする前に、まずそれを試してみましょう。`,P,Z,ae=`まず、データセットを読み込みます。GLUEベンチマークからCoLAデータセットを使用します
(<a href="https://huggingface.co/datasets/glue" rel="nofollow">GLUE Banchmark</a>)、これは単純なバイナリテキスト分類タスクです。今のところトレーニング分割のみを使用します。`,A,me,z,I,K="次に、トークナイザをロードし、データをNumPy配列としてトークン化します。ラベルは既に<code>0</code>と<code>1</code>のリストであるため、トークン化せずに直接NumPy配列に変換できます！",be,G,E,S,oe=`最後に、モデルをロードし、<a href="https://keras.io/api/models/model_training_apis/#compile-method" rel="nofollow"><code>compile</code></a> と <a href="https://keras.io/api/models/model_training_apis/#fit-method" rel="nofollow"><code>fit</code></a> メソッドを実行します。
注意点として、Transformersモデルはすべてデフォルトでタスクに関連した損失関数を持っているため、指定しなくても構いません（指定する場合を除く）：`,L,fe,W,B,ee,k,$e=`このアプローチは、小規模なデータセットには適していますが、大規模なデータセットに対しては問題になることがあります。なぜなら、トークナイズされた配列とラベルはメモリに完全に読み込まれる必要があり、またNumPyは「ジャギー」な配列を処理しないため、トークナイズされた各サンプルを全体のデータセット内で最も長いサンプルの長さにパディングする必要があります。
これにより、配列がさらに大きくなり、すべてのパディングトークンがトレーニングを遅くする原因になります！`,Me,q,te,C,ue="トレーニングを遅くせずにデータを読み込むには、データを<code>tf.data.Dataset</code>として読み込むことができます。独自の<code>tf.data</code>パイプラインを作成することもできますが、これを行うための便利な方法が2つあります：",Je,X,D='<li><a href="/docs/transformers/main/ja/main_classes/model#transformers.TFPreTrainedModel.prepare_tf_dataset">prepare_tf_dataset()</a>: これはほとんどの場合で推奨する方法です。モデル上のメソッドなので、モデルを検査してモデル入力として使用可能な列を自動的に把握し、他の列を破棄してより単純で高性能なデータセットを作成できます。</li> <li><code>to_tf_dataset</code>: このメソッドはより低レベルで、データセットがどのように作成されるかを正確に制御する場合に便利です。<code>columns</code>と<code>label_cols</code>を指定して、データセットに含める列を正確に指定できます。</li>',se,R,Ue='<a href="/docs/transformers/main/ja/main_classes/model#transformers.TFPreTrainedModel.prepare_tf_dataset">prepare_tf_dataset()</a>を使用する前に、次のコードサンプルに示すように、トークナイザの出力をデータセットに列として追加する必要があります：',de,H,le,_,ce=`Hugging Faceのデータセットはデフォルトでディスクに保存されるため、これによりメモリの使用量が増えることはありません！
列が追加されたら、データセットからバッチをストリームし、各バッチにパディングを追加できます。これにより、
データセット全体にパディングを追加する場合と比べて、パディングトークンの数が大幅に削減されます。`,O,he,v,x,a=`上記のコードサンプルでは、トークナイザを<code>prepare_tf_dataset</code>に渡して、バッチを正しく読み込む際に正しくパディングできるようにする必要があります。
データセットのすべてのサンプルが同じ長さであり、パディングが不要な場合は、この引数をスキップできます。
パディング以外の複雑な処理を行う必要がある場合（例：マスク言語モデリングのためのトークンの破損など）、
代わりに<code>collate_fn</code>引数を使用して、サンプルのリストをバッチに変換し、必要な前処理を適用する関数を渡すことができます。
このアプローチを実際に使用した例については、
<a href="https://github.com/huggingface/transformers/tree/main/examples" rel="nofollow">examples</a>や
<a href="https://huggingface.co/docs/transformers/notebooks" rel="nofollow">notebooks</a>をご覧ください。`,M,ne,Ce="<code>tf.data.Dataset</code>を作成したら、以前と同様にモデルをコンパイルし、適合させることができます：",ge,ke,je;return m=new Ye({props:{id:"rnTGBy2ax1c"}}),b=new we({props:{title:"Kerasを使用してTensorFlowモデルをトレーニングする",local:"kerasを使用してtensorflowモデルをトレーニングする",headingTag:"h2"}}),ie=new we({props:{title:"Loading Data from Keras",local:"loading-data-from-keras",headingTag:"h3"}}),me=new V({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJnbHVlJTIyJTJDJTIwJTIyY29sYSUyMiklMEFkYXRhc2V0JTIwJTNEJTIwZGF0YXNldCU1QiUyMnRyYWluJTIyJTVEJTIwJTIwJTIzJTIwJUU0JUJCJThBJUUzJTgxJUFFJUUzJTgxJUE4JUUzJTgxJTkzJUUzJTgyJThEJUUzJTgzJTg4JUUzJTgzJUFDJUUzJTgzJUJDJUUzJTgzJThCJUUzJTgzJUIzJUUzJTgyJUIwJUU1JTg4JTg2JUU1JTg5JUIyJUUzJTgxJUFFJUUzJTgxJUJGJUUzJTgyJTkyJUU0JUJEJUJGJUU3JTk0JUE4JUUzJTgxJTk3JUUzJTgxJUJFJUUzJTgxJTk5",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

dataset = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;cola&quot;</span>)
dataset = dataset[<span class="hljs-string">&quot;train&quot;</span>]  <span class="hljs-comment"># 今のところトレーニング分割のみを使用します</span>`,wrap:!1}}),G=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJiZXJ0LWJhc2UtY2FzZWQlMjIpJTBBdG9rZW5pemVkX2RhdGElMjAlM0QlMjB0b2tlbml6ZXIoZGF0YXNldCU1QiUyMnNlbnRlbmNlJTIyJTVEJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJucCUyMiUyQyUyMHBhZGRpbmclM0RUcnVlKSUwQSUyMyUyMCVFMyU4MyU4OCVFMyU4MyVCQyVFMyU4MiVBRiVFMyU4MyU4QSVFMyU4MiVBNCVFMyU4MiVCNiVFMyU4MSVBRkJhdGNoRW5jb2RpbmclRTMlODIlOTIlRTglQkYlOTQlRTMlODElOTclRTMlODElQkUlRTMlODElOTklRTMlODElOEMlRTMlODAlODElRTMlODElOUQlRTMlODIlOEMlRTMlODIlOTJLZXJhcyVFNyU5NCVBOCVFMyU4MSVBQiVFOCVCRSU5RSVFNiU5QiVCOCVFMyU4MSVBQiVFNSVBNCU4OSVFNiU4RiU5QiVFMyU4MSU5NyVFMyU4MSVCRSVFMyU4MSU5OSUwQXRva2VuaXplZF9kYXRhJTIwJTNEJTIwZGljdCh0b2tlbml6ZWRfZGF0YSklMEElMEFsYWJlbHMlMjAlM0QlMjBucC5hcnJheShkYXRhc2V0JTVCJTIybGFiZWwlMjIlNUQpJTIwJTIwJTIzJTIwJUUzJTgzJUE5JUUzJTgzJTk5JUUzJTgzJUFCJUUzJTgxJUFGJUUzJTgxJTk5JUUzJTgxJUE3JUUzJTgxJUFCMCVFMyU4MSVBODElRTMlODElQUUlRTklODUlOEQlRTUlODglOTclRTMlODElQTclRTMlODElOTk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)
tokenized_data = tokenizer(dataset[<span class="hljs-string">&quot;sentence&quot;</span>], return_tensors=<span class="hljs-string">&quot;np&quot;</span>, padding=<span class="hljs-literal">True</span>)
<span class="hljs-comment"># トークナイザはBatchEncodingを返しますが、それをKeras用に辞書に変換します</span>
tokenized_data = <span class="hljs-built_in">dict</span>(tokenized_data)

labels = np.array(dataset[<span class="hljs-string">&quot;label&quot;</span>])  <span class="hljs-comment"># ラベルはすでに0と1の配列です</span>`,wrap:!1}}),fe=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQWZyb20lMjB0ZW5zb3JmbG93LmtlcmFzLm9wdGltaXplcnMlMjBpbXBvcnQlMjBBZGFtJTBBJTBBJTIzJTIwJUUzJTgzJUEyJUUzJTgzJTg3JUUzJTgzJUFCJUUzJTgyJTkyJUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgzJTkxJUUzJTgyJUE0JUUzJTgzJUFCJUUzJTgxJTk5JUUzJTgyJThCJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKCUyMmJlcnQtYmFzZS1jYXNlZCUyMiklMEElMjMlMjAlRTMlODMlOTUlRTMlODIlQTElRTMlODIlQTQlRTMlODMlQjMlRTMlODMlODElRTMlODMlQTUlRTMlODMlQkMlRTMlODMlOEIlRTMlODMlQjMlRTMlODIlQjAlRTMlODElQUIlRTMlODElQUYlRTklODAlOUElRTUlQjglQjglRTMlODAlODElRTUlQUQlQTYlRTclQkYlOTIlRTclOEUlODclRTMlODIlOTIlRTQlQjglOEIlRTMlODElOTIlRTMlODIlOEIlRTMlODElQTglRTglODklQUYlRTMlODElODQlRTMlODElQTclRTMlODElOTklMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzREFkYW0oM2UtNSkpJTIwJTIwJTIzJTIwJUU2JTkwJThEJUU1JUE0JUIxJUU5JTk2JUEyJUU2JTk1JUIwJUUzJTgxJUFFJUU2JThDJTg3JUU1JUFFJTlBJUUzJTgxJUFGJUU0JUI4JThEJUU4JUE2JTgxJUUzJTgxJUE3JUUzJTgxJTk5JUVGJUJDJTgxJTBBJTBBbW9kZWwuZml0KHRva2VuaXplZF9kYXRhJTJDJTIwbGFiZWxzKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForSequenceClassification
<span class="hljs-keyword">from</span> tensorflow.keras.optimizers <span class="hljs-keyword">import</span> Adam

<span class="hljs-comment"># モデルをロードしてコンパイルする</span>
model = TFAutoModelForSequenceClassification.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)
<span class="hljs-comment"># ファインチューニングには通常、学習率を下げると良いです</span>
model.<span class="hljs-built_in">compile</span>(optimizer=Adam(<span class="hljs-number">3e-5</span>))  <span class="hljs-comment"># 損失関数の指定は不要です！</span>

model.fit(tokenized_data, labels)`,wrap:!1}}),B=new Qe({props:{$$slots:{default:[rt]},$$scope:{ctx:Te}}}),q=new we({props:{title:"Loading data as a tf.data.Dataset",local:"loading-data-as-a-tfdatadataset",headingTag:"h3"}}),H=new V({props:{code:"ZGVmJTIwdG9rZW5pemVfZGF0YXNldChkYXRhKSUzQSUwQSUyMCUyMCUyMCUyMCUyMyUyMCVFOCVCRiU5NCVFMyU4MSU5NSVFMyU4MiU4QyVFMyU4MSU5RiVFOCVCRSU5RSVFNiU5QiVCOCVFMyU4MSVBRSVFMyU4MiVBRCVFMyU4MyVCQyVFMyU4MSVBRiVFMyU4MyU4NyVFMyU4MyVCQyVFMyU4MiVCRiVFMyU4MiVCQiVFMyU4MyU4MyVFMyU4MyU4OCVFMyU4MSVBQiVFNSU4OCU5NyVFMyU4MSVBOCVFMyU4MSU5NyVFMyU4MSVBNiVFOCVCRiVCRCVFNSU4QSVBMCVFMyU4MSU5NSVFMyU4MiU4QyVFMyU4MSVCRSVFMyU4MSU5OSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMHRva2VuaXplcihkYXRhJTVCJTIydGV4dCUyMiU1RCklMEElMEElMEFkYXRhc2V0JTIwJTNEJTIwZGF0YXNldC5tYXAodG9rZW5pemVfZGF0YXNldCk=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_dataset</span>(<span class="hljs-params">data</span>):
    <span class="hljs-comment"># 返された辞書のキーはデータセットに列として追加されます</span>
    <span class="hljs-keyword">return</span> tokenizer(data[<span class="hljs-string">&quot;text&quot;</span>])


dataset = dataset.<span class="hljs-built_in">map</span>(tokenize_dataset)`,wrap:!1}}),he=new V({props:{code:"dGZfZGF0YXNldCUyMCUzRCUyMG1vZGVsLnByZXBhcmVfdGZfZGF0YXNldChkYXRhc2V0JTVCJTIydHJhaW4lMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMTYlMkMlMjBzaHVmZmxlJTNEVHJ1ZSUyQyUyMHRva2VuaXplciUzRHRva2VuaXplcik=",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tf_dataset = model.prepare_tf_dataset(dataset[<span class="hljs-string">&quot;train&quot;</span>], batch_size=<span class="hljs-number">16</span>, shuffle=<span class="hljs-literal">True</span>, tokenizer=tokenizer)',wrap:!1}}),ke=new V({props:{code:"bW9kZWwuY29tcGlsZShvcHRpbWl6ZXIlM0RBZGFtKDNlLTUpKSUyMCUyMCUyMyUyMCVFNiU5MCU4RCVFNSVBNCVCMSVFNSVCQyU5NSVFNiU5NSVCMCVFMyU4MSVBRiVFNCVCOCU4RCVFOCVBNiU4MSVFMyU4MSVBNyVFMyU4MSU5OSVFRiVCQyU4MSUwQSUwQW1vZGVsLmZpdCh0Zl9kYXRhc2V0KQ==",highlighted:`model.<span class="hljs-built_in">compile</span>(optimizer=Adam(<span class="hljs-number">3e-5</span>))  <span class="hljs-comment"># 損失引数は不要です！</span>

model.fit(tf_dataset)`,wrap:!1}}),{c(){i=$("a"),j=r(),c(m.$$.fragment),w=r(),c(b.$$.fragment),re=r(),Y=$("p"),Y.textContent=pe,N=r(),c(ie.$$.fragment),F=r(),Q=$("p"),Q.textContent=ye,P=r(),Z=$("p"),Z.innerHTML=ae,A=r(),c(me.$$.fragment),z=r(),I=$("p"),I.innerHTML=K,be=r(),c(G.$$.fragment),E=r(),S=$("p"),S.innerHTML=oe,L=r(),c(fe.$$.fragment),W=r(),c(B.$$.fragment),ee=r(),k=$("p"),k.textContent=$e,Me=r(),c(q.$$.fragment),te=r(),C=$("p"),C.innerHTML=ue,Je=r(),X=$("ul"),X.innerHTML=D,se=r(),R=$("p"),R.innerHTML=Ue,de=r(),c(H.$$.fragment),le=r(),_=$("p"),_.textContent=ce,O=r(),c(he.$$.fragment),v=r(),x=$("p"),x.innerHTML=a,M=r(),ne=$("p"),ne.innerHTML=Ce,ge=r(),c(ke.$$.fragment),this.h()},l(n){i=u(n,"A",{id:!0}),Ee(i).forEach(t),j=p(n),h(m.$$.fragment,n),w=p(n),h(b.$$.fragment,n),re=p(n),Y=u(n,"P",{"data-svelte-h":!0}),U(Y)!=="svelte-hij4u2"&&(Y.textContent=pe),N=p(n),h(ie.$$.fragment,n),F=p(n),Q=u(n,"P",{"data-svelte-h":!0}),U(Q)!=="svelte-bi33d1"&&(Q.textContent=ye),P=p(n),Z=u(n,"P",{"data-svelte-h":!0}),U(Z)!=="svelte-2kwaxv"&&(Z.innerHTML=ae),A=p(n),h(me.$$.fragment,n),z=p(n),I=u(n,"P",{"data-svelte-h":!0}),U(I)!=="svelte-xay811"&&(I.innerHTML=K),be=p(n),h(G.$$.fragment,n),E=p(n),S=u(n,"P",{"data-svelte-h":!0}),U(S)!=="svelte-kxddy9"&&(S.innerHTML=oe),L=p(n),h(fe.$$.fragment,n),W=p(n),h(B.$$.fragment,n),ee=p(n),k=u(n,"P",{"data-svelte-h":!0}),U(k)!=="svelte-1kvpnug"&&(k.textContent=$e),Me=p(n),h(q.$$.fragment,n),te=p(n),C=u(n,"P",{"data-svelte-h":!0}),U(C)!=="svelte-ykzkzj"&&(C.innerHTML=ue),Je=p(n),X=u(n,"UL",{"data-svelte-h":!0}),U(X)!=="svelte-1kei9a2"&&(X.innerHTML=D),se=p(n),R=u(n,"P",{"data-svelte-h":!0}),U(R)!=="svelte-ftmhdo"&&(R.innerHTML=Ue),de=p(n),h(H.$$.fragment,n),le=p(n),_=u(n,"P",{"data-svelte-h":!0}),U(_)!=="svelte-2syfbr"&&(_.textContent=ce),O=p(n),h(he.$$.fragment,n),v=p(n),x=u(n,"P",{"data-svelte-h":!0}),U(x)!=="svelte-1cfta1t"&&(x.innerHTML=a),M=p(n),ne=u(n,"P",{"data-svelte-h":!0}),U(ne)!=="svelte-xjdq1k"&&(ne.innerHTML=Ce),ge=p(n),h(ke.$$.fragment,n),this.h()},h(){_e(i,"id","keras")},m(n,d){l(n,i,d),l(n,j,d),g(m,n,d),l(n,w,d),g(b,n,d),l(n,re,d),l(n,Y,d),l(n,N,d),g(ie,n,d),l(n,F,d),l(n,Q,d),l(n,P,d),l(n,Z,d),l(n,A,d),g(me,n,d),l(n,z,d),l(n,I,d),l(n,be,d),g(G,n,d),l(n,E,d),l(n,S,d),l(n,L,d),g(fe,n,d),l(n,W,d),g(B,n,d),l(n,ee,d),l(n,k,d),l(n,Me,d),g(q,n,d),l(n,te,d),l(n,C,d),l(n,Je,d),l(n,X,d),l(n,se,d),l(n,R,d),l(n,de,d),g(H,n,d),l(n,le,d),l(n,_,d),l(n,O,d),g(he,n,d),l(n,v,d),l(n,x,d),l(n,M,d),l(n,ne,d),l(n,ge,d),g(ke,n,d),je=!0},p(n,d){const Ve={};d&2&&(Ve.$$scope={dirty:d,ctx:n}),B.$set(Ve)},i(n){je||(T(m.$$.fragment,n),T(b.$$.fragment,n),T(ie.$$.fragment,n),T(me.$$.fragment,n),T(G.$$.fragment,n),T(fe.$$.fragment,n),T(B.$$.fragment,n),T(q.$$.fragment,n),T(H.$$.fragment,n),T(he.$$.fragment,n),T(ke.$$.fragment,n),je=!0)},o(n){y(m.$$.fragment,n),y(b.$$.fragment,n),y(ie.$$.fragment,n),y(me.$$.fragment,n),y(G.$$.fragment,n),y(fe.$$.fragment,n),y(B.$$.fragment,n),y(q.$$.fragment,n),y(H.$$.fragment,n),y(he.$$.fragment,n),y(ke.$$.fragment,n),je=!1},d(n){n&&(t(i),t(j),t(w),t(re),t(Y),t(N),t(F),t(Q),t(P),t(Z),t(A),t(z),t(I),t(be),t(E),t(S),t(L),t(W),t(ee),t(k),t(Me),t(te),t(C),t(Je),t(X),t(se),t(R),t(de),t(le),t(_),t(O),t(v),t(x),t(M),t(ne),t(ge)),J(m,n),J(b,n),J(ie,n),J(me,n),J(G,n),J(fe,n),J(B,n),J(q,n),J(H,n),J(he,n),J(ke,n)}}}function it(Te){let i,j;return i=new Ae({props:{$$slots:{default:[pt]},$$scope:{ctx:Te}}}),{c(){c(i.$$.fragment)},l(m){h(i.$$.fragment,m)},m(m,w){g(i,m,w),j=!0},p(m,w){const b={};w&2&&(b.$$scope={dirty:w,ctx:m}),i.$set(b)},i(m){j||(T(i.$$.fragment,m),j=!0)},o(m){y(i.$$.fragment,m),j=!1},d(m){J(i,m)}}}function mt(Te){let i,j='クラウドGPUが利用できない場合、<a href="https://colab.research.google.com/" rel="nofollow">Colaboratory</a>や<a href="https://studiolab.sagemaker.aws/" rel="nofollow">SageMaker StudioLab</a>などのホストされたノートブックを使用して無料でGPUにアクセスできます。';return{c(){i=$("p"),i.innerHTML=j},l(m){i=u(m,"P",{"data-svelte-h":!0}),U(i)!=="svelte-jp9818"&&(i.innerHTML=j)},m(m,w){l(m,i,w)},p:Ne,d(m){m&&t(i)}}}function ot(Te){let i,j,m,w=`<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>はトレーニングループを処理し、1行のコードでモデルをファインチューニングできるようにします。
トレーニングループを独自に記述したいユーザーのために、🤗 TransformersモデルをネイティブのPyTorchでファインチューニングすることもできます。`,b,re,Y="この時点で、ノートブックを再起動するか、以下のコードを実行してメモリを解放する必要があるかもしれません：",pe,N,ie,F,Q="<li>モデルは生のテキストを入力として受け取らないため、<code>text</code> 列を削除します：</li>",ye,P,Z,ae,A="<li><code>label</code>列を<code>labels</code>に名前を変更します。モデルは引数の名前を<code>labels</code>と期待しています：</li>",me,z,I,K,be="<li>データセットの形式をリストではなくPyTorchテンソルを返すように設定します：</li>",G,E,S,oe,L="以前に示したように、ファインチューニングを高速化するためにデータセットの小さなサブセットを作成します：",fe,W,B,ee,k,$e,Me="トレーニングデータセットとテストデータセット用の<code>DataLoader</code>を作成して、データのバッチをイテレートできるようにします：",q,te,C,ue,Je="ロードするモデルと期待されるラベルの数を指定してください：",X,D,se,R,Ue,de,H=`モデルをファインチューニングするためのオプティマイザと学習率スケジューラーを作成しましょう。
PyTorchから<a href="https://pytorch.org/docs/stable/generated/torch.optim.AdamW.html" rel="nofollow"><code>AdamW</code></a>オプティマイザを使用します：`,le,_,ce,O,he='デフォルトの学習率スケジューラを<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>から作成する：',v,x,a,M,ne="最後に、GPUを利用できる場合は <code>device</code> を指定してください。それ以外の場合、CPUでのトレーニングは数時間かかる可能性があり、数分で完了することができます。",Ce,ge,ke,je,n,d,Ve="さて、トレーニングの準備が整いました！ 🥳",Ze,Re,s,o,We='トレーニングの進捗を追跡するために、<a href="https://tqdm.github.io/" rel="nofollow">tqdm</a>ライブラリを使用してトレーニングステップの数に対して進行状況バーを追加します：',ve,Fe,Xe,ze,xe,Ie,Se=`<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>に評価関数を追加したのと同様に、独自のトレーニングループを作成する際にも同様の操作を行う必要があります。
ただし、各エポックの最後にメトリックを計算および報告する代わりに、今回は<code>add_batch</code>を使用してすべてのバッチを蓄積し、最後にメトリックを計算します。`,Be,Ge,He;return i=new Ye({props:{id:"Dh9CL8fyG80"}}),N=new V({props:{code:"ZGVsJTIwbW9kZWwlMEFkZWwlMjB0cmFpbmVyJTBBdG9yY2guY3VkYS5lbXB0eV9jYWNoZSgp",highlighted:`<span class="hljs-keyword">del</span> model
<span class="hljs-keyword">del</span> trainer
torch.cuda.empty_cache()`,wrap:!1}}),P=new V({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzLnJlbW92ZV9jb2x1bW5zKCU1QiUyMnRleHQlMjIlNUQp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets = tokenized_datasets.remove_columns([<span class="hljs-string">&quot;text&quot;</span>])',wrap:!1}}),z=new V({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzLnJlbmFtZV9jb2x1bW4oJTIybGFiZWwlMjIlMkMlMjAlMjJsYWJlbHMlMjIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets = tokenized_datasets.rename_column(<span class="hljs-string">&quot;label&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>)',wrap:!1}}),E=new V({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzLnNldF9mb3JtYXQoJTIydG9yY2glMjIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets.set_format(<span class="hljs-string">&quot;torch&quot;</span>)',wrap:!1}}),W=new V({props:{code:"c21hbGxfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnNodWZmbGUoc2VlZCUzRDQyKS5zZWxlY3QocmFuZ2UoMTAwMCkpJTBBc21hbGxfZXZhbF9kYXRhc2V0JTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydGVzdCUyMiU1RC5zaHVmZmxlKHNlZWQlM0Q0Mikuc2VsZWN0KHJhbmdlKDEwMDApKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>small_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>small_eval_dataset = tokenized_datasets[<span class="hljs-string">&quot;test&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))`,wrap:!1}}),ee=new we({props:{title:"DataLoader",local:"dataloader",headingTag:"h3"}}),te=new V({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGElMjBpbXBvcnQlMjBEYXRhTG9hZGVyJTBBJTBBdHJhaW5fZGF0YWxvYWRlciUyMCUzRCUyMERhdGFMb2FkZXIoc21hbGxfdHJhaW5fZGF0YXNldCUyQyUyMHNodWZmbGUlM0RUcnVlJTJDJTIwYmF0Y2hfc2l6ZSUzRDgpJTBBZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwRGF0YUxvYWRlcihzbWFsbF9ldmFsX2RhdGFzZXQlMkMlMjBiYXRjaF9zaXplJTNEOCk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> torch.utils.data <span class="hljs-keyword">import</span> DataLoader

<span class="hljs-meta">&gt;&gt;&gt; </span>train_dataloader = DataLoader(small_train_dataset, shuffle=<span class="hljs-literal">True</span>, batch_size=<span class="hljs-number">8</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>eval_dataloader = DataLoader(small_eval_dataset, batch_size=<span class="hljs-number">8</span>)`,wrap:!1}}),D=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKCUyMmJlcnQtYmFzZS1jYXNlZCUyMiUyQyUyMG51bV9sYWJlbHMlM0Q1KQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification

<span class="hljs-meta">&gt;&gt;&gt; </span>model = AutoModelForSequenceClassification.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>, num_labels=<span class="hljs-number">5</span>)`,wrap:!1}}),R=new we({props:{title:"Optimizer and learning rate scheduler",local:"optimizer-and-learning-rate-scheduler",headingTag:"h3"}}),_=new V({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjBsciUzRDVlLTUp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

<span class="hljs-meta">&gt;&gt;&gt; </span>optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">5e-5</span>)`,wrap:!1}}),x=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fZXBvY2hzJTIwJTNEJTIwMyUwQW51bV90cmFpbmluZ19zdGVwcyUyMCUzRCUyMG51bV9lcG9jaHMlMjAqJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbHJfc2NoZWR1bGVyJTIwJTNEJTIwZ2V0X3NjaGVkdWxlciglMEElMjAlMjAlMjAlMjBuYW1lJTNEJTIybGluZWFyJTIyJTJDJTIwb3B0aW1pemVyJTNEb3B0aW1pemVyJTJDJTIwbnVtX3dhcm11cF9zdGVwcyUzRDAlMkMlMjBudW1fdHJhaW5pbmdfc3RlcHMlM0RudW1fdHJhaW5pbmdfc3RlcHMlMEEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

<span class="hljs-meta">&gt;&gt;&gt; </span>num_epochs = <span class="hljs-number">3</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>num_training_steps = num_epochs * <span class="hljs-built_in">len</span>(train_dataloader)
<span class="hljs-meta">&gt;&gt;&gt; </span>lr_scheduler = get_scheduler(
<span class="hljs-meta">... </span>    name=<span class="hljs-string">&quot;linear&quot;</span>, optimizer=optimizer, num_warmup_steps=<span class="hljs-number">0</span>, num_training_steps=num_training_steps
<span class="hljs-meta">... </span>)`,wrap:!1}}),ge=new V({props:{code:"aW1wb3J0JTIwdG9yY2glMEElMEFkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEFtb2RlbC50byhkZXZpY2Up",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> torch

<span class="hljs-meta">&gt;&gt;&gt; </span>device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model.to(device)`,wrap:!1}}),je=new Qe({props:{$$slots:{default:[mt]},$$scope:{ctx:Te}}}),Re=new we({props:{title:"トレーニングループ",local:"トレーニングループ",headingTag:"h3"}}),Fe=new V({props:{code:"ZnJvbSUyMHRxZG0uYXV0byUyMGltcG9ydCUyMHRxZG0lMEElMEFwcm9ncmVzc19iYXIlMjAlM0QlMjB0cWRtKHJhbmdlKG51bV90cmFpbmluZ19zdGVwcykpJTBBJTBBbW9kZWwudHJhaW4oKSUwQWZvciUyMGVwb2NoJTIwaW4lMjByYW5nZShudW1fZXBvY2hzKSUzQSUwQSUyMCUyMCUyMCUyMGZvciUyMGJhdGNoJTIwaW4lMjB0cmFpbl9kYXRhbG9hZGVyJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2glMjAlM0QlMjAlN0JrJTNBJTIwdi50byhkZXZpY2UpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGJhdGNoLml0ZW1zKCklN0QlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zcy5iYWNrd2FyZCgpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tqdm.auto <span class="hljs-keyword">import</span> tqdm

<span class="hljs-meta">&gt;&gt;&gt; </span>progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

<span class="hljs-meta">&gt;&gt;&gt; </span>model.train()
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_epochs):
<span class="hljs-meta">... </span>    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
<span class="hljs-meta">... </span>        batch = {k: v.to(device) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}
<span class="hljs-meta">... </span>        outputs = model(**batch)
<span class="hljs-meta">... </span>        loss = outputs.loss
<span class="hljs-meta">... </span>        loss.backward()

<span class="hljs-meta">... </span>        optimizer.step()
<span class="hljs-meta">... </span>        lr_scheduler.step()
<span class="hljs-meta">... </span>        optimizer.zero_grad()
<span class="hljs-meta">... </span>        progress_bar.update(<span class="hljs-number">1</span>)`,wrap:!1}}),ze=new we({props:{title:"Evaluate",local:"evaluate",headingTag:"h3"}}),Ge=new V({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMmFjY3VyYWN5JTIyKSUwQW1vZGVsLmV2YWwoKSUwQWZvciUyMGJhdGNoJTIwaW4lMjBldmFsX2RhdGFsb2FkZXIlM0ElMEElMjAlMjAlMjAlMjBiYXRjaCUyMCUzRCUyMCU3QmslM0ElMjB2LnRvKGRldmljZSklMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwYmF0Y2guaXRlbXMoKSU3RCUwQSUyMCUyMCUyMCUyMHdpdGglMjB0b3JjaC5ub19ncmFkKCklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMEElMjAlMjAlMjAlMjBsb2dpdHMlMjAlM0QlMjBvdXRwdXRzLmxvZ2l0cyUwQSUyMCUyMCUyMCUyMHByZWRpY3Rpb25zJTIwJTNEJTIwdG9yY2guYXJnbWF4KGxvZ2l0cyUyQyUyMGRpbSUzRC0xKSUwQSUyMCUyMCUyMCUyMG1ldHJpYy5hZGRfYmF0Y2gocHJlZGljdGlvbnMlM0RwcmVkaWN0aW9ucyUyQyUyMHJlZmVyZW5jZXMlM0RiYXRjaCU1QiUyMmxhYmVscyUyMiU1RCklMEElMEFtZXRyaWMuY29tcHV0ZSgp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> evaluate

<span class="hljs-meta">&gt;&gt;&gt; </span>metric = evaluate.load(<span class="hljs-string">&quot;accuracy&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model.<span class="hljs-built_in">eval</span>()
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> eval_dataloader:
<span class="hljs-meta">... </span>    batch = {k: v.to(device) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}
<span class="hljs-meta">... </span>    <span class="hljs-keyword">with</span> torch.no_grad():
<span class="hljs-meta">... </span>        outputs = model(**batch)

<span class="hljs-meta">... </span>    logits = outputs.logits
<span class="hljs-meta">... </span>    predictions = torch.argmax(logits, dim=-<span class="hljs-number">1</span>)
<span class="hljs-meta">... </span>    metric.add_batch(predictions=predictions, references=batch[<span class="hljs-string">&quot;labels&quot;</span>])

<span class="hljs-meta">&gt;&gt;&gt; </span>metric.compute()`,wrap:!1}}),{c(){c(i.$$.fragment),j=r(),m=$("p"),m.innerHTML=w,b=r(),re=$("p"),re.textContent=Y,pe=r(),c(N.$$.fragment),ie=r(),F=$("ol"),F.innerHTML=Q,ye=r(),c(P.$$.fragment),Z=r(),ae=$("ol"),ae.innerHTML=A,me=r(),c(z.$$.fragment),I=r(),K=$("ol"),K.innerHTML=be,G=r(),c(E.$$.fragment),S=r(),oe=$("p"),oe.textContent=L,fe=r(),c(W.$$.fragment),B=r(),c(ee.$$.fragment),k=r(),$e=$("p"),$e.innerHTML=Me,q=r(),c(te.$$.fragment),C=r(),ue=$("p"),ue.textContent=Je,X=r(),c(D.$$.fragment),se=r(),c(R.$$.fragment),Ue=r(),de=$("p"),de.innerHTML=H,le=r(),c(_.$$.fragment),ce=r(),O=$("p"),O.innerHTML=he,v=r(),c(x.$$.fragment),a=r(),M=$("p"),M.innerHTML=ne,Ce=r(),c(ge.$$.fragment),ke=r(),c(je.$$.fragment),n=r(),d=$("p"),d.textContent=Ve,Ze=r(),c(Re.$$.fragment),s=r(),o=$("p"),o.innerHTML=We,ve=r(),c(Fe.$$.fragment),Xe=r(),c(ze.$$.fragment),xe=r(),Ie=$("p"),Ie.innerHTML=Se,Be=r(),c(Ge.$$.fragment),this.h()},l(e){h(i.$$.fragment,e),j=p(e),m=u(e,"P",{"data-svelte-h":!0}),U(m)!=="svelte-18twmdz"&&(m.innerHTML=w),b=p(e),re=u(e,"P",{"data-svelte-h":!0}),U(re)!=="svelte-hmvmwg"&&(re.textContent=Y),pe=p(e),h(N.$$.fragment,e),ie=p(e),F=u(e,"OL",{"data-svelte-h":!0}),U(F)!=="svelte-29j9nb"&&(F.innerHTML=Q),ye=p(e),h(P.$$.fragment,e),Z=p(e),ae=u(e,"OL",{start:!0,"data-svelte-h":!0}),U(ae)!=="svelte-mosrna"&&(ae.innerHTML=A),me=p(e),h(z.$$.fragment,e),I=p(e),K=u(e,"OL",{start:!0,"data-svelte-h":!0}),U(K)!=="svelte-89dtkp"&&(K.innerHTML=be),G=p(e),h(E.$$.fragment,e),S=p(e),oe=u(e,"P",{"data-svelte-h":!0}),U(oe)!=="svelte-1dqgslj"&&(oe.textContent=L),fe=p(e),h(W.$$.fragment,e),B=p(e),h(ee.$$.fragment,e),k=p(e),$e=u(e,"P",{"data-svelte-h":!0}),U($e)!=="svelte-1iwgiwj"&&($e.innerHTML=Me),q=p(e),h(te.$$.fragment,e),C=p(e),ue=u(e,"P",{"data-svelte-h":!0}),U(ue)!=="svelte-5rgrad"&&(ue.textContent=Je),X=p(e),h(D.$$.fragment,e),se=p(e),h(R.$$.fragment,e),Ue=p(e),de=u(e,"P",{"data-svelte-h":!0}),U(de)!=="svelte-1mj7jqu"&&(de.innerHTML=H),le=p(e),h(_.$$.fragment,e),ce=p(e),O=u(e,"P",{"data-svelte-h":!0}),U(O)!=="svelte-ds9kkv"&&(O.innerHTML=he),v=p(e),h(x.$$.fragment,e),a=p(e),M=u(e,"P",{"data-svelte-h":!0}),U(M)!=="svelte-1mxb03k"&&(M.innerHTML=ne),Ce=p(e),h(ge.$$.fragment,e),ke=p(e),h(je.$$.fragment,e),n=p(e),d=u(e,"P",{"data-svelte-h":!0}),U(d)!=="svelte-1sudcwb"&&(d.textContent=Ve),Ze=p(e),h(Re.$$.fragment,e),s=p(e),o=u(e,"P",{"data-svelte-h":!0}),U(o)!=="svelte-gcp5no"&&(o.innerHTML=We),ve=p(e),h(Fe.$$.fragment,e),Xe=p(e),h(ze.$$.fragment,e),xe=p(e),Ie=u(e,"P",{"data-svelte-h":!0}),U(Ie)!=="svelte-1bs93jh"&&(Ie.innerHTML=Se),Be=p(e),h(Ge.$$.fragment,e),this.h()},h(){_e(ae,"start","2"),_e(K,"start","3")},m(e,f){g(i,e,f),l(e,j,f),l(e,m,f),l(e,b,f),l(e,re,f),l(e,pe,f),g(N,e,f),l(e,ie,f),l(e,F,f),l(e,ye,f),g(P,e,f),l(e,Z,f),l(e,ae,f),l(e,me,f),g(z,e,f),l(e,I,f),l(e,K,f),l(e,G,f),g(E,e,f),l(e,S,f),l(e,oe,f),l(e,fe,f),g(W,e,f),l(e,B,f),g(ee,e,f),l(e,k,f),l(e,$e,f),l(e,q,f),g(te,e,f),l(e,C,f),l(e,ue,f),l(e,X,f),g(D,e,f),l(e,se,f),g(R,e,f),l(e,Ue,f),l(e,de,f),l(e,le,f),g(_,e,f),l(e,ce,f),l(e,O,f),l(e,v,f),g(x,e,f),l(e,a,f),l(e,M,f),l(e,Ce,f),g(ge,e,f),l(e,ke,f),g(je,e,f),l(e,n,f),l(e,d,f),l(e,Ze,f),g(Re,e,f),l(e,s,f),l(e,o,f),l(e,ve,f),g(Fe,e,f),l(e,Xe,f),g(ze,e,f),l(e,xe,f),l(e,Ie,f),l(e,Be,f),g(Ge,e,f),He=!0},p(e,f){const Le={};f&2&&(Le.$$scope={dirty:f,ctx:e}),je.$set(Le)},i(e){He||(T(i.$$.fragment,e),T(N.$$.fragment,e),T(P.$$.fragment,e),T(z.$$.fragment,e),T(E.$$.fragment,e),T(W.$$.fragment,e),T(ee.$$.fragment,e),T(te.$$.fragment,e),T(D.$$.fragment,e),T(R.$$.fragment,e),T(_.$$.fragment,e),T(x.$$.fragment,e),T(ge.$$.fragment,e),T(je.$$.fragment,e),T(Re.$$.fragment,e),T(Fe.$$.fragment,e),T(ze.$$.fragment,e),T(Ge.$$.fragment,e),He=!0)},o(e){y(i.$$.fragment,e),y(N.$$.fragment,e),y(P.$$.fragment,e),y(z.$$.fragment,e),y(E.$$.fragment,e),y(W.$$.fragment,e),y(ee.$$.fragment,e),y(te.$$.fragment,e),y(D.$$.fragment,e),y(R.$$.fragment,e),y(_.$$.fragment,e),y(x.$$.fragment,e),y(ge.$$.fragment,e),y(je.$$.fragment,e),y(Re.$$.fragment,e),y(Fe.$$.fragment,e),y(ze.$$.fragment,e),y(Ge.$$.fragment,e),He=!1},d(e){e&&(t(j),t(m),t(b),t(re),t(pe),t(ie),t(F),t(ye),t(Z),t(ae),t(me),t(I),t(K),t(G),t(S),t(oe),t(fe),t(B),t(k),t($e),t(q),t(C),t(ue),t(X),t(se),t(Ue),t(de),t(le),t(ce),t(O),t(v),t(a),t(M),t(Ce),t(ke),t(n),t(d),t(Ze),t(s),t(o),t(ve),t(Xe),t(xe),t(Ie),t(Be)),J(i,e),J(N,e),J(P,e),J(z,e),J(E,e),J(W,e),J(ee,e),J(te,e),J(D,e),J(R,e),J(_,e),J(x,e),J(ge,e),J(je,e),J(Re,e),J(Fe,e),J(ze,e),J(Ge,e)}}}function ft(Te){let i,j;return i=new Ae({props:{$$slots:{default:[ot]},$$scope:{ctx:Te}}}),{c(){c(i.$$.fragment)},l(m){h(i.$$.fragment,m)},m(m,w){g(i,m,w),j=!0},p(m,w){const b={};w&2&&(b.$$scope={dirty:w,ctx:m}),i.$set(b)},i(m){j||(T(i.$$.fragment,m),j=!0)},o(m){y(i.$$.fragment,m),j=!1},d(m){J(i,m)}}}function Mt(Te){let i,j,m,w,b,re,Y,pe,N,ie=`事前学習済みモデルを使用すると、計算コストを削減し、炭素排出量を減少させ、ゼロからモデルをトレーニングする必要なしに最新のモデルを使用できる利点があります。
🤗 Transformersは、さまざまなタスクに対応した数千もの事前学習済みモデルへのアクセスを提供します。
事前学習済みモデルを使用する場合、それを特定のタスクに合わせたデータセットでトレーニングします。これはファインチューニングとして知られ、非常に強力なトレーニング技術です。
このチュートリアルでは、事前学習済みモデルを選択したディープラーニングフレームワークでファインチューニングする方法について説明します：`,F,Q,ye='<li>🤗 Transformersの<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a>を使用して事前学習済みモデルをファインチューニングする。</li> <li>TensorFlowとKerasを使用して事前学習済みモデルをファインチューニングする。</li> <li>ネイティブのPyTorchを使用して事前学習済みモデルをファインチューニングする。</li>',P,Z,ae,A,me,z,I,K,be=`事前学習済みモデルをファインチューニングする前に、データセットをダウンロードしてトレーニング用に準備する必要があります。
前のチュートリアルでは、トレーニングデータの処理方法を説明しましたが、これからはそれらのスキルを活かす機会があります！`,G,E,S='まず、<a href="https://huggingface.co/datasets/yelp_review_full" rel="nofollow">Yelp Reviews</a>データセットを読み込んでみましょう：',oe,L,fe,W,B=`トークナイザがテキストを処理し、可変のシーケンス長を処理するためのパディングと切り捨て戦略を含める必要があることをご存知の通り、
データセットを1つのステップで処理するには、🤗 Datasets の <a href="https://huggingface.co/docs/datasets/process#map" rel="nofollow"><code>map</code></a> メソッドを使用して、
データセット全体に前処理関数を適用します：`,ee,k,$e,Me,q="お好みで、実行時間を短縮するためにフルデータセットの小さなサブセットを作成することができます：",te,C,ue,Je,X,D,se,R,Ue=`この時点で、使用したいフレームワークに対応するセクションに従う必要があります。右側のサイドバーのリンクを使用して、ジャンプしたいフレームワークに移動できます。
そして、特定のフレームワークのすべてのコンテンツを非表示にしたい場合は、そのフレームワークのブロック右上にあるボタンを使用してください！`,de,H,le,_,ce,O,he,v,x,a,M,ne,Ce,ge,ke="さらなるファインチューニングの例については、以下を参照してください：",je,n,d='<li><p><a href="https://github.com/huggingface/transformers/tree/main/examples" rel="nofollow">🤗 Transformers Examples</a> には、PyTorchとTensorFlowで一般的なNLPタスクをトレーニングするスクリプトが含まれています。</p></li> <li><p><a href="notebooks">🤗 Transformers Notebooks</a> には、特定のタスクにモデルをファインチューニングする方法に関するさまざまなノートブックが含まれています。</p></li>',Ve,Ze,Re;return b=new we({props:{title:"Fine-tune a pretrained model",local:"fine-tune-a-pretrained-model",headingTag:"h1"}}),Y=new st({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Mixed",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/training.ipynb"},{label:"PyTorch",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/training.ipynb"},{label:"TensorFlow",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/training.ipynb"},{label:"Mixed",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/training.ipynb"},{label:"PyTorch",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/training.ipynb"},{label:"TensorFlow",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/training.ipynb"}]}}),A=new we({props:{title:"Prepare a dataset",local:"prepare-a-dataset",headingTag:"h2"}}),z=new Ye({props:{id:"_BZearw7f0w"}}),L=new V({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJ5ZWxwX3Jldmlld19mdWxsJTIyKSUwQWRhdGFzZXQlNUIlMjJ0cmFpbiUyMiU1RCU1QjEwMCU1RA==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

<span class="hljs-meta">&gt;&gt;&gt; </span>dataset = load_dataset(<span class="hljs-string">&quot;yelp_review_full&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">100</span>]
{<span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-number">0</span>,
 <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;My expectations for McDonalds are t rarely high. But for one to still fail so spectacularly...that takes something special!\\\\nThe cashier took my friends\\&#x27;s order, then promptly ignored me. I had to force myself in front of a cashier who opened his register to wait on the person BEHIND me. I waited over five minutes for a gigantic order that included precisely one kid\\&#x27;s meal. After watching two people who ordered after me be handed their food, I asked where mine was. The manager started yelling at the cashiers for \\\\&quot;serving off their orders\\\\&quot; when they didn\\&#x27;t have their food. But neither cashier was anywhere near those controls, and the manager was the one serving food to customers and clearing the boards.\\\\nThe manager was rude when giving me my order. She didn\\&#x27;t make sure that I had everything ON MY RECEIPT, and never even had the decency to apologize that I felt I was getting poor service.\\\\nI\\&#x27;ve eaten at various McDonalds restaurants for over 30 years. I\\&#x27;ve worked at more than one location. I expect bad days, bad moods, and the occasional mistake. But I have yet to have a decent experience at this store. It will remain a place I avoid unless someone in my party needs to avoid illness from low blood sugar. Perhaps I should go back to the racially biased service of Steak n Shake instead!&#x27;</span>}`,wrap:!1}}),k=new V({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJiZXJ0LWJhc2UtY2FzZWQlMjIpJTBBJTBBZGVmJTIwdG9rZW5pemVfZnVuY3Rpb24oZXhhbXBsZXMpJTNBJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwdG9rZW5pemVyKGV4YW1wbGVzJTVCJTIydGV4dCUyMiU1RCUyQyUyMHBhZGRpbmclM0QlMjJtYXhfbGVuZ3RoJTIyJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUpJTBBJTBBdG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwZGF0YXNldC5tYXAodG9rZW5pemVfZnVuY3Rpb24lMkMlMjBiYXRjaGVkJTNEVHJ1ZSk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">examples</span>):
<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> tokenizer(examples[<span class="hljs-string">&quot;text&quot;</span>], padding=<span class="hljs-string">&quot;max_length&quot;</span>, truncation=<span class="hljs-literal">True</span>)

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets = dataset.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)`,wrap:!1}}),C=new V({props:{code:"c21hbGxfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnNodWZmbGUoc2VlZCUzRDQyKS5zZWxlY3QocmFuZ2UoMTAwMCkpJTBBc21hbGxfZXZhbF9kYXRhc2V0JTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydGVzdCUyMiU1RC5zaHVmZmxlKHNlZWQlM0Q0Mikuc2VsZWN0KHJhbmdlKDEwMDApKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>small_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>small_eval_dataset = tokenized_datasets[<span class="hljs-string">&quot;test&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))`,wrap:!1}}),D=new we({props:{title:"Train",local:"train",headingTag:"h2"}}),H=new qe({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[it],pytorch:[nt]},$$scope:{ctx:Te}}}),O=new we({props:{title:"Train in native Pytorch",local:"train-in-native-pytorch",headingTag:"h2"}}),v=new qe({props:{pytorch:!0,tensorflow:!1,jax:!1,$$slots:{pytorch:[ft]},$$scope:{ctx:Te}}}),ne=new we({props:{title:"追加リソース",local:"追加リソース",headingTag:"h2"}}),{c(){i=$("meta"),j=r(),m=$("p"),w=r(),c(b.$$.fragment),re=r(),c(Y.$$.fragment),pe=r(),N=$("p"),N.textContent=ie,F=r(),Q=$("ul"),Q.innerHTML=ye,P=r(),Z=$("a"),ae=r(),c(A.$$.fragment),me=r(),c(z.$$.fragment),I=r(),K=$("p"),K.textContent=be,G=r(),E=$("p"),E.innerHTML=S,oe=r(),c(L.$$.fragment),fe=r(),W=$("p"),W.innerHTML=B,ee=r(),c(k.$$.fragment),$e=r(),Me=$("p"),Me.textContent=q,te=r(),c(C.$$.fragment),ue=r(),Je=$("a"),X=r(),c(D.$$.fragment),se=r(),R=$("p"),R.textContent=Ue,de=r(),c(H.$$.fragment),le=r(),_=$("a"),ce=r(),c(O.$$.fragment),he=r(),c(v.$$.fragment),x=r(),a=$("a"),M=r(),c(ne.$$.fragment),Ce=r(),ge=$("p"),ge.textContent=ke,je=r(),n=$("ul"),n.innerHTML=d,Ve=r(),Ze=$("p"),this.h()},l(s){const o=et("svelte-u9bgzb",document.head);i=u(o,"META",{name:!0,content:!0}),o.forEach(t),j=p(s),m=u(s,"P",{}),Ee(m).forEach(t),w=p(s),h(b.$$.fragment,s),re=p(s),h(Y.$$.fragment,s),pe=p(s),N=u(s,"P",{"data-svelte-h":!0}),U(N)!=="svelte-42180y"&&(N.textContent=ie),F=p(s),Q=u(s,"UL",{"data-svelte-h":!0}),U(Q)!=="svelte-18vtj58"&&(Q.innerHTML=ye),P=p(s),Z=u(s,"A",{id:!0}),Ee(Z).forEach(t),ae=p(s),h(A.$$.fragment,s),me=p(s),h(z.$$.fragment,s),I=p(s),K=u(s,"P",{"data-svelte-h":!0}),U(K)!=="svelte-2srgkq"&&(K.textContent=be),G=p(s),E=u(s,"P",{"data-svelte-h":!0}),U(E)!=="svelte-1jseek3"&&(E.innerHTML=S),oe=p(s),h(L.$$.fragment,s),fe=p(s),W=u(s,"P",{"data-svelte-h":!0}),U(W)!=="svelte-1kc14ha"&&(W.innerHTML=B),ee=p(s),h(k.$$.fragment,s),$e=p(s),Me=u(s,"P",{"data-svelte-h":!0}),U(Me)!=="svelte-1d60wrb"&&(Me.textContent=q),te=p(s),h(C.$$.fragment,s),ue=p(s),Je=u(s,"A",{id:!0}),Ee(Je).forEach(t),X=p(s),h(D.$$.fragment,s),se=p(s),R=u(s,"P",{"data-svelte-h":!0}),U(R)!=="svelte-1apofsz"&&(R.textContent=Ue),de=p(s),h(H.$$.fragment,s),le=p(s),_=u(s,"A",{id:!0}),Ee(_).forEach(t),ce=p(s),h(O.$$.fragment,s),he=p(s),h(v.$$.fragment,s),x=p(s),a=u(s,"A",{id:!0}),Ee(a).forEach(t),M=p(s),h(ne.$$.fragment,s),Ce=p(s),ge=u(s,"P",{"data-svelte-h":!0}),U(ge)!=="svelte-d6wo5w"&&(ge.textContent=ke),je=p(s),n=u(s,"UL",{"data-svelte-h":!0}),U(n)!=="svelte-zjwqqe"&&(n.innerHTML=d),Ve=p(s),Ze=u(s,"P",{}),Ee(Ze).forEach(t),this.h()},h(){_e(i,"name","hf:doc:metadata"),_e(i,"content",dt),_e(Z,"id","data-processing"),_e(Je,"id","trainer"),_e(_,"id","pytorch_native"),_e(a,"id","additional-resources")},m(s,o){tt(document.head,i),l(s,j,o),l(s,m,o),l(s,w,o),g(b,s,o),l(s,re,o),g(Y,s,o),l(s,pe,o),l(s,N,o),l(s,F,o),l(s,Q,o),l(s,P,o),l(s,Z,o),l(s,ae,o),g(A,s,o),l(s,me,o),g(z,s,o),l(s,I,o),l(s,K,o),l(s,G,o),l(s,E,o),l(s,oe,o),g(L,s,o),l(s,fe,o),l(s,W,o),l(s,ee,o),g(k,s,o),l(s,$e,o),l(s,Me,o),l(s,te,o),g(C,s,o),l(s,ue,o),l(s,Je,o),l(s,X,o),g(D,s,o),l(s,se,o),l(s,R,o),l(s,de,o),g(H,s,o),l(s,le,o),l(s,_,o),l(s,ce,o),g(O,s,o),l(s,he,o),g(v,s,o),l(s,x,o),l(s,a,o),l(s,M,o),g(ne,s,o),l(s,Ce,o),l(s,ge,o),l(s,je,o),l(s,n,o),l(s,Ve,o),l(s,Ze,o),Re=!0},p(s,[o]){const We={};o&2&&(We.$$scope={dirty:o,ctx:s}),H.$set(We);const ve={};o&2&&(ve.$$scope={dirty:o,ctx:s}),v.$set(ve)},i(s){Re||(T(b.$$.fragment,s),T(Y.$$.fragment,s),T(A.$$.fragment,s),T(z.$$.fragment,s),T(L.$$.fragment,s),T(k.$$.fragment,s),T(C.$$.fragment,s),T(D.$$.fragment,s),T(H.$$.fragment,s),T(O.$$.fragment,s),T(v.$$.fragment,s),T(ne.$$.fragment,s),Re=!0)},o(s){y(b.$$.fragment,s),y(Y.$$.fragment,s),y(A.$$.fragment,s),y(z.$$.fragment,s),y(L.$$.fragment,s),y(k.$$.fragment,s),y(C.$$.fragment,s),y(D.$$.fragment,s),y(H.$$.fragment,s),y(O.$$.fragment,s),y(v.$$.fragment,s),y(ne.$$.fragment,s),Re=!1},d(s){s&&(t(j),t(m),t(w),t(re),t(pe),t(N),t(F),t(Q),t(P),t(Z),t(ae),t(me),t(I),t(K),t(G),t(E),t(oe),t(fe),t(W),t(ee),t($e),t(Me),t(te),t(ue),t(Je),t(X),t(se),t(R),t(de),t(le),t(_),t(ce),t(he),t(x),t(a),t(M),t(Ce),t(ge),t(je),t(n),t(Ve),t(Ze)),t(i),J(b,s),J(Y,s),J(A,s),J(z,s),J(L,s),J(k,s),J(C,s),J(D,s),J(H,s),J(O,s),J(v,s),J(ne,s)}}}const dt='{"title":"Fine-tune a pretrained model","local":"fine-tune-a-pretrained-model","sections":[{"title":"Prepare a dataset","local":"prepare-a-dataset","sections":[],"depth":2},{"title":"Train","local":"train","sections":[],"depth":2},{"title":"Train with Pytorch Trainer","local":"train-with-pytorch-trainer","sections":[{"title":"Training Hyperparameters","local":"training-hyperparameters","sections":[],"depth":3},{"title":"Evaluate","local":"evaluate","sections":[],"depth":3},{"title":"Trainer","local":"trainer","sections":[],"depth":3}],"depth":2},{"title":"Kerasを使用してTensorFlowモデルをトレーニングする","local":"kerasを使用してtensorflowモデルをトレーニングする","sections":[{"title":"Loading Data from Keras","local":"loading-data-from-keras","sections":[],"depth":3},{"title":"Loading data as a tf.data.Dataset","local":"loading-data-as-a-tfdatadataset","sections":[],"depth":3}],"depth":2},{"title":"Train in native Pytorch","local":"train-in-native-pytorch","sections":[{"title":"DataLoader","local":"dataloader","sections":[],"depth":3},{"title":"Optimizer and learning rate scheduler","local":"optimizer-and-learning-rate-scheduler","sections":[],"depth":3},{"title":"トレーニングループ","local":"トレーニングループ","sections":[],"depth":3},{"title":"Evaluate","local":"evaluate","sections":[],"depth":3}],"depth":2},{"title":"追加リソース","local":"追加リソース","sections":[],"depth":2}],"depth":1}';function ct(Te){return Oe(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class jt extends Pe{constructor(i){super(),Ke(this,i,ct,Mt,De,{})}}export{jt as component};
