import{s as $t,o as xt,n as ke}from"../chunks/scheduler.37c15a92.js";import{S as gt,i as It,g as u,s as M,r as J,A as Vt,h as j,f as n,c as i,j as wt,u as U,x as m,k as Ct,y as Rt,a,v as d,t as y,b as Ps,d as o,w as T,p as Ks}from"../chunks/index.2bf4358c.js";import{T as Ce}from"../chunks/Tip.363c041f.js";import{Y as il}from"../chunks/Youtube.1e50a667.js";import{C as w}from"../chunks/CodeBlock.4f5fc1ad.js";import{C as _t}from"../chunks/CourseFloatingBanner.06521e8b.js";import{F as Qt}from"../chunks/FrameworkSwitchCourse.8d4d4ab6.js";import{H as Ue}from"../chunks/Heading.8ada512a.js";function At(f){let e,p;return e=new _t({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_tf.ipynb"}]}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function Nt(f){let e,p;return e=new _t({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_pt.ipynb"}]}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function Zt(f){let e,p='Continuing with the example from the <a href="../chapter2/1">previous chapter</a>, вот как мы будем обучать классификатор последовательности на одном батче с помощью TensorFlow:',t,r,b;return r=new w({props:{code:"aW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEFpbXBvcnQlMjBudW1weSUyMGFzJTIwbnAlMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Rva2VuaXplciUyQyUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQSUyMyUyMCVEMCVBMiVEMCVCMCVEMCVCQSUyMCVEMCVCNiVEMCVCNSUyQyUyMCVEMCVCQSVEMCVCMCVEMCVCQSUyMCVEMCVCOCUyMCVEMCVCMiUyMCVEMCVCRiVEMSU4MCVEMCVCRSVEMSU4OCVEMCVCQiVEMSU4QiVEMCVCOSUyMCVEMSU4MCVEMCVCMCVEMCVCNyUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJiZXJ0LWJhc2UtdW5jYXNlZCUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBc2VxdWVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIySSd2ZSUyMGJlZW4lMjB3YWl0aW5nJTIwZm9yJTIwYSUyMEh1Z2dpbmdGYWNlJTIwY291cnNlJTIwbXklMjB3aG9sZSUyMGxpZmUuJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyVGhpcyUyMGNvdXJzZSUyMGlzJTIwYW1hemluZyElMjIlMkMlMEElNUQlMEFiYXRjaCUyMCUzRCUyMGRpY3QodG9rZW5pemVyKHNlcXVlbmNlcyUyQyUyMHBhZGRpbmclM0RUcnVlJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnRmJTIyKSklMEElMEElMjMlMjAlRDAlQUQlRDElODIlRDAlQjAlMjAlRDElODclRDAlQjAlRDElODElRDElODIlRDElOEMlMjAlRDAlQkQlRDAlQkUlRDAlQjIlRDAlQjAlRDElOEYlMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzRCUyMmFkYW0lMjIlMkMlMjBsb3NzJTNEJTIyc3BhcnNlX2NhdGVnb3JpY2FsX2Nyb3NzZW50cm9weSUyMiklMEFsYWJlbHMlMjAlM0QlMjB0Zi5jb252ZXJ0X3RvX3RlbnNvciglNUIxJTJDJTIwMSU1RCklMEFtb2RlbC50cmFpbl9vbl9iYXRjaChiYXRjaCUyQyUyMGxhYmVscyk=",highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf
<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForSequenceClassification

<span class="hljs-comment"># Так же, как и в прошлый раз</span>
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>,
    <span class="hljs-string">&quot;This course is amazing!&quot;</span>,
]
batch = <span class="hljs-built_in">dict</span>(tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>))

<span class="hljs-comment"># Эта часть новая</span>
model.<span class="hljs-built_in">compile</span>(optimizer=<span class="hljs-string">&quot;adam&quot;</span>, loss=<span class="hljs-string">&quot;sparse_categorical_crossentropy&quot;</span>)
labels = tf.convert_to_tensor([<span class="hljs-number">1</span>, <span class="hljs-number">1</span>])
model.train_on_batch(batch, labels)`,wrap:!1}}),{c(){e=u("p"),e.innerHTML=p,t=M(),J(r.$$.fragment)},l(c){e=j(c,"P",{"data-svelte-h":!0}),m(e)!=="svelte-kxxoie"&&(e.innerHTML=p),t=i(c),U(r.$$.fragment,c)},m(c,C){a(c,e,C),a(c,t,C),d(r,c,C),b=!0},i(c){b||(o(r.$$.fragment,c),b=!0)},o(c){y(r.$$.fragment,c),b=!1},d(c){c&&(n(e),n(t)),T(r,c)}}}function Et(f){let e,p='Продолжим с примером из <a href="../chapter2/1">предыдущей главы</a>, вот как мы будем обучать классификатор последовательности на одном батче с помощью PyTorch:',t,r,b;return r=new w({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQWRhbVclMkMlMjBBdXRvVG9rZW5pemVyJTJDJTIwQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQSUyMyUyMCVEMCVBMiVEMCVCMCVEMCVCQSUyMCVEMCVCNiVEMCVCNSUyQyUyMCVEMCVCQSVEMCVCMCVEMCVCQSUyMCVEMCVCOCUyMCVEMCVCMiUyMCVEMCVCRiVEMSU4MCVEMCVCRSVEMSU4OCVEMCVCQiVEMSU4QiVEMCVCOSUyMCVEMSU4MCVEMCVCMCVEMCVCNyUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJiZXJ0LWJhc2UtdW5jYXNlZCUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQXNlcXVlbmNlcyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMkkndmUlMjBiZWVuJTIwd2FpdGluZyUyMGZvciUyMGElMjBIdWdnaW5nRmFjZSUyMGNvdXJzZSUyMG15JTIwd2hvbGUlMjBsaWZlLiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMlRoaXMlMjBjb3Vyc2UlMjBpcyUyMGFtYXppbmchJTIyJTJDJTBBJTVEJTBBYmF0Y2glMjAlM0QlMjB0b2tlbml6ZXIoc2VxdWVuY2VzJTJDJTIwcGFkZGluZyUzRFRydWUlMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBJTBBJTIzJTIwJUQwJUFEJUQxJTgyJUQwJUIwJTIwJUQxJTg3JUQwJUIwJUQxJTgxJUQxJTgyJUQxJThDJTIwJUQwJUJEJUQwJUJFJUQwJUIyJUQwJUIwJUQxJThGJTBBYmF0Y2glNUIlMjJsYWJlbHMlMjIlNUQlMjAlM0QlMjB0b3JjaC50ZW5zb3IoJTVCMSUyQyUyMDElNUQpJTBBJTBBb3B0aW1pemVyJTIwJTNEJTIwQWRhbVcobW9kZWwucGFyYW1ldGVycygpKSUwQWxvc3MlMjAlM0QlMjBtb2RlbCgqKmJhdGNoKS5sb3NzJTBBbG9zcy5iYWNrd2FyZCgpJTBBb3B0aW1pemVyLnN0ZXAoKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AdamW, AutoTokenizer, AutoModelForSequenceClassification

<span class="hljs-comment"># Так же, как и в прошлый раз</span>
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>,
    <span class="hljs-string">&quot;This course is amazing!&quot;</span>,
]
batch = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)

<span class="hljs-comment"># Эта часть новая</span>
batch[<span class="hljs-string">&quot;labels&quot;</span>] = torch.tensor([<span class="hljs-number">1</span>, <span class="hljs-number">1</span>])

optimizer = AdamW(model.parameters())
loss = model(**batch).loss
loss.backward()
optimizer.step()`,wrap:!1}}),{c(){e=u("p"),e.innerHTML=p,t=M(),J(r.$$.fragment)},l(c){e=j(c,"P",{"data-svelte-h":!0}),m(e)!=="svelte-1tgz7ys"&&(e.innerHTML=p),t=i(c),U(r.$$.fragment,c)},m(c,C){a(c,e,C),a(c,t,C),d(r,c,C),b=!0},i(c){b||(o(r.$$.fragment,c),b=!0)},o(c){y(r.$$.fragment,c),b=!1},d(c){c&&(n(e),n(t)),T(r,c)}}}function Gt(f){let e,p;return e=new il({props:{id:"W_gMJF0xomE"}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function vt(f){let e,p;return e=new il({props:{id:"_BZearw7f0w"}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function Xt(f){let e,p="✏️ <strong>Попробуйте!</strong> Посмотрите на 15-й элемент обучающей выборки и на 87-й элемент вадидационной выборки. Какие у них лейблы?";return{c(){e=u("p"),e.innerHTML=p},l(t){e=j(t,"P",{"data-svelte-h":!0}),m(e)!=="svelte-did8fs"&&(e.innerHTML=p)},m(t,r){a(t,e,r)},p:ke,d(t){t&&n(e)}}}function Bt(f){let e,p;return e=new il({props:{id:"P-rZWqcB6CE"}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function Wt(f){let e,p;return e=new il({props:{id:"0u3ioSwev3s"}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function zt(f){let e,p="✏️ <strong>Попробуйте!</strong> Токенизируйте 15-й элемент обучающей выборки как два предложения, и как пару предложений. В чем разница между двумя результатами?";return{c(){e=u("p"),e.innerHTML=p},l(t){e=j(t,"P",{"data-svelte-h":!0}),m(e)!=="svelte-a7207g"&&(e.innerHTML=p)},m(t,r){a(t,e,r)},p:ke,d(t){t&&n(e)}}}function St(f){let e,p="Функция, отвечающая за объединение элементов внутри батча, называется <em>collate function</em> (функция сопоставления). По умолчанию — это функция, которая просто преобразует ваши образцы в tf.Tensor и объединяет их (рекурсивно, если ваши элементы — это списки, кортежи или словари). В нашем случае это невозможно, поскольку входные данные, которые у нас есть, не будут иметь одинакового размера. Мы намеренно отложили отступы, чтобы применять их только по мере необходимости в каждом пакете и избегать слишком длинных входных данных с большим количеством отступов. Это немного ускорит обучение, но учтите, что если вы тренируетесь на TPU, это может вызвать проблемы — TPU предпочитают фиксированные формы, даже если для этого требуется дополнительное дополнение.";return{c(){e=u("p"),e.innerHTML=p},l(t){e=j(t,"P",{"data-svelte-h":!0}),m(e)!=="svelte-oya5c"&&(e.innerHTML=p)},m(t,r){a(t,e,r)},d(t){t&&n(e)}}}function Ht(f){let e,p="Функция, отвечающая за объединение элементов внутри батча, называется <em>collate function</em> (функция сопоставления). Это аргумент, который вы можете передать при создании <code>DataLoader</code>, по умолчанию это функция, которая просто преобразует ваши образцы в тензоры PyTorch и объединяет их (рекурсивно, если вашими элементами являются списки, кортежи или словари). В нашем случае это невозможно, поскольку входные данные, которые у нас есть, не будут иметь одинакового размера. Мы намеренно не стали делать пэддинг, чтобы применять его только по мере необходимости в каждом пакете и избегать слишком длинных входных данных с большим количеством отступов. Это немного ускорит обучение, но учтите, что если вы тренируетесь на TPU, это может вызвать проблемы — TPU предпочитают фиксированные формы, даже если для этого требуется дополнительн пэддинг.";return{c(){e=u("p"),e.innerHTML=p},l(t){e=j(t,"P",{"data-svelte-h":!0}),m(e)!=="svelte-kny0h4"&&(e.innerHTML=p)},m(t,r){a(t,e,r)},d(t){t&&n(e)}}}function Dt(f){let e,p;return e=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nJTBBJTBBZGF0YV9jb2xsYXRvciUyMCUzRCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nKHRva2VuaXplciUzRHRva2VuaXplciUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIydGYlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function Yt(f){let e,p;return e=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nJTBBJTBBZGF0YV9jb2xsYXRvciUyMCUzRCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nKHRva2VuaXplciUzRHRva2VuaXplcik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`,wrap:!1}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function Ft(f){let e,p,t,r="Выглядит неплохо! Теперь мы пришли от обычного текста к батчу, с которым может работать наша модель. Можем приступить к fine-tuning!",b;return e=new w({props:{code:"JTdCJ2F0dGVudGlvbl9tYXNrJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdpbnB1dF9pZHMnJTNBJTIwdG9yY2guU2l6ZSglNUI4JTJDJTIwNjclNUQpJTJDJTBBJTIwJ3Rva2VuX3R5cGVfaWRzJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdsYWJlbHMnJTNBJTIwdG9yY2guU2l6ZSglNUI4JTVEKSU3RA==",highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: torch.Size([<span class="hljs-number">8</span>])}`,wrap:!1}}),{c(){J(e.$$.fragment),p=M(),t=u("p"),t.textContent=r},l(c){U(e.$$.fragment,c),p=i(c),t=j(c,"P",{"data-svelte-h":!0}),m(t)!=="svelte-1ngbatr"&&(t.textContent=r)},m(c,C){d(e,c,C),a(c,p,C),a(c,t,C),b=!0},i(c){b||(o(e.$$.fragment,c),b=!0)},o(c){y(e.$$.fragment,c),b=!1},d(c){c&&(n(p),n(t)),T(e,c)}}}function qt(f){let e,p;return e=new w({props:{code:"JTdCJ2F0dGVudGlvbl9tYXNrJyUzQSUyMFRlbnNvclNoYXBlKCU1QjglMkMlMjA2NyU1RCklMkMlMEElMjAnaW5wdXRfaWRzJyUzQSUyMFRlbnNvclNoYXBlKCU1QjglMkMlMjA2NyU1RCklMkMlMEElMjAndG9rZW5fdHlwZV9pZHMnJTNBJTIwVGVuc29yU2hhcGUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdsYWJlbHMnJTNBJTIwVGVuc29yU2hhcGUoJTVCOCU1RCklN0Q=",highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: TensorShape([<span class="hljs-number">8</span>])}`,wrap:!1}}),{c(){J(e.$$.fragment)},l(t){U(e.$$.fragment,t)},m(t,r){d(e,t,r),p=!0},i(t){p||(o(e.$$.fragment,t),p=!0)},o(t){y(e.$$.fragment,t),p=!1},d(t){T(e,t)}}}function Lt(f){let e,p="✏️ <strong>Попробуйте!</strong> Повторите этап препроцессинга для набора данных GLUE SST-2. Он немного отличается, так как состоит из отдельных предложений, а не пар, но в остальном это то же самое, что мы сделали. Для более сложной задачи попробуйте написать функцию предварительной обработки, которая работает с любой из задач GLUE.";return{c(){e=u("p"),e.innerHTML=p},l(t){e=j(t,"P",{"data-svelte-h":!0}),m(e)!=="svelte-1kxtt4v"&&(e.innerHTML=p)},m(t,r){a(t,e,r)},p:ke,d(t){t&&n(e)}}}function kt(f){let e,p="Теперь, когда у нас есть набор данных и функция сопоставления данных, нам нужно собрать их вместе. Мы могли бы вручную загружать пакеты и применять к ним функцию, но это неудобно и не очень эффективно. Вместо этого есть простой метод, предлагающий эффективное решение этой проблемы: <code>to_tf_dataset()</code>. Эта функция обернет <code>tf.data.Dataset</code> вокруг вашего набора данных с дополнительной функцией сопоставления. <code>tf.data.Dataset</code> — это собственный формат TensorFlow, который Keras может использовать для <code>model.fit()</code>, поэтому этот метод немедленно преобразует 🤗 набор данных в формат, готовый для обучения. Давайте посмотрим на это в действии с нашим набором данных!",t,r,b,c,C="Это все! Мы можем использовать эти датасеты в следующей лекции, где процесс обучения будет очень простым после рутинной процедура предобработки.",E;return r=new w({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnRvX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwY29sdW1ucyUzRCU1QiUyMmF0dGVudGlvbl9tYXNrJTIyJTJDJTIwJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIydG9rZW5fdHlwZV9pZHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBsYWJlbF9jb2xzJTNEJTVCJTIybGFiZWxzJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0Q4JTJDJTBBKSUwQSUwQXRmX3ZhbGlkYXRpb25fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkYXRpb24lMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJpbnB1dF9pZHMlMjIlMkMlMjAlMjJ0b2tlbl90eXBlX2lkcyUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMGxhYmVsX2NvbHMlM0QlNUIlMjJsYWJlbHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNERmFsc2UlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0Q4JTJDJTBBKQ==",highlighted:`tf_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">True</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)

tf_validation_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">False</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)`,wrap:!1}}),{c(){e=u("p"),e.innerHTML=p,t=M(),J(r.$$.fragment),b=M(),c=u("p"),c.textContent=C},l(h){e=j(h,"P",{"data-svelte-h":!0}),m(e)!=="svelte-1ec5rd0"&&(e.innerHTML=p),t=i(h),U(r.$$.fragment,h),b=i(h),c=j(h,"P",{"data-svelte-h":!0}),m(c)!=="svelte-nsmnin"&&(c.textContent=C)},m(h,_){a(h,e,_),a(h,t,_),d(r,h,_),a(h,b,_),a(h,c,_),E=!0},i(h){E||(o(r.$$.fragment,h),E=!0)},o(h){y(r.$$.fragment,h),E=!1},d(h){h&&(n(e),n(t),n(b),n(c)),T(r,h)}}}function Pt(f){let e,p,t,r,b,c,C,E,h,_,Os,$,x,sl,W,_e="Обучение всего лишь на двух предложениях, конечно, не даст хорошего результата. Чтобы получить более качественные результаты, вам следует подготовить б<em>о</em>льший датасет.",rl,z,$e='В данном разделе мы будем использовать в качестве примера MRPC (Microsoft Research Paraphrase Corpus) dataset, предложенный в <a href="https://www.aclweb.org/anthology/I05-5002.pdf" rel="nofollow">статье</a> авторами William B. Dolan и Chris Brockett. Датасет состоит из 5801 пар предложений с соответствующим им лейблом: является ли пара преложений парафразами или нет (т.е. идет ли речь в обоих предложениях об одном и том же). Мы выбрали именно этот датасет для этой главы потому что он небольшой: с ним легко экспериментировать в процессе обучения.',cl,S,ol,g,I,ll,H,xe='Hub содержит не только модели, там также расположено множество датасетов на различных языках. Вы можете посмотреть на них <a href="https://huggingface.co/datasets" rel="nofollow">тут</a>, а также мы рекомендуем попровать загрузить новый датасет после того, как вы изучите текущий раздел (см. документацию <a href="https://huggingface.co/docs/datasets/loading" rel="nofollow">здесь</a>). Но сейчас вернемся к датасету MRPC! Это один из 10 датасетов из состава <a href="https://gluebenchmark.com/" rel="nofollow">GLUE</a>, который является тестом для производительности моделей машинного обучения в задачах классификации текста.',yl,D,ge="Библиотека 🤗 Datasets предоставляет возможность использовать очень простую команду для загрузки и кэширования датасета с Hub. Мы можем загрузить датасет следующим образом:",ul,Y,jl,F,ml,q,Ie="Как можно заметить, мы получили объект типа <code>DatasetDict</code>, который содержит обучающую выборку, валидационную выборку и тестовую выборку. Каждая из них содержит несколько колонок (<code>sentence1</code>, <code>sentence2</code>, <code>label</code>, и <code>idx</code>) и переменную с числом строк (число элементов в каждой выборке): 3668 пар предложений в обучающей части, 408 в валидационной и 1725 в тестовой .",Jl,L,Ve="Эта команда загружает и кэширует датасет (по умолчанию в <em>~/.cache/huggingface/dataset</em>). Вспомним из главы 2, что вы можете изменить путь к кэшу изменив переменную окружения <code>HF_HOME</code>.",Ul,P,Re="Мы можем получить доступ к предложениями в объекте <code>raw_datasets</code> путем индексирования, как в словаре:",dl,K,Tl,O,fl,ss,Qe="Можно увидеть, что лейблы уже являются целыми числами (integer), их обрабатывать не нужно. Чтобы сопосотавить индекс класса с его названием, можно распечатать значение переменной <code>features</code> у <code>raw_train_dataset</code>:",hl,ls,bl,es,wl,ts,Ae="Переменная <code>label</code> типа <code>ClassLabel</code> соответствует именам в <em>names</em>. <code>0</code> соответствует <code>not_equivalent</code>, <code>1</code> соответствует <code>equivalent</code>.",Cl,v,kl,ns,_l,V,R,el,as,Ne='Чтобы предобработать датасет, нам необходимо конвертировать текст в числа, которые может обработать модель. Как вы видели в <a href="../chapter2/1">предыдущей главе</a>, это делается с помощью токенайзера. Мы можем подать на вход токенайзеру одно или список предложений, т.е. можно токенизировать предложения попарно таким образом:',$l,ps,xl,Ms,Ze="Однако мы не можем просто передать две последовательности в модель и получить прогноз того, являются ли эти два предложения парафразами или нет. Нам нужно обрабатывать две последовательности как пару и применять соответствующую предварительную обработку. К счастью, токенизатор также может взять пару последовательностей и подготовить их так, как ожидает наша модель BERT:",gl,is,Il,rs,Vl,cs,Ee='Мы уже обсуждали ключи <code>input_ids</code> и <code>attention_mask</code> в <a href="../chapter2/1">главе 2</a>, но не упоминали о <code>token_type_ids</code>. В этом примере мы указываем модели какая часть входных данных является первым предложением, а какая вторым.',Rl,X,Ql,os,Ge="Если мы декодируем ID из <code>input_ids</code> обратно в слова:",Al,ys,Nl,us,ve="мы получим",Zl,js,El,ms,Xe="Видно, что модель ожидает входные данные в следующем формате: <code>[CLS] sentence1 [SEP] sentence2 [SEP]</code> в случае двух предложений. Посмотрим соответствие элементов и <code>token_type_ids</code>",Gl,Js,vl,Us,Be="Как вы можете заметить, части входных данных, соответствующих <code>[CLS] sentence1 [SEP]</code> имеют тип токена <code>0</code>, в то время как остальные части, соответствующие второму предложению <code>sentence2 [SEP]</code>, имеют тип токена <code>1</code>.",Xl,ds,We="Обратите внимание, что если вы выберете другой чекпоинт, <code>token_type_ids</code> необязательно будут присутствовать в ваших токенизированных входных данных (например, они не возвращаются, если вы используете модель DistilBERT). Они возвращаются только тогда, когда модель будет знать, что с ними делать, потому что она видела их во время предобучения.",Bl,Ts,ze='В данном случае BERT был обучен с информацией о идентификаторах типов токенов, и помимо задачи маскированной языковой модели, о которой мы говорили в <a href="../chapter1/1">главе 1</a>, он может решать еще одну задачу: предсказание следующего предложения (<em>next sentence prediction</em>). Суть этой задачи - смоделировать связь между предложениями.',Wl,fs,Se="В этой задаче модели на вход подаются пары предложений (со случайно замаскированными токенами), от модели требуется предсказать, является ли следующее предложение продолжением текущего. Чтобы задача не была слишком тривиальной, половина времени модель обучается на соседних предложениях из одного документа, другую половину на парах предложений, взятых из разных источников.",zl,hs,He="В общем случае вам не нужно беспокоиться о наличии <code>token_type_ids</code> в ваших токенизированных данных: пока вы используете одинаковый чекпоинт и для токенизатора, и для модели – токенизатор будет знать, как нужно обработать данные.",Sl,bs,De='Теперь мы знаем, что токенизатор может подготовить сразу пару предложений, а значит мы можем использовать его для целого датасета: так же как и в <a href="../chapter2/1">предыдущей главе</a> можно подать на вход токенизатору список первых предложений и список вторых предложений. Это также сработает и для механизмов дополнения (padding) и усечения до максимальной длины (truncation) - об этом мы говорили в <a href="../chapter2">главе 2</a>. Итак, один из способов предобработать обучающий датасет такой:',Hl,ws,Dl,Cs,Ye='Это хорошо работает, однако есть недостаток, который формирует токенизатор (с ключами,  <code>input_ids</code>, <code>attention_mask</code>, и <code>token_type_ids</code>, и значениями в формате списка списков). Это будет работать только если у нас достаточно оперативной памяти (RAM) для хранения целого датасета во время токенизации (в то время как датасеты из библиотеки 🤗 Datasets являются <a href="https://arrow.apache.org/" rel="nofollow">Apache Arrow</a> файлами, хранящимися на диске; они будут загружены только в тот момент, когда вы их будете запрашивать).',Yl,ks,Fe='Чтобы хранить данные в формате датасета, мы будем использовать методы <a href="https://huggingface.co/docs/datasets/package_reference/main_classes#datasets.Dataset.map" rel="nofollow"><code>Dataset.map()</code></a>. Это позволит нам сохранить высокую гибкость даже если нам нужно что-то большее, чем просто токенизация. Метод <code>map()</code> работает так: применяет некоторую функцию к каждому элементу датасета, давайте определим функцию, которая токенизирует наши входные данные:',Fl,_s,ql,$s,qe='Эта функция принимает на вход слвоарь (похожий на элементы нашего словаря) и возвращает новый словарь с ключами <code>input_ids</code>, <code>attention_mask</code> и <code>token_type_ids</code>. Заметьте, это также работает если словарь <code>example</code> содержит несколько элементов (каждый ключ в виде списка предложений), поскольку <code>tokenizer</code> работает и со списками пар предложений, как мы и видели ранее. Это позволит нам использовать аргумент <code>batched=True</code> в вызове <code>map()</code>, которая ускорит процесс токенизации. <code>tokenizer</code> внутри реализован на языке Rust из библиотеки <a href="https://github.com/huggingface/tokenizers" rel="nofollow">🤗 Tokenizers</a>. Этот токенизатор может быть очень быстрым, но только если мы подадим большой объем данных за раз.',Ll,xs,Le="Обратите внимание, в этот раз мы оставили аргумент <code>padding</code> пустым, потому что дополнение данных до максимальной длины неэффективно: гораздо быстрее делать это во время формирования батча, в таком случае мы будем дополнять до максимальной длины только элементы батча, а не целого датасета. Это поможет сэкономить время в случае длинных последовательностей.",Pl,gs,Pe="Ниже пример того, как мы применяем функцию токенизации к целому датасету. Мы указываем <code>batched=True</code> в нашем вызове <code>map</code> и функция будет применена сразу к нескольким элементам датасета одновременно, а не к каждому по отдельности. Это позволяет сделать токенизацию более быстрой.",Kl,Is,Ol,Vs,Ke="Библиотека 🤗 Datasets применяет обработку, добавляя новые поля в наборы данных, по одному для каждого ключа в словаре, который возвращает функция предварительной обработки:",se,Rs,le,Qs,Oe="В функции <code>map()</code> можно использовать мультипроцессинг: за это отвечает аргумент <code>num_proc</code>. Мы его не применяли, потому что библиоетека 🤗 Tokenizers сразу использует несколько потоков для токенизации, но если вы будете использовать функцию не из 🤗 Tokenizers, это может ускорить процесс.",ee,As,st="Наша функция <code>tokenize_function</code>  возвращает словарь с ключами <code>input_ids</code>, <code>attention_mask</code> и <code>token_type_ids</code>, они уже добавлены ко всем разбиениями нашего датасета. Обратите внимание, что мы могли бы также изменить существующие поля, если бы наша функция препроцессинга вернула новое значение для существующего ключа в наборе данных, к которому мы применили <code>map()</code>.",te,Ns,lt="Последнее, что нам нужно сделать, это дополнить все примеры до длины самого длинного элемента, когда мы собираем элементы вместе — метод, который мы называем <em>динамическим пэддингом</em> (<em>dynamic padding</em>).",ne,Zs,ae,Es,pe,tl,Gs,et="Для того, чтобы сделать это на практике, мы должны задать функцию сопоставления, которая будет осуществлять корректный пэддинг элементов выборки, которые мы хотим объединить в батч. К счастью, библиотека 🤗 Transformers предоставляет нам эту функцию через класс <code>DataCollatorWithPadding</code>. При создании экземпляра требуется указать токенизатор (чтобы знать, какой токен использовать для пэддинга и слева или справа нужно дополнять данные), а дальше функция сделает все, что вам нужно:",Me,Q,A,nl,vs,tt="Чтобы протестировать это, давайте возьмем несколько элементов обучающей выборки, которые мы хотим объединить в батч. Мы удалим колонки <code>idx</code>, <code>sentence1</code> и <code>sentence2</code> т.к. они содержат строки (а мы не можем превратить строки в тензоры) и посмотрим на длину каждой записи в батче:",ie,Xs,re,Bs,ce,Ws,nt="Неудивительно: мы получили объекты разной длины от 32 до 67. Динамический пэддинг подразумевает, что все объекты будут дополнены до максимальной длины, до 67.",oe,zs,at="No surprise, we get samples of varying length, from 32 to 67. Dynamic padding means the samples in this batch should all be padded to a length of 67, the maximum length inside the batch. Без динамического заполнения все выборки должны быть дополнены до максимальной длины во всем наборе данных, или до максимальной длины, которую может принять модель. Давайте дважды проверим, что наш <code>data_collator</code> динамически правильно дополняет батч:",ye,Ss,ue,N,Z,al,B,je,pl,Ml,me;b=new Qt({props:{fw:f[0]}}),C=new Ue({props:{title:"Предобработка данных",local:"предобработка-данных",headingTag:"h1"}});const pt=[Nt,At],Hs=[];function Mt(s,l){return s[0]==="pt"?0:1}h=Mt(f),_=Hs[h]=pt[h](f);const it=[Et,Zt],Ds=[];function rt(s,l){return s[0]==="pt"?0:1}$=rt(f),x=Ds[$]=it[$](f),S=new Ue({props:{title:"Загрузка датасета с Hub",local:"загрузка-датасета-с-hub",headingTag:"h3"}});const ct=[vt,Gt],Ys=[];function ot(s,l){return s[0]==="pt"?0:1}g=ot(f),I=Ys[g]=ct[g](f),Y=new w({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBcmF3X2RhdGFzZXRzJTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmdsdWUlMjIlMkMlMjAlMjJtcnBjJTIyKSUwQXJhd19kYXRhc2V0cw==",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

raw_datasets = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
raw_datasets`,wrap:!1}}),F=new w({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCdsYWJlbCclMkMlMjAnaWR4JyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwMzY2OCUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB2YWxpZGF0aW9uJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidzZW50ZW5jZTEnJTJDJTIwJ3NlbnRlbmNlMiclMkMlMjAnbGFiZWwnJTJDJTIwJ2lkeCclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDQwOCUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB0ZXN0JTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidzZW50ZW5jZTEnJTJDJTIwJ3NlbnRlbmNlMiclMkMlMjAnbGFiZWwnJTJDJTIwJ2lkeCclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE3MjUlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">3668</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">408</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">1725</span>
    })
})`,wrap:!1}}),K=new w({props:{code:"cmF3X3RyYWluX2RhdGFzZXQlMjAlM0QlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUwQXJhd190cmFpbl9kYXRhc2V0JTVCMCU1RA==",highlighted:`raw_train_dataset = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>]
raw_train_dataset[<span class="hljs-number">0</span>]`,wrap:!1}}),O=new w({props:{code:"JTdCJ2lkeCclM0ElMjAwJTJDJTBBJTIwJ2xhYmVsJyUzQSUyMDElMkMlMEElMjAnc2VudGVuY2UxJyUzQSUyMCdBbXJvemklMjBhY2N1c2VkJTIwaGlzJTIwYnJvdGhlciUyMCUyQyUyMHdob20lMjBoZSUyMGNhbGxlZCUyMCUyMiUyMHRoZSUyMHdpdG5lc3MlMjAlMjIlMjAlMkMlMjBvZiUyMGRlbGliZXJhdGVseSUyMGRpc3RvcnRpbmclMjBoaXMlMjBldmlkZW5jZSUyMC4nJTJDJTBBJTIwJ3NlbnRlbmNlMiclM0ElMjAnUmVmZXJyaW5nJTIwdG8lMjBoaW0lMjBhcyUyMG9ubHklMjAlMjIlMjB0aGUlMjB3aXRuZXNzJTIwJTIyJTIwJTJDJTIwQW1yb3ppJTIwYWNjdXNlZCUyMGhpcyUyMGJyb3RoZXIlMjBvZiUyMGRlbGliZXJhdGVseSUyMGRpc3RvcnRpbmclMjBoaXMlMjBldmlkZW5jZSUyMC4nJTdE",highlighted:`{<span class="hljs-string">&#x27;idx&#x27;</span>: <span class="hljs-number">0</span>,
 <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-number">1</span>,
 <span class="hljs-string">&#x27;sentence1&#x27;</span>: <span class="hljs-string">&#x27;Amrozi accused his brother , whom he called &quot; the witness &quot; , of deliberately distorting his evidence .&#x27;</span>,
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: <span class="hljs-string">&#x27;Referring to him as only &quot; the witness &quot; , Amrozi accused his brother of deliberately distorting his evidence .&#x27;</span>}`,wrap:!1}}),ls=new w({props:{code:"cmF3X3RyYWluX2RhdGFzZXQuZmVhdHVyZXM=",highlighted:"raw_train_dataset.features",wrap:!1}}),es=new w({props:{code:"JTdCJ3NlbnRlbmNlMSclM0ElMjBWYWx1ZShkdHlwZSUzRCdzdHJpbmcnJTJDJTIwaWQlM0ROb25lKSUyQyUwQSUyMCdzZW50ZW5jZTInJTNBJTIwVmFsdWUoZHR5cGUlM0Qnc3RyaW5nJyUyQyUyMGlkJTNETm9uZSklMkMlMEElMjAnbGFiZWwnJTNBJTIwQ2xhc3NMYWJlbChudW1fY2xhc3NlcyUzRDIlMkMlMjBuYW1lcyUzRCU1Qidub3RfZXF1aXZhbGVudCclMkMlMjAnZXF1aXZhbGVudCclNUQlMkMlMjBuYW1lc19maWxlJTNETm9uZSUyQyUyMGlkJTNETm9uZSklMkMlMEElMjAnaWR4JyUzQSUyMFZhbHVlKGR0eXBlJTNEJ2ludDMyJyUyQyUyMGlkJTNETm9uZSklN0Q=",highlighted:`{<span class="hljs-string">&#x27;sentence1&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;label&#x27;</span>: ClassLabel(num_classes=<span class="hljs-number">2</span>, names=[<span class="hljs-string">&#x27;not_equivalent&#x27;</span>, <span class="hljs-string">&#x27;equivalent&#x27;</span>], names_file=<span class="hljs-literal">None</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;idx&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;int32&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>)}`,wrap:!1}}),v=new Ce({props:{$$slots:{default:[Xt]},$$scope:{ctx:f}}}),ns=new Ue({props:{title:"Предобработка датасета",local:"предобработка-датасета",headingTag:"h3"}});const yt=[Wt,Bt],Fs=[];function ut(s,l){return s[0]==="pt"?0:1}V=ut(f),R=Fs[V]=yt[V](f),ps=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyYmVydC1iYXNlLXVuY2FzZWQlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQXRva2VuaXplZF9zZW50ZW5jZXNfMSUyMCUzRCUyMHRva2VuaXplcihyYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUyMnNlbnRlbmNlMSUyMiU1RCklMEF0b2tlbml6ZWRfc2VudGVuY2VzXzIlMjAlM0QlMjB0b2tlbml6ZXIocmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIlMjJzZW50ZW5jZTIlMjIlNUQp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
tokenized_sentences_1 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>])
tokenized_sentences_2 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>])`,wrap:!1}}),is=new w({props:{code:"aW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUyMlRoaXMlMjBpcyUyMHRoZSUyMGZpcnN0JTIwc2VudGVuY2UuJTIyJTJDJTIwJTIyVGhpcyUyMGlzJTIwdGhlJTIwc2Vjb25kJTIwb25lLiUyMiklMEFpbnB1dHM=",highlighted:`inputs = tokenizer(<span class="hljs-string">&quot;This is the first sentence.&quot;</span>, <span class="hljs-string">&quot;This is the second one.&quot;</span>)
inputs`,wrap:!1}}),rs=new w({props:{code:"JTdCJTIwJTBBJTIwJTIwJ2lucHV0X2lkcyclM0ElMjAlNUIxMDElMkMlMjAyMDIzJTJDJTIwMjAwMyUyQyUyMDE5OTYlMkMlMjAyMDM0JTJDJTIwNjI1MSUyQyUyMDEwMTIlMkMlMjAxMDIlMkMlMjAyMDIzJTJDJTIwMjAwMyUyQyUyMDE5OTYlMkMlMjAyMTE3JTJDJTIwMjAyOCUyQyUyMDEwMTIlMkMlMjAxMDIlNUQlMkMlMEElMjAlMjAndG9rZW5fdHlwZV9pZHMnJTNBJTIwJTVCMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVEJTJDJTBBJTIwJTIwJ2F0dGVudGlvbl9tYXNrJyUzQSUyMCU1QjElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSU1RCUwQSU3RA==",highlighted:`{ 
  <span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2034</span>, <span class="hljs-number">6251</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2117</span>, <span class="hljs-number">2028</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>],
  <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
  <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]
}`,wrap:!1}}),X=new Ce({props:{$$slots:{default:[zt]},$$scope:{ctx:f}}}),ys=new w({props:{code:"dG9rZW5pemVyLmNvbnZlcnRfaWRzX3RvX3Rva2VucyhpbnB1dHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQp",highlighted:'tokenizer.convert_ids_to_tokens(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>])',wrap:!1}}),js=new w({props:{code:"JTVCJyU1QkNMUyU1RCclMkMlMjAndGhpcyclMkMlMjAnaXMnJTJDJTIwJ3RoZSclMkMlMjAnZmlyc3QnJTJDJTIwJ3NlbnRlbmNlJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTJDJTIwJ3RoaXMnJTJDJTIwJ2lzJyUyQyUyMCd0aGUnJTJDJTIwJ3NlY29uZCclMkMlMjAnb25lJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTVE",highlighted:'[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]',wrap:!1}}),Js=new w({props:{code:"JTVCJyU1QkNMUyU1RCclMkMlMjAndGhpcyclMkMlMjAnaXMnJTJDJTIwJ3RoZSclMkMlMjAnZmlyc3QnJTJDJTIwJ3NlbnRlbmNlJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTJDJTIwJ3RoaXMnJTJDJTIwJ2lzJyUyQyUyMCd0aGUnJTJDJTIwJ3NlY29uZCclMkMlMjAnb25lJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTVEJTBBJTVCJTIwJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAxJTJDJTIwJTIwJTIwJTIwMSUyQyUyMCUyMCUyMCUyMCUyMDElMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAxJTJDJTIwJTIwJTIwJTIwJTIwMSUyQyUyMCUyMCUyMDElMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAxJTVE",highlighted:`[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]
[      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>,     <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,          <span class="hljs-number">0</span>,   <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,      <span class="hljs-number">1</span>,    <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,        <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,   <span class="hljs-number">1</span>,       <span class="hljs-number">1</span>]`,wrap:!1}}),ws=new w({props:{code:"dG9rZW5pemVkX2RhdGFzZXQlMjAlM0QlMjB0b2tlbml6ZXIoJTBBJTIwJTIwJTIwJTIwcmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIlMjJzZW50ZW5jZTElMjIlNUQlMkMlMEElMjAlMjAlMjAlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUyMnNlbnRlbmNlMiUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMHBhZGRpbmclM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEEp",highlighted:`tokenized_dataset = tokenizer(
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>],
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>],
    padding=<span class="hljs-literal">True</span>,
    truncation=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),_s=new w({props:{code:"ZGVmJTIwdG9rZW5pemVfZnVuY3Rpb24oZXhhbXBsZSklM0ElMEElMjAlMjAlMjAlMjByZXR1cm4lMjB0b2tlbml6ZXIoZXhhbXBsZSU1QiUyMnNlbnRlbmNlMSUyMiU1RCUyQyUyMGV4YW1wbGUlNUIlMjJzZW50ZW5jZTIlMjIlNUQlMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSk=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> tokenizer(example[<span class="hljs-string">&quot;sentence1&quot;</span>], example[<span class="hljs-string">&quot;sentence2&quot;</span>], truncation=<span class="hljs-literal">True</span>)`,wrap:!1}}),Is=new w({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwcmF3X2RhdGFzZXRzLm1hcCh0b2tlbml6ZV9mdW5jdGlvbiUyQyUyMGJhdGNoZWQlM0RUcnVlKSUwQXRva2VuaXplZF9kYXRhc2V0cw==",highlighted:`tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)
tokenized_datasets`,wrap:!1}}),Rs=new w({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2F0dGVudGlvbl9tYXNrJyUyQyUyMCdpZHgnJTJDJTIwJ2lucHV0X2lkcyclMkMlMjAnbGFiZWwnJTJDJTIwJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCd0b2tlbl90eXBlX2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDM2NjglMEElMjAlMjAlMjAlMjAlN0QpJTBBJTIwJTIwJTIwJTIwdmFsaWRhdGlvbiUzQSUyMERhdGFzZXQoJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZmVhdHVyZXMlM0ElMjAlNUInYXR0ZW50aW9uX21hc2snJTJDJTIwJ2lkeCclMkMlMjAnaW5wdXRfaWRzJyUyQyUyMCdsYWJlbCclMkMlMjAnc2VudGVuY2UxJyUyQyUyMCdzZW50ZW5jZTInJTJDJTIwJ3Rva2VuX3R5cGVfaWRzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDA4JTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHRlc3QlM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2F0dGVudGlvbl9tYXNrJyUyQyUyMCdpZHgnJTJDJTIwJ2lucHV0X2lkcyclMkMlMjAnbGFiZWwnJTJDJTIwJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCd0b2tlbl90eXBlX2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE3MjUlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">3668</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">408</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">1725</span>
    })
})`,wrap:!1}}),Zs=new Ue({props:{title:"Dynamic padding",local:"dynamic-padding",headingTag:"h3"}}),Es=new il({props:{id:"7q5NyFT8REg"}});function jt(s,l){return s[0]==="pt"?Ht:St}let Je=jt(f),G=Je(f);const mt=[Yt,Dt],qs=[];function Jt(s,l){return s[0]==="pt"?0:1}Q=Jt(f),A=qs[Q]=mt[Q](f),Xs=new w({props:{code:"c2FtcGxlcyUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTVCJTNBOCU1RCUwQXNhbXBsZXMlMjAlM0QlMjAlN0JrJTNBJTIwdiUyMGZvciUyMGslMkMlMjB2JTIwaW4lMjBzYW1wbGVzLml0ZW1zKCklMjBpZiUyMGslMjBub3QlMjBpbiUyMCU1QiUyMmlkeCUyMiUyQyUyMCUyMnNlbnRlbmNlMSUyMiUyQyUyMCUyMnNlbnRlbmNlMiUyMiU1RCU3RCUwQSU1Qmxlbih4KSUyMGZvciUyMHglMjBpbiUyMHNhbXBsZXMlNUIlMjJpbnB1dF9pZHMlMjIlNUQlNUQ=",highlighted:`samples = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">8</span>]
samples = {k: v <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> samples.items() <span class="hljs-keyword">if</span> k <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> [<span class="hljs-string">&quot;idx&quot;</span>, <span class="hljs-string">&quot;sentence1&quot;</span>, <span class="hljs-string">&quot;sentence2&quot;</span>]}
[<span class="hljs-built_in">len</span>(x) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> samples[<span class="hljs-string">&quot;input_ids&quot;</span>]]`,wrap:!1}}),Bs=new w({props:{code:"JTVCNTAlMkMlMjA1OSUyQyUyMDQ3JTJDJTIwNjclMkMlMjA1OSUyQyUyMDUwJTJDJTIwNjIlMkMlMjAzMiU1RA==",highlighted:'[<span class="hljs-number">50</span>, <span class="hljs-number">59</span>, <span class="hljs-number">47</span>, <span class="hljs-number">67</span>, <span class="hljs-number">59</span>, <span class="hljs-number">50</span>, <span class="hljs-number">62</span>, <span class="hljs-number">32</span>]',wrap:!1}}),Ss=new w({props:{code:"YmF0Y2glMjAlM0QlMjBkYXRhX2NvbGxhdG9yKHNhbXBsZXMpJTBBJTdCayUzQSUyMHYuc2hhcGUlMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwYmF0Y2guaXRlbXMoKSU3RA==",highlighted:`batch = data_collator(samples)
{k: v.shape <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}`,wrap:!1}});const Ut=[qt,Ft],Ls=[];function dt(s,l){return s[0]==="tf"?0:1}N=dt(f),Z=Ls[N]=Ut[N](f),B=new Ce({props:{$$slots:{default:[Lt]},$$scope:{ctx:f}}});let k=f[0]==="tf"&&kt();return{c(){e=u("meta"),p=M(),t=u("p"),r=M(),J(b.$$.fragment),c=M(),J(C.$$.fragment),E=M(),_.c(),Os=M(),x.c(),sl=M(),W=u("p"),W.innerHTML=_e,rl=M(),z=u("p"),z.innerHTML=$e,cl=M(),J(S.$$.fragment),ol=M(),I.c(),ll=M(),H=u("p"),H.innerHTML=xe,yl=M(),D=u("p"),D.textContent=ge,ul=M(),J(Y.$$.fragment),jl=M(),J(F.$$.fragment),ml=M(),q=u("p"),q.innerHTML=Ie,Jl=M(),L=u("p"),L.innerHTML=Ve,Ul=M(),P=u("p"),P.innerHTML=Re,dl=M(),J(K.$$.fragment),Tl=M(),J(O.$$.fragment),fl=M(),ss=u("p"),ss.innerHTML=Qe,hl=M(),J(ls.$$.fragment),bl=M(),J(es.$$.fragment),wl=M(),ts=u("p"),ts.innerHTML=Ae,Cl=M(),J(v.$$.fragment),kl=M(),J(ns.$$.fragment),_l=M(),R.c(),el=M(),as=u("p"),as.innerHTML=Ne,$l=M(),J(ps.$$.fragment),xl=M(),Ms=u("p"),Ms.textContent=Ze,gl=M(),J(is.$$.fragment),Il=M(),J(rs.$$.fragment),Vl=M(),cs=u("p"),cs.innerHTML=Ee,Rl=M(),J(X.$$.fragment),Ql=M(),os=u("p"),os.innerHTML=Ge,Al=M(),J(ys.$$.fragment),Nl=M(),us=u("p"),us.textContent=ve,Zl=M(),J(js.$$.fragment),El=M(),ms=u("p"),ms.innerHTML=Xe,Gl=M(),J(Js.$$.fragment),vl=M(),Us=u("p"),Us.innerHTML=Be,Xl=M(),ds=u("p"),ds.innerHTML=We,Bl=M(),Ts=u("p"),Ts.innerHTML=ze,Wl=M(),fs=u("p"),fs.textContent=Se,zl=M(),hs=u("p"),hs.innerHTML=He,Sl=M(),bs=u("p"),bs.innerHTML=De,Hl=M(),J(ws.$$.fragment),Dl=M(),Cs=u("p"),Cs.innerHTML=Ye,Yl=M(),ks=u("p"),ks.innerHTML=Fe,Fl=M(),J(_s.$$.fragment),ql=M(),$s=u("p"),$s.innerHTML=qe,Ll=M(),xs=u("p"),xs.innerHTML=Le,Pl=M(),gs=u("p"),gs.innerHTML=Pe,Kl=M(),J(Is.$$.fragment),Ol=M(),Vs=u("p"),Vs.textContent=Ke,se=M(),J(Rs.$$.fragment),le=M(),Qs=u("p"),Qs.innerHTML=Oe,ee=M(),As=u("p"),As.innerHTML=st,te=M(),Ns=u("p"),Ns.innerHTML=lt,ne=M(),J(Zs.$$.fragment),ae=M(),J(Es.$$.fragment),pe=M(),G.c(),tl=M(),Gs=u("p"),Gs.innerHTML=et,Me=M(),A.c(),nl=M(),vs=u("p"),vs.innerHTML=tt,ie=M(),J(Xs.$$.fragment),re=M(),J(Bs.$$.fragment),ce=M(),Ws=u("p"),Ws.textContent=nt,oe=M(),zs=u("p"),zs.innerHTML=at,ye=M(),J(Ss.$$.fragment),ue=M(),Z.c(),al=M(),J(B.$$.fragment),je=M(),k&&k.c(),pl=M(),Ml=u("p"),this.h()},l(s){const l=Vt("svelte-u9bgzb",document.head);e=j(l,"META",{name:!0,content:!0}),l.forEach(n),p=i(s),t=j(s,"P",{}),wt(t).forEach(n),r=i(s),U(b.$$.fragment,s),c=i(s),U(C.$$.fragment,s),E=i(s),_.l(s),Os=i(s),x.l(s),sl=i(s),W=j(s,"P",{"data-svelte-h":!0}),m(W)!=="svelte-11ew759"&&(W.innerHTML=_e),rl=i(s),z=j(s,"P",{"data-svelte-h":!0}),m(z)!=="svelte-q3o8gt"&&(z.innerHTML=$e),cl=i(s),U(S.$$.fragment,s),ol=i(s),I.l(s),ll=i(s),H=j(s,"P",{"data-svelte-h":!0}),m(H)!=="svelte-1pfvw0k"&&(H.innerHTML=xe),yl=i(s),D=j(s,"P",{"data-svelte-h":!0}),m(D)!=="svelte-75g6kx"&&(D.textContent=ge),ul=i(s),U(Y.$$.fragment,s),jl=i(s),U(F.$$.fragment,s),ml=i(s),q=j(s,"P",{"data-svelte-h":!0}),m(q)!=="svelte-1dl2br0"&&(q.innerHTML=Ie),Jl=i(s),L=j(s,"P",{"data-svelte-h":!0}),m(L)!=="svelte-33nz84"&&(L.innerHTML=Ve),Ul=i(s),P=j(s,"P",{"data-svelte-h":!0}),m(P)!=="svelte-1lva7ym"&&(P.innerHTML=Re),dl=i(s),U(K.$$.fragment,s),Tl=i(s),U(O.$$.fragment,s),fl=i(s),ss=j(s,"P",{"data-svelte-h":!0}),m(ss)!=="svelte-1jkb34i"&&(ss.innerHTML=Qe),hl=i(s),U(ls.$$.fragment,s),bl=i(s),U(es.$$.fragment,s),wl=i(s),ts=j(s,"P",{"data-svelte-h":!0}),m(ts)!=="svelte-1m29qur"&&(ts.innerHTML=Ae),Cl=i(s),U(v.$$.fragment,s),kl=i(s),U(ns.$$.fragment,s),_l=i(s),R.l(s),el=i(s),as=j(s,"P",{"data-svelte-h":!0}),m(as)!=="svelte-1ypsy6q"&&(as.innerHTML=Ne),$l=i(s),U(ps.$$.fragment,s),xl=i(s),Ms=j(s,"P",{"data-svelte-h":!0}),m(Ms)!=="svelte-pklusf"&&(Ms.textContent=Ze),gl=i(s),U(is.$$.fragment,s),Il=i(s),U(rs.$$.fragment,s),Vl=i(s),cs=j(s,"P",{"data-svelte-h":!0}),m(cs)!=="svelte-1a9y0zr"&&(cs.innerHTML=Ee),Rl=i(s),U(X.$$.fragment,s),Ql=i(s),os=j(s,"P",{"data-svelte-h":!0}),m(os)!=="svelte-fflco7"&&(os.innerHTML=Ge),Al=i(s),U(ys.$$.fragment,s),Nl=i(s),us=j(s,"P",{"data-svelte-h":!0}),m(us)!=="svelte-f12kmv"&&(us.textContent=ve),Zl=i(s),U(js.$$.fragment,s),El=i(s),ms=j(s,"P",{"data-svelte-h":!0}),m(ms)!=="svelte-n5xwf2"&&(ms.innerHTML=Xe),Gl=i(s),U(Js.$$.fragment,s),vl=i(s),Us=j(s,"P",{"data-svelte-h":!0}),m(Us)!=="svelte-ssb2ns"&&(Us.innerHTML=Be),Xl=i(s),ds=j(s,"P",{"data-svelte-h":!0}),m(ds)!=="svelte-18zv626"&&(ds.innerHTML=We),Bl=i(s),Ts=j(s,"P",{"data-svelte-h":!0}),m(Ts)!=="svelte-t7bdf5"&&(Ts.innerHTML=ze),Wl=i(s),fs=j(s,"P",{"data-svelte-h":!0}),m(fs)!=="svelte-c5jhlz"&&(fs.textContent=Se),zl=i(s),hs=j(s,"P",{"data-svelte-h":!0}),m(hs)!=="svelte-5btg29"&&(hs.innerHTML=He),Sl=i(s),bs=j(s,"P",{"data-svelte-h":!0}),m(bs)!=="svelte-1wh9ous"&&(bs.innerHTML=De),Hl=i(s),U(ws.$$.fragment,s),Dl=i(s),Cs=j(s,"P",{"data-svelte-h":!0}),m(Cs)!=="svelte-1cf7eho"&&(Cs.innerHTML=Ye),Yl=i(s),ks=j(s,"P",{"data-svelte-h":!0}),m(ks)!=="svelte-16quvwh"&&(ks.innerHTML=Fe),Fl=i(s),U(_s.$$.fragment,s),ql=i(s),$s=j(s,"P",{"data-svelte-h":!0}),m($s)!=="svelte-1ol5uxl"&&($s.innerHTML=qe),Ll=i(s),xs=j(s,"P",{"data-svelte-h":!0}),m(xs)!=="svelte-xfn9k3"&&(xs.innerHTML=Le),Pl=i(s),gs=j(s,"P",{"data-svelte-h":!0}),m(gs)!=="svelte-uknrpa"&&(gs.innerHTML=Pe),Kl=i(s),U(Is.$$.fragment,s),Ol=i(s),Vs=j(s,"P",{"data-svelte-h":!0}),m(Vs)!=="svelte-1iiirto"&&(Vs.textContent=Ke),se=i(s),U(Rs.$$.fragment,s),le=i(s),Qs=j(s,"P",{"data-svelte-h":!0}),m(Qs)!=="svelte-j3on1t"&&(Qs.innerHTML=Oe),ee=i(s),As=j(s,"P",{"data-svelte-h":!0}),m(As)!=="svelte-l47bf4"&&(As.innerHTML=st),te=i(s),Ns=j(s,"P",{"data-svelte-h":!0}),m(Ns)!=="svelte-1tc4lo3"&&(Ns.innerHTML=lt),ne=i(s),U(Zs.$$.fragment,s),ae=i(s),U(Es.$$.fragment,s),pe=i(s),G.l(s),tl=i(s),Gs=j(s,"P",{"data-svelte-h":!0}),m(Gs)!=="svelte-1usjo86"&&(Gs.innerHTML=et),Me=i(s),A.l(s),nl=i(s),vs=j(s,"P",{"data-svelte-h":!0}),m(vs)!=="svelte-ohixzw"&&(vs.innerHTML=tt),ie=i(s),U(Xs.$$.fragment,s),re=i(s),U(Bs.$$.fragment,s),ce=i(s),Ws=j(s,"P",{"data-svelte-h":!0}),m(Ws)!=="svelte-bg3ugc"&&(Ws.textContent=nt),oe=i(s),zs=j(s,"P",{"data-svelte-h":!0}),m(zs)!=="svelte-yaqdwl"&&(zs.innerHTML=at),ye=i(s),U(Ss.$$.fragment,s),ue=i(s),Z.l(s),al=i(s),U(B.$$.fragment,s),je=i(s),k&&k.l(s),pl=i(s),Ml=j(s,"P",{}),wt(Ml).forEach(n),this.h()},h(){Ct(e,"name","hf:doc:metadata"),Ct(e,"content",Kt)},m(s,l){Rt(document.head,e),a(s,p,l),a(s,t,l),a(s,r,l),d(b,s,l),a(s,c,l),d(C,s,l),a(s,E,l),Hs[h].m(s,l),a(s,Os,l),Ds[$].m(s,l),a(s,sl,l),a(s,W,l),a(s,rl,l),a(s,z,l),a(s,cl,l),d(S,s,l),a(s,ol,l),Ys[g].m(s,l),a(s,ll,l),a(s,H,l),a(s,yl,l),a(s,D,l),a(s,ul,l),d(Y,s,l),a(s,jl,l),d(F,s,l),a(s,ml,l),a(s,q,l),a(s,Jl,l),a(s,L,l),a(s,Ul,l),a(s,P,l),a(s,dl,l),d(K,s,l),a(s,Tl,l),d(O,s,l),a(s,fl,l),a(s,ss,l),a(s,hl,l),d(ls,s,l),a(s,bl,l),d(es,s,l),a(s,wl,l),a(s,ts,l),a(s,Cl,l),d(v,s,l),a(s,kl,l),d(ns,s,l),a(s,_l,l),Fs[V].m(s,l),a(s,el,l),a(s,as,l),a(s,$l,l),d(ps,s,l),a(s,xl,l),a(s,Ms,l),a(s,gl,l),d(is,s,l),a(s,Il,l),d(rs,s,l),a(s,Vl,l),a(s,cs,l),a(s,Rl,l),d(X,s,l),a(s,Ql,l),a(s,os,l),a(s,Al,l),d(ys,s,l),a(s,Nl,l),a(s,us,l),a(s,Zl,l),d(js,s,l),a(s,El,l),a(s,ms,l),a(s,Gl,l),d(Js,s,l),a(s,vl,l),a(s,Us,l),a(s,Xl,l),a(s,ds,l),a(s,Bl,l),a(s,Ts,l),a(s,Wl,l),a(s,fs,l),a(s,zl,l),a(s,hs,l),a(s,Sl,l),a(s,bs,l),a(s,Hl,l),d(ws,s,l),a(s,Dl,l),a(s,Cs,l),a(s,Yl,l),a(s,ks,l),a(s,Fl,l),d(_s,s,l),a(s,ql,l),a(s,$s,l),a(s,Ll,l),a(s,xs,l),a(s,Pl,l),a(s,gs,l),a(s,Kl,l),d(Is,s,l),a(s,Ol,l),a(s,Vs,l),a(s,se,l),d(Rs,s,l),a(s,le,l),a(s,Qs,l),a(s,ee,l),a(s,As,l),a(s,te,l),a(s,Ns,l),a(s,ne,l),d(Zs,s,l),a(s,ae,l),d(Es,s,l),a(s,pe,l),G.m(s,l),a(s,tl,l),a(s,Gs,l),a(s,Me,l),qs[Q].m(s,l),a(s,nl,l),a(s,vs,l),a(s,ie,l),d(Xs,s,l),a(s,re,l),d(Bs,s,l),a(s,ce,l),a(s,Ws,l),a(s,oe,l),a(s,zs,l),a(s,ye,l),d(Ss,s,l),a(s,ue,l),Ls[N].m(s,l),a(s,al,l),d(B,s,l),a(s,je,l),k&&k.m(s,l),a(s,pl,l),a(s,Ml,l),me=!0},p(s,[l]){const Tt={};l&1&&(Tt.fw=s[0]),b.$set(Tt);let de=h;h=Mt(s),h!==de&&(Ks(),y(Hs[de],1,1,()=>{Hs[de]=null}),Ps(),_=Hs[h],_||(_=Hs[h]=pt[h](s),_.c()),o(_,1),_.m(Os.parentNode,Os));let Te=$;$=rt(s),$!==Te&&(Ks(),y(Ds[Te],1,1,()=>{Ds[Te]=null}),Ps(),x=Ds[$],x||(x=Ds[$]=it[$](s),x.c()),o(x,1),x.m(sl.parentNode,sl));let fe=g;g=ot(s),g!==fe&&(Ks(),y(Ys[fe],1,1,()=>{Ys[fe]=null}),Ps(),I=Ys[g],I||(I=Ys[g]=ct[g](s),I.c()),o(I,1),I.m(ll.parentNode,ll));const ft={};l&2&&(ft.$$scope={dirty:l,ctx:s}),v.$set(ft);let he=V;V=ut(s),V!==he&&(Ks(),y(Fs[he],1,1,()=>{Fs[he]=null}),Ps(),R=Fs[V],R||(R=Fs[V]=yt[V](s),R.c()),o(R,1),R.m(el.parentNode,el));const ht={};l&2&&(ht.$$scope={dirty:l,ctx:s}),X.$set(ht),Je!==(Je=jt(s))&&(G.d(1),G=Je(s),G&&(G.c(),G.m(tl.parentNode,tl)));let be=Q;Q=Jt(s),Q!==be&&(Ks(),y(qs[be],1,1,()=>{qs[be]=null}),Ps(),A=qs[Q],A||(A=qs[Q]=mt[Q](s),A.c()),o(A,1),A.m(nl.parentNode,nl));let we=N;N=dt(s),N!==we&&(Ks(),y(Ls[we],1,1,()=>{Ls[we]=null}),Ps(),Z=Ls[N],Z||(Z=Ls[N]=Ut[N](s),Z.c()),o(Z,1),Z.m(al.parentNode,al));const bt={};l&2&&(bt.$$scope={dirty:l,ctx:s}),B.$set(bt),s[0]==="tf"?k?l&1&&o(k,1):(k=kt(),k.c(),o(k,1),k.m(pl.parentNode,pl)):k&&(Ks(),y(k,1,1,()=>{k=null}),Ps())},i(s){me||(o(b.$$.fragment,s),o(C.$$.fragment,s),o(_),o(x),o(S.$$.fragment,s),o(I),o(Y.$$.fragment,s),o(F.$$.fragment,s),o(K.$$.fragment,s),o(O.$$.fragment,s),o(ls.$$.fragment,s),o(es.$$.fragment,s),o(v.$$.fragment,s),o(ns.$$.fragment,s),o(R),o(ps.$$.fragment,s),o(is.$$.fragment,s),o(rs.$$.fragment,s),o(X.$$.fragment,s),o(ys.$$.fragment,s),o(js.$$.fragment,s),o(Js.$$.fragment,s),o(ws.$$.fragment,s),o(_s.$$.fragment,s),o(Is.$$.fragment,s),o(Rs.$$.fragment,s),o(Zs.$$.fragment,s),o(Es.$$.fragment,s),o(A),o(Xs.$$.fragment,s),o(Bs.$$.fragment,s),o(Ss.$$.fragment,s),o(Z),o(B.$$.fragment,s),o(k),me=!0)},o(s){y(b.$$.fragment,s),y(C.$$.fragment,s),y(_),y(x),y(S.$$.fragment,s),y(I),y(Y.$$.fragment,s),y(F.$$.fragment,s),y(K.$$.fragment,s),y(O.$$.fragment,s),y(ls.$$.fragment,s),y(es.$$.fragment,s),y(v.$$.fragment,s),y(ns.$$.fragment,s),y(R),y(ps.$$.fragment,s),y(is.$$.fragment,s),y(rs.$$.fragment,s),y(X.$$.fragment,s),y(ys.$$.fragment,s),y(js.$$.fragment,s),y(Js.$$.fragment,s),y(ws.$$.fragment,s),y(_s.$$.fragment,s),y(Is.$$.fragment,s),y(Rs.$$.fragment,s),y(Zs.$$.fragment,s),y(Es.$$.fragment,s),y(A),y(Xs.$$.fragment,s),y(Bs.$$.fragment,s),y(Ss.$$.fragment,s),y(Z),y(B.$$.fragment,s),y(k),me=!1},d(s){s&&(n(p),n(t),n(r),n(c),n(E),n(Os),n(sl),n(W),n(rl),n(z),n(cl),n(ol),n(ll),n(H),n(yl),n(D),n(ul),n(jl),n(ml),n(q),n(Jl),n(L),n(Ul),n(P),n(dl),n(Tl),n(fl),n(ss),n(hl),n(bl),n(wl),n(ts),n(Cl),n(kl),n(_l),n(el),n(as),n($l),n(xl),n(Ms),n(gl),n(Il),n(Vl),n(cs),n(Rl),n(Ql),n(os),n(Al),n(Nl),n(us),n(Zl),n(El),n(ms),n(Gl),n(vl),n(Us),n(Xl),n(ds),n(Bl),n(Ts),n(Wl),n(fs),n(zl),n(hs),n(Sl),n(bs),n(Hl),n(Dl),n(Cs),n(Yl),n(ks),n(Fl),n(ql),n($s),n(Ll),n(xs),n(Pl),n(gs),n(Kl),n(Ol),n(Vs),n(se),n(le),n(Qs),n(ee),n(As),n(te),n(Ns),n(ne),n(ae),n(pe),n(tl),n(Gs),n(Me),n(nl),n(vs),n(ie),n(re),n(ce),n(Ws),n(oe),n(zs),n(ye),n(ue),n(al),n(je),n(pl),n(Ml)),n(e),T(b,s),T(C,s),Hs[h].d(s),Ds[$].d(s),T(S,s),Ys[g].d(s),T(Y,s),T(F,s),T(K,s),T(O,s),T(ls,s),T(es,s),T(v,s),T(ns,s),Fs[V].d(s),T(ps,s),T(is,s),T(rs,s),T(X,s),T(ys,s),T(js,s),T(Js,s),T(ws,s),T(_s,s),T(Is,s),T(Rs,s),T(Zs,s),T(Es,s),G.d(s),qs[Q].d(s),T(Xs,s),T(Bs,s),T(Ss,s),Ls[N].d(s),T(B,s),k&&k.d(s)}}}const Kt='{"title":"Предобработка данных","local":"предобработка-данных","sections":[{"title":"Загрузка датасета с Hub","local":"загрузка-датасета-с-hub","sections":[],"depth":3},{"title":"Предобработка датасета","local":"предобработка-датасета","sections":[],"depth":3},{"title":"Dynamic padding","local":"dynamic-padding","sections":[],"depth":3}],"depth":1}';function Ot(f,e,p){let t="pt";return xt(()=>{const r=new URLSearchParams(window.location.search);p(0,t=r.get("fw")||"pt")}),[t]}class rn extends gt{constructor(e){super(),It(this,e,Ot,Pt,$t,{})}}export{rn as component};
