import{s as E,n as A,o as P}from"../chunks/scheduler.37c15a92.js";import{S as X,i as Y,g as y,s as n,r as I,A as Z,h,f as a,c as l,j as z,u as B,x as C,k as H,y as G,a as t,v as $,d as _,t as Q,w as V}from"../chunks/index.2bf4358c.js";import{C as L}from"../chunks/CodeBlock.4f5fc1ad.js";import{C as K}from"../chunks/CourseFloatingBanner.15ba07e6.js";import{H as F}from"../chunks/Heading.8ada512a.js";function D(x){let o,g,M,b,r,U,i,j,p,W="Se sua intenção é usar um modelo pré-treinado ou uma versão ajustada em produção, esteja ciente de que, embora esses modelos sejam ferramentas poderosas, eles vêm com limitações. A maior delas é que, para possibilitar o pré-treinamento em grandes quantidades de dados, os pesquisadores muitas vezes raspam todo o conteúdo que encontram, tirando o melhor e o pior do que está disponível na internet.",q,m,S="Para dar uma ilustração rápida, vamos voltar ao exemplo de um pipeline <code>fill-mask</code> com o modelo BERT:",J,u,w,c,N='Quando solicitado a preencher a palavra que falta nessas duas frases, o modelo dá apenas uma resposta livre de gênero (garçom/garçonete). As outras são ocupações de trabalho geralmente associadas a um gênero específico - e sim, prostituta acabou entre as 5 principais possibilidades que o modelo associa a “mulher” e “trabalho”. Isso acontece mesmo que o BERT seja um dos raros modelos de Transformer não construídos por meio de coleta de dados de toda a Internet, mas usando dados aparentemente neutros (ele é treinado com datasets da <a href="https://huggingface.co/datasets/wikipedia" rel="nofollow">Wikipedia em inglês</a> e <a href="https://huggingface.co/datasets/bookcorpus" rel="nofollow">BookCorpus</a>).',T,d,R="Quando você usa essas ferramentas, você precisa ter em mente que o modelo original que você está usando pode facilmente gerar conteúdo sexista, racista ou homofóbico. O ajuste fino do modelo em seus dados não fará com que esse viés intrínseco desapareça.",k,f,v;return r=new F({props:{title:"Vieses e limitações",local:"vieses-e-limitações",headingTag:"h1"}}),i=new K({props:{chapter:1,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"[https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/pt/chapter1/section8.ipynb](https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/pt/chapter1/section8.ipynb)"},{label:"Aws Studio",value:"[https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/pt/chapter1/section8.ipynb](https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/pt/chapter1/section8.ipynb)"}]}}),u=new L({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBdW5tYXNrZXIlMjAlM0QlMjBwaXBlbGluZSglMjJmaWxsLW1hc2slMjIlMkMlMjBtb2RlbCUzRCUyMmJlcnQtYmFzZS11bmNhc2VkJTIyKSUwQXJlc3VsdCUyMCUzRCUyMHVubWFza2VyKCUyMlRoaXMlMjBtYW4lMjB3b3JrcyUyMGFzJTIwYSUyMCU1Qk1BU0slNUQuJTIyKSUwQXByaW50KCU1QnIlNUIlMjJ0b2tlbl9zdHIlMjIlNUQlMjBmb3IlMjByJTIwaW4lMjByZXN1bHQlNUQpJTBBJTBBcmVzdWx0JTIwJTNEJTIwdW5tYXNrZXIoJTIyVGhpcyUyMHdvbWFuJTIwd29ya3MlMjBhcyUyMGElMjAlNUJNQVNLJTVELiUyMiklMEFwcmludCglNUJyJTVCJTIydG9rZW5fc3RyJTIyJTVEJTIwZm9yJTIwciUyMGluJTIwcmVzdWx0JTVEKSUwQSUwQSU1QiUyMmxhd3llciUyMiUyQyUyMCUyMmNhcnBlbnRlciUyMiUyQyUyMCUyMmRvY3RvciUyMiUyQyUyMCUyMndhaXRlciUyMiUyQyUyMCUyMm1lY2hhbmljJTIyJTVEJTBBJTVCJTIybnVyc2UlMjIlMkMlMjAlMjJ3YWl0cmVzcyUyMiUyQyUyMCUyMnRlYWNoZXIlMjIlMkMlMjAlMjJtYWlkJTIyJTJDJTIwJTIycHJvc3RpdHV0ZSUyMiU1RA==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

unmasker = pipeline(<span class="hljs-string">&quot;fill-mask&quot;</span>, model=<span class="hljs-string">&quot;bert-base-uncased&quot;</span>)
result = unmasker(<span class="hljs-string">&quot;This man works as a [MASK].&quot;</span>)
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])

result = unmasker(<span class="hljs-string">&quot;This woman works as a [MASK].&quot;</span>)
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])

[<span class="hljs-string">&quot;lawyer&quot;</span>, <span class="hljs-string">&quot;carpenter&quot;</span>, <span class="hljs-string">&quot;doctor&quot;</span>, <span class="hljs-string">&quot;waiter&quot;</span>, <span class="hljs-string">&quot;mechanic&quot;</span>]
[<span class="hljs-string">&quot;nurse&quot;</span>, <span class="hljs-string">&quot;waitress&quot;</span>, <span class="hljs-string">&quot;teacher&quot;</span>, <span class="hljs-string">&quot;maid&quot;</span>, <span class="hljs-string">&quot;prostitute&quot;</span>]`,wrap:!1}}),{c(){o=y("meta"),g=n(),M=y("p"),b=n(),I(r.$$.fragment),U=n(),I(i.$$.fragment),j=n(),p=y("p"),p.textContent=W,q=n(),m=y("p"),m.innerHTML=S,J=n(),I(u.$$.fragment),w=n(),c=y("p"),c.innerHTML=N,T=n(),d=y("p"),d.textContent=R,k=n(),f=y("p"),this.h()},l(s){const e=Z("svelte-u9bgzb",document.head);o=h(e,"META",{name:!0,content:!0}),e.forEach(a),g=l(s),M=h(s,"P",{}),z(M).forEach(a),b=l(s),B(r.$$.fragment,s),U=l(s),B(i.$$.fragment,s),j=l(s),p=h(s,"P",{"data-svelte-h":!0}),C(p)!=="svelte-16y7c0b"&&(p.textContent=W),q=l(s),m=h(s,"P",{"data-svelte-h":!0}),C(m)!=="svelte-my30tl"&&(m.innerHTML=S),J=l(s),B(u.$$.fragment,s),w=l(s),c=h(s,"P",{"data-svelte-h":!0}),C(c)!=="svelte-15xahqt"&&(c.innerHTML=N),T=l(s),d=h(s,"P",{"data-svelte-h":!0}),C(d)!=="svelte-1m5nzel"&&(d.textContent=R),k=l(s),f=h(s,"P",{}),z(f).forEach(a),this.h()},h(){H(o,"name","hf:doc:metadata"),H(o,"content",O)},m(s,e){G(document.head,o),t(s,g,e),t(s,M,e),t(s,b,e),$(r,s,e),t(s,U,e),$(i,s,e),t(s,j,e),t(s,p,e),t(s,q,e),t(s,m,e),t(s,J,e),$(u,s,e),t(s,w,e),t(s,c,e),t(s,T,e),t(s,d,e),t(s,k,e),t(s,f,e),v=!0},p:A,i(s){v||(_(r.$$.fragment,s),_(i.$$.fragment,s),_(u.$$.fragment,s),v=!0)},o(s){Q(r.$$.fragment,s),Q(i.$$.fragment,s),Q(u.$$.fragment,s),v=!1},d(s){s&&(a(g),a(M),a(b),a(U),a(j),a(p),a(q),a(m),a(J),a(w),a(c),a(T),a(d),a(k),a(f)),a(o),V(r,s),V(i,s),V(u,s)}}}const O='{"title":"Vieses e limitações","local":"vieses-e-limitações","sections":[],"depth":1}';function ss(x){return P(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ls extends X{constructor(o){super(),Y(this,o,ss,D,E,{})}}export{ls as component};
