import{s as J,n as z,o as F}from"../chunks/scheduler.889ebb13.js";import{S as Q,i as V,g as r,s as i,u as W,A as X,h as o,f as e,c as h,j as E,v as Y,y as T,k as _,o as P,a as l,w as Z,d as tt,t as et,x as at}from"../chunks/index.8980e686.js";import{I as lt}from"../chunks/IconCopyLink.357761cd.js";function rt(A){let n,w,y,C,s,p,b,f,j,x,S="BERTology",L,u,N=`BERT와 같은 대규모 트랜스포머의 내부 동작을 조사하는 연구 분야가 점점 더 중요해지고 있습니다.
혹자는 “BERTology”라 칭하기도 합니다. 이 분야의 좋은 예시는 다음과 같습니다:`,M,c,U=`<li>BERT는 고전적인 NLP 파이프라인의 재발견 - Ian Tenney, Dipanjan Das, Ellie Pavlick:
<a href="https://arxiv.org/abs/1905.05950" rel="nofollow">https://arxiv.org/abs/1905.05950</a></li> <li>16개의 헤드가 정말로 1개보다 나은가? - Paul Michel, Omer Levy, Graham Neubig:
<a href="https://arxiv.org/abs/1905.10650" rel="nofollow">https://arxiv.org/abs/1905.10650</a></li> <li>BERT는 무엇을 보는가? BERT의 어텐션 분석 - Kevin Clark, Urvashi Khandelwal, Omer Levy, Christopher D. Manning:
<a href="https://arxiv.org/abs/1906.04341" rel="nofollow">https://arxiv.org/abs/1906.04341</a></li> <li>CAT-probing: 프로그래밍 언어에 대해 사전훈련된 모델이 어떻게 코드 구조를 보는지 알아보기 위한 메트릭 기반 접근 방법:
<a href="https://arxiv.org/abs/2210.04633" rel="nofollow">https://arxiv.org/abs/2210.04633</a></li>`,R,v,q=`우리는 이 새로운 연구 분야의 발전을 돕기 위해, BERT/GPT/GPT-2 모델에 내부 표현을 살펴볼 수 있는 몇 가지 기능을 추가했습니다.
이 기능들은 주로 Paul Michel의 훌륭한 작업을 참고하여 개발되었습니다
(<a href="https://arxiv.org/abs/1905.10650" rel="nofollow">https://arxiv.org/abs/1905.10650</a>):`,B,m,D='<li>BERT/GPT/GPT-2의 모든 은닉 상태에 접근하기,</li> <li>BERT/GPT/GPT-2의 각 헤드의 모든 어텐션 가중치에 접근하기,</li> <li>헤드의 출력 값과 그래디언트를 검색하여 헤드 중요도 점수를 계산하고 <a href="https://arxiv.org/abs/1905.10650%EC%97%90%EC%84%9C" rel="nofollow">https://arxiv.org/abs/1905.10650에서</a> 설명된 대로 헤드를 제거하는 기능을 제공합니다.</li>',$,g,I='이러한 기능들을 이해하고 직접 사용해볼 수 있도록 <a href="https://github.com/huggingface/transformers/tree/main/examples/research_projects/bertology/run_bertology.py" rel="nofollow">bertology.py</a> 예제 스크립트를 추가했습니다. 이 예제 스크립트에서는 GLUE에 대해 사전훈련된 모델에서 정보를 추출하고 모델을 가지치기(prune)해봅니다.',k,d,H;return f=new lt({}),{c(){n=r("meta"),w=i(),y=r("p"),C=i(),s=r("h1"),p=r("a"),b=r("span"),W(f.$$.fragment),j=i(),x=r("span"),x.textContent=S,L=i(),u=r("p"),u.textContent=N,M=i(),c=r("ul"),c.innerHTML=U,R=i(),v=r("p"),v.innerHTML=q,B=i(),m=r("ul"),m.innerHTML=D,$=i(),g=r("p"),g.innerHTML=I,k=i(),d=r("p"),this.h()},l(t){const a=X("svelte-1phssyn",document.head);n=o(a,"META",{name:!0,content:!0}),a.forEach(e),w=h(t),y=o(t,"P",{}),E(y).forEach(e),C=h(t),s=o(t,"H1",{class:!0});var G=E(s);p=o(G,"A",{id:!0,class:!0,href:!0});var O=E(p);b=o(O,"SPAN",{});var K=E(b);Y(f.$$.fragment,K),K.forEach(e),O.forEach(e),j=h(G),x=o(G,"SPAN",{"data-svelte-h":!0}),T(x)!=="svelte-1pr1yoi"&&(x.textContent=S),G.forEach(e),L=h(t),u=o(t,"P",{"data-svelte-h":!0}),T(u)!=="svelte-1j2i4ka"&&(u.textContent=N),M=h(t),c=o(t,"UL",{"data-svelte-h":!0}),T(c)!=="svelte-7yh4qj"&&(c.innerHTML=U),R=h(t),v=o(t,"P",{"data-svelte-h":!0}),T(v)!=="svelte-qnfkt5"&&(v.innerHTML=q),B=h(t),m=o(t,"UL",{"data-svelte-h":!0}),T(m)!=="svelte-1btj3hc"&&(m.innerHTML=D),$=h(t),g=o(t,"P",{"data-svelte-h":!0}),T(g)!=="svelte-5ng9ah"&&(g.innerHTML=I),k=h(t),d=o(t,"P",{}),E(d).forEach(e),this.h()},h(){_(n,"name","hf:doc:metadata"),_(n,"content",JSON.stringify(ot)),_(p,"id","bertology"),_(p,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),_(p,"href","#bertology"),_(s,"class","relative group")},m(t,a){P(document.head,n),l(t,w,a),l(t,y,a),l(t,C,a),l(t,s,a),P(s,p),P(p,b),Z(f,b,null),P(s,j),P(s,x),l(t,L,a),l(t,u,a),l(t,M,a),l(t,c,a),l(t,R,a),l(t,v,a),l(t,B,a),l(t,m,a),l(t,$,a),l(t,g,a),l(t,k,a),l(t,d,a),H=!0},p:z,i(t){H||(tt(f.$$.fragment,t),H=!0)},o(t){et(f.$$.fragment,t),H=!1},d(t){t&&(e(w),e(y),e(C),e(s),e(L),e(u),e(M),e(c),e(R),e(v),e(B),e(m),e($),e(g),e(k),e(d)),e(n),at(f)}}}const ot={local:"bertology",title:"BERTology"};function nt(A){return F(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class pt extends Q{constructor(n){super(),V(this,n,nt,rt,J,{})}}export{pt as component};
