import{s as S,n as U,o as k}from"../chunks/scheduler.9bc65507.js";import{S as D,i as j,g as o,s as r,r as O,A as q,h as i,f as l,c as s,j as $,u as z,x as g,k as G,y as I,a,v as K,d as N,t as W,w as F}from"../chunks/index.707bf1b6.js";import{H as J}from"../chunks/Heading.342b1fa6.js";function Q(M){let n,d,v,y,p,_,f,C="大規模なトランスフォーマー、例えばBERTの内部動作を調査する研究領域が急成長しています（これを「BERTology」とも呼びます）。この分野の良い例は以下です：",b,m,R=`<li>BERT Rediscovers the Classical NLP Pipeline by Ian Tenney, Dipanjan Das, Ellie Pavlick:
<a href="https://arxiv.org/abs/1905.05950" rel="nofollow">論文リンク</a></li> <li>Are Sixteen Heads Really Better than One? by Paul Michel, Omer Levy, Graham Neubig: <a href="https://arxiv.org/abs/1905.10650" rel="nofollow">論文リンク</a></li> <li>What Does BERT Look At? An Analysis of BERT’s Attention by Kevin Clark, Urvashi Khandelwal, Omer Levy, Christopher D. Manning: <a href="https://arxiv.org/abs/1906.04341" rel="nofollow">論文リンク</a></li> <li>CAT-probing: A Metric-based Approach to Interpret How Pre-trained Models for Programming Language Attend Code Structure: <a href="https://arxiv.org/abs/2210.04633" rel="nofollow">論文リンク</a></li>`,P,h,H='この新しい分野の発展を支援するために、BERT/GPT/GPT-2モデルにいくつかの追加機能を組み込み、人々が内部表現にアクセスできるようにしました。これらの機能は、主にPaul Michel氏の優れた研究（<a href="https://arxiv.org/abs/1905.10650" rel="nofollow">論文リンク</a>）に基づいています。具体的には、以下の機能が含まれています：',x,u,A='<li>BERT/GPT/GPT-2のすべての隠れ状態にアクセスすることができます。</li> <li>BERT/GPT/GPT-2の各ヘッドの注意重みにアクセスできます。</li> <li>ヘッドの出力値と勾配を取得し、ヘッドの重要性スコアを計算し、<a href="https://arxiv.org/abs/1905.10650" rel="nofollow">論文リンク</a>で説明されているようにヘッドを削減できます。</li>',w,c,B='これらの機能を理解し、使用するのを支援するために、特定のサンプルスクリプト「<a href="https://github.com/huggingface/transformers/tree/main/examples/research_projects/bertology/run_bertology.py" rel="nofollow">bertology.py</a>」を追加しました。このスクリプトは、GLUEで事前トレーニングされたモデルから情報を抽出し、ヘッドを削減する役割を果たします。',L,T,E;return p=new J({props:{title:"BERTology",local:"bertology",headingTag:"h1"}}),{c(){n=o("meta"),d=r(),v=o("p"),y=r(),O(p.$$.fragment),_=r(),f=o("p"),f.textContent=C,b=r(),m=o("ul"),m.innerHTML=R,P=r(),h=o("p"),h.innerHTML=H,x=r(),u=o("ul"),u.innerHTML=A,w=r(),c=o("p"),c.innerHTML=B,L=r(),T=o("p"),this.h()},l(e){const t=q("svelte-u9bgzb",document.head);n=i(t,"META",{name:!0,content:!0}),t.forEach(l),d=s(e),v=i(e,"P",{}),$(v).forEach(l),y=s(e),z(p.$$.fragment,e),_=s(e),f=i(e,"P",{"data-svelte-h":!0}),g(f)!=="svelte-w8tzfa"&&(f.textContent=C),b=s(e),m=i(e,"UL",{"data-svelte-h":!0}),g(m)!=="svelte-h5g06e"&&(m.innerHTML=R),P=s(e),h=i(e,"P",{"data-svelte-h":!0}),g(h)!=="svelte-lye0ud"&&(h.innerHTML=H),x=s(e),u=i(e,"UL",{"data-svelte-h":!0}),g(u)!=="svelte-eq1b1v"&&(u.innerHTML=A),w=s(e),c=i(e,"P",{"data-svelte-h":!0}),g(c)!=="svelte-1w3bvc9"&&(c.innerHTML=B),L=s(e),T=i(e,"P",{}),$(T).forEach(l),this.h()},h(){G(n,"name","hf:doc:metadata"),G(n,"content",V)},m(e,t){I(document.head,n),a(e,d,t),a(e,v,t),a(e,y,t),K(p,e,t),a(e,_,t),a(e,f,t),a(e,b,t),a(e,m,t),a(e,P,t),a(e,h,t),a(e,x,t),a(e,u,t),a(e,w,t),a(e,c,t),a(e,L,t),a(e,T,t),E=!0},p:U,i(e){E||(N(p.$$.fragment,e),E=!0)},o(e){W(p.$$.fragment,e),E=!1},d(e){e&&(l(d),l(v),l(y),l(_),l(f),l(b),l(m),l(P),l(h),l(x),l(u),l(w),l(c),l(L),l(T)),l(n),F(p,e)}}}const V='{"title":"BERTology","local":"bertology","sections":[],"depth":1}';function X(M){return k(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class te extends D{constructor(n){super(),j(this,n,X,Q,S,{})}}export{te as component};
