import{s as ie,o as Me,n as pe}from"../chunks/scheduler.9bc65507.js";import{S as ce,i as oe,g as p,s as a,r as o,A as me,h as i,f as l,c as n,j as ne,u as m,x as M,k as _,y as re,a as e,v as r,d,t as h,w as j,m as de,n as he}from"../chunks/index.707bf1b6.js";import{T as cl}from"../chunks/Tip.c2ecdbf4.js";import{C as J}from"../chunks/CodeBlock.54a9f38d.js";import{D as je}from"../chunks/DocNotebookDropdown.3e6b3817.js";import{H as u}from"../chunks/Heading.342b1fa6.js";function ye(T){let c;return{c(){c=de("量子化されていないバージョンのモデル チェックポイントを使用して次の例を実行するには、少なくとも 20GB の GPU メモリが必要です。")},l(g){c=he(g,"量子化されていないバージョンのモデル チェックポイントを使用して次の例を実行するには、少なくとも 20GB の GPU メモリが必要です。")},m(g,y){e(g,c,y)},d(g){g&&l(c)}}}function ge(T){let c,g=`増加時に発生するエラーを避けるために、<code>generate</code>の呼び出しに<code>bad_words_ids</code>を含めることをお勧めします。
<code>max_new_tokens</code>: モデルは、新しい <code>&lt;image&gt;</code> または <code>&lt;fake_token_around_image&gt;</code> トークンを生成する必要があります。
モデルによって画像が生成されていません。
このガイドのようにオンザフライで設定することも、<a href="../generation_strategies">テキスト生成戦略</a> ガイドで説明されているように <code>GenerationConfig</code> に保存することもできます。`;return{c(){c=p("p"),c.innerHTML=g},l(y){c=i(y,"P",{"data-svelte-h":!0}),M(c)!=="svelte-9rnfb5"&&(c.innerHTML=g)},m(y,f){e(y,c,f)},p:pe,d(y){y&&l(c)}}}function Je(T){let c,g=`このような長い出力の場合、テキスト生成戦略を微調整すると大きなメリットが得られます。これは役に立ちます
生成される出力の品質が大幅に向上します。 <a href="../generation_strategies">テキスト生成戦略</a> を確認してください。
詳しく知ることができ。`;return{c(){c=p("p"),c.innerHTML=g},l(y){c=i(y,"P",{"data-svelte-h":!0}),M(c)!=="svelte-4b52t2"&&(c.innerHTML=g)},m(y,f){e(y,c,f)},p:pe,d(y){y&&l(c)}}}function ue(T){let c,g,y,f,N,$s,x,Fs,G,ol=`個別のタスクは特殊なモデルを微調整することで対処できますが、別のアプローチも可能です。
最近登場して人気を博しているのは、微調整を行わずにさまざまなタスクに大規模なモデルを使用することです。
たとえば、大規模な言語モデルは、要約、翻訳、分類などの NLP タスクを処理できます。
このアプローチは、テキストなどの単一のモダリティに限定されなくなりました。このガイドでは、次のような方法を説明します。
IDEFICS と呼ばれる大規模なマルチモーダル モデルを使用して、画像とテキストのタスクを解決します。`,Ys,v,ml=`<a href="../model_doc/idefics">IDEFICS</a> は、<a href="https://huggingface.co/papers/2204.14198" rel="nofollow">Flamingo</a> に基づくオープンアクセスのビジョンおよび言語モデルです。
DeepMind によって最初に開発された最先端の視覚言語モデル。モデルは任意の画像シーケンスを受け入れます
テキストを入力し、出力として一貫したテキストを生成します。画像に関する質問に答えたり、視覚的なコンテンツについて説明したり、
複数のイメージに基づいたストーリーを作成するなど。 IDEFICS には 2 つのバリエーションがあります - <a href="https://huggingface.co/HuggingFaceM4/idefics-80b" rel="nofollow">800 億パラメータ</a>
および <a href="https://huggingface.co/HuggingFaceM4/idefics-9b" rel="nofollow">90 億のパラメータ</a>、どちらも 🤗 Hub で入手できます。各バリエーションについて、細かく調整された指示も見つけることができます。
会話のユースケースに適応したモデルのバージョン。`,As,Q,rl=`このモデルは非常に多用途で、幅広い画像タスクやマルチモーダル タスクに使用できます。しかし、
大規模なモデルであるということは、大量の計算リソースとインフラストラクチャが必要であることを意味します。それはあなた次第です
このアプローチは、個別のタスクごとに特化したモデルを微調整するよりも、ユースケースに適しています。`,Ss,z,dl="このガイドでは、次の方法を学習します。",qs,B,hl='<li><a href="#loading-the-model">IDEFICS をロード</a> および <a href="#loading-the-quantized-version-of-the-model">モデルの量子化バージョンをロード</a></li> <li>IDEFICS を次の目的で使用します。<ul><li><a href="#image-captioning">画像キャプション</a></li> <li><a href="#prompted-image-captioning">プロンプト画像キャプション</a></li> <li><a href="#few-shot-prompting">Few-shot プロンプト</a></li> <li><a href="#visual-question-answering">ビジュアル質問回答</a></li> <li><a href="#image-classification">画像分類</a></li> <li><a href="#image-guided-text-generation">画像ガイド付きテキスト生成</a></li></ul></li> <li><a href="#running-inference-in-batch-mode">バッチモードで推論を実行する</a></li> <li><a href="#idefics-instruct-for-conversational-use">会話用に IDEFICS 命令を実行</a></li>',Ds,V,jl="始める前に、必要なライブラリがすべてインストールされていることを確認してください。",Ls,H,Ps,U,Os,X,Ks,E,yl="まずはモデルの 90 億個のパラメーターのチェックポイントをロードしましょう。",st,$,tt,F,gl=`他の Transformers モデルと同様に、プロセッサとモデル自体をチェックポイントからロードする必要があります。
IDEFICS プロセッサは、<code>LlamaTokenizer</code> と IDEFICS 画像プロセッサを単一のプロセッサにラップして処理します。
モデルのテキストと画像の入力を準備します。`,lt,Y,et,A,Jl=`<code>device_map</code>を<code>auto</code>に設定すると、モデルの重みを最も最適化された状態でロードおよび保存する方法が自動的に決定されます。
既存のデバイスを考慮した方法。`,at,S,nt,q,ul=`ハイメモリ GPU の可用性が問題となる場合は、モデルの量子化されたバージョンをロードできます。モデルと
プロセッサを 4 ビット精度で使用する場合、<code>BitsAndBytesConfig</code>を<code>from_pretrained</code>メソッドに渡すと、モデルが圧縮されます。
ロード中にその場で。`,pt,D,it,L,Tl="提案された方法のいずれかでモデルをロードしたので、IDEFICS を使用できるタスクの探索に進みましょう。",Mt,P,ct,O,fl=`画像のキャプション付けは、特定の画像のキャプションを予測するタスクです。一般的な用途は視覚障害者を支援することです
人々はさまざまな状況をナビゲートします。たとえば、オンラインで画像コンテンツを探索します。`,ot,K,Ul="タスクを説明するには、キャプションを付ける画像を取得します。例:",mt,w,wl='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/idefics-im-captioning.jpg" alt="Image of a puppy in a flower bed"/>',rt,ss,bl='写真提供：<a href="https://unsplash.com/@hendoo" rel="nofollow">Hendo Wang</a>',dt,ts,Zl=`IDEFICS はテキストと画像のプロンプトを受け入れます。ただし、画像にキャプションを付けるには、テキスト プロンプトをユーザーに提供する必要はありません。
モデル、前処理された入力画像のみ。テキスト プロンプトがない場合、モデルはテキストの生成を開始します。
BOS (Beginning-of-sequence) トークンによりキャプションが作成されます。`,ht,ls,Il="モデルへの画像入力として、画像オブジェクト (<code>PIL.Image</code>) または画像を取得できる URL のいずれかを使用できます。",jt,es,yt,b,gt,as,Jt,ns,Cl=`テキスト プロンプトを提供することで画像キャプションを拡張でき、モデルは画像を指定して続行します。持っていきましょう
別の図で説明します。`,ut,Z,Rl='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/idefics-prompted-im-captioning.jpg" alt="Image of the Eiffel Tower at night"/>',Tt,ps,kl='写真提供：<a href="https://unsplash.com/@dnevozhai" rel="nofollow">Denys Nevozhai</a>。',ft,is,Wl="テキストおよび画像のプロンプトを単一のリストとしてモデルのプロセッサに渡し、適切な入力を作成できます。",Ut,Ms,wt,cs,bt,os,_l=`IDEFICS はゼロショットで優れた結果を示しますが、タスクによっては特定の形式のキャプションが必要になる場合や、キャプションが付属する場合があります。
タスクの複雑さを増大させるその他の制限または要件。少数のショットのプロンプトを使用して、コンテキスト内の学習を有効にすることができます。
プロンプトに例を指定することで、指定された例の形式を模倣した結果を生成するようにモデルを操作できます。`,Zt,ms,Nl=`前のエッフェル塔の画像をモデルの例として使用し、モデルにデモンストレーションするプロンプトを作成してみましょう。
画像内のオブジェクトが何であるかを知ることに加えて、それに関する興味深い情報も取得したいと考えています。
次に、自由の女神の画像に対して同じ応答形式を取得できるかどうかを見てみましょう。`,It,I,xl='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/idefics-few-shot.jpg" alt="Image of the Statue of Liberty"/>',Ct,rs,Gl='写真提供：<a href="https://unsplash.com/@jmayobres" rel="nofollow">Juan Mayobre</a>。',Rt,ds,kt,hs,vl=`モデルは 1 つの例 (つまり、1 ショット) だけからタスクの実行方法を学習していることに注目してください。より複雑なタスクの場合は、
より多くの例 (3 ショット、5 ショットなど) を自由に試してみてください。`,Wt,js,_t,ys,Ql=`Visual Question Answering (VQA) は、画像に基づいて自由形式の質問に答えるタスクです。画像に似ている
キャプションは、アクセシビリティ アプリケーションだけでなく、教育 (視覚資料についての推論) にも使用できます。
サービス（画像を基にした商品に関する質問）、画像検索など。`,Nt,gs,zl="このタスク用に新しい画像を取得しましょう。",xt,C,Bl='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/idefics-vqa.jpg" alt="Image of a couple having a picnic"/>',Gt,Js,Vl='写真提供  <a href="https://unsplash.com/@jarritos" rel="nofollow">Jarritos Mexican Soda</a>.',vt,us,Hl="適切な指示をプロンプトすることで、モデルを画像キャプションから視覚的な質問への応答に導くことができます。",Qt,Ts,zt,fs,Bt,Us,Xl=`IDEFICS は、次のデータを含むデータについて明示的にトレーニングしなくても、画像をさまざまなカテゴリに分類できます。
これらの特定のカテゴリからのラベル付きの例。カテゴリのリストを指定し、その画像とテキストを使用して理解する
機能を利用すると、モデルは画像がどのカテゴリに属する​​可能性が高いかを推測できます。`,Vt,ws,El="たとえば、次のような野菜スタンドの画像があるとします。",Ht,R,$l='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/idefics-classification.jpg" alt="Image of a vegetable stand"/>',Xt,bs,Fl='写真提供：<a href="https://unsplash.com/@peterwendt" rel="nofollow">Peter Wendt</a>。',Et,Zs,Yl="画像を次のいずれかのカテゴリに分類するようにモデルに指示できます。",$t,Is,Ft,Cs,Al="上の例では、画像を 1 つのカテゴリに分類するようにモデルに指示していますが、ランク分類を行うようにモデルに指示することもできます。",Yt,Rs,At,ks,Sl=`よりクリエイティブなアプリケーションの場合は、画像ガイド付きテキスト生成を使用して、画像に基づいてテキストを生成できます。これは可能です
製品、広告、シーンの説明などを作成するのに役立ちます。`,St,Ws,ql="IDEFICS に、赤いドアの単純な画像に基づいてストーリーを書くように促してみましょう。",qt,k,Dl='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/idefics-story-generation.jpg" alt="Image of a red door with a pumpkin on the steps"/>',Dt,_s,Ll='写真提供：<a href="https://unsplash.com/@devonshiremedia" rel="nofollow">Craig Tidball</a>。',Lt,Ns,Pt,xs,Pl="IDEFICS は玄関先にあるカボチャに気づき、幽霊に関する不気味なハロウィーンの話をしたようです。",Ot,W,Kt,Gs,sl,vs,Ol=`これまでのすべてのセクションでは、IDEFICS を 1 つの例として説明しました。非常に似た方法で、推論を実行できます。
プロンプトのリストを渡すことにより、サンプルのバッチを取得します。`,tl,Qs,ll,zs,el,Bs,Kl=`会話型のユースケースの場合は、🤗 ハブでモデルの微調整された指示されたバージョンを見つけることができます。
<code>HuggingFaceM4/idefics-80b-instruct</code> および <code>HuggingFaceM4/idefics-9b-instruct</code>。`,al,Vs,se=`これらのチェックポイントは、教師ありモデルと命令モデルを組み合わせたそれぞれの基本モデルを微調整した結果です。
データセットを微調整することで、ダウンストリームのパフォーマンスを向上させながら、会話設定でモデルをより使いやすくします。`,nl,Hs,te="会話での使用とプロンプトは、基本モデルの使用と非常に似ています。",pl,Xs,il,Es,Ml;return N=new u({props:{title:"Image tasks with IDEFICS",local:"image-tasks-with-idefics",headingTag:"h1"}}),x=new je({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Mixed",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/idefics.ipynb"},{label:"PyTorch",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/idefics.ipynb"},{label:"TensorFlow",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/idefics.ipynb"},{label:"Mixed",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/idefics.ipynb"},{label:"PyTorch",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/idefics.ipynb"},{label:"TensorFlow",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/idefics.ipynb"}]}}),H=new J({props:{code:"cGlwJTIwaW5zdGFsbCUyMC1xJTIwYml0c2FuZGJ5dGVzJTIwc2VudGVuY2VwaWVjZSUyMGFjY2VsZXJhdGUlMjB0cmFuc2Zvcm1lcnM=",highlighted:"pip install -q bitsandbytes sentencepiece accelerate transformers",wrap:!1}}),U=new cl({props:{$$slots:{default:[ye]},$$scope:{ctx:T}}}),X=new u({props:{title:"Loading the model",local:"loading-the-model",headingTag:"h2"}}),$=new J({props:{code:"Y2hlY2twb2ludCUyMCUzRCUyMCUyMkh1Z2dpbmdGYWNlTTQlMkZpZGVmaWNzLTliJTIy",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>checkpoint = <span class="hljs-string">&quot;HuggingFaceM4/idefics-9b&quot;</span>',wrap:!1}}),Y=new J({props:{code:"aW1wb3J0JTIwdG9yY2glMEElMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwSWRlZmljc0ZvclZpc2lvblRleHQyVGV4dCUyQyUyMEF1dG9Qcm9jZXNzb3IlMEElMEFwcm9jZXNzb3IlMjAlM0QlMjBBdXRvUHJvY2Vzc29yLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQW1vZGVsJTIwJTNEJTIwSWRlZmljc0ZvclZpc2lvblRleHQyVGV4dC5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCUyQyUyMHRvcmNoX2R0eXBlJTNEdG9yY2guYmZsb2F0MTYlMkMlMjBkZXZpY2VfbWFwJTNEJTIyYXV0byUyMik=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> torch

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> IdeficsForVisionText2Text, AutoProcessor

<span class="hljs-meta">&gt;&gt;&gt; </span>processor = AutoProcessor.from_pretrained(checkpoint)

<span class="hljs-meta">&gt;&gt;&gt; </span>model = IdeficsForVisionText2Text.from_pretrained(checkpoint, torch_dtype=torch.bfloat16, device_map=<span class="hljs-string">&quot;auto&quot;</span>)`,wrap:!1}}),S=new u({props:{title:"Quantized model",local:"quantized-model",headingTag:"h3"}}),D=new J({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwSWRlZmljc0ZvclZpc2lvblRleHQyVGV4dCUyQyUyMEF1dG9Qcm9jZXNzb3IlMkMlMjBCaXRzQW5kQnl0ZXNDb25maWclMEElMEFxdWFudGl6YXRpb25fY29uZmlnJTIwJTNEJTIwQml0c0FuZEJ5dGVzQ29uZmlnKCUwQSUyMCUyMCUyMCUyMGxvYWRfaW5fNGJpdCUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBibmJfNGJpdF9jb21wdXRlX2R0eXBlJTNEdG9yY2guZmxvYXQxNiUyQyUwQSklMEElMEFwcm9jZXNzb3IlMjAlM0QlMjBBdXRvUHJvY2Vzc29yLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQW1vZGVsJTIwJTNEJTIwSWRlZmljc0ZvclZpc2lvblRleHQyVGV4dC5mcm9tX3ByZXRyYWluZWQoJTBBJTIwJTIwJTIwJTIwY2hlY2twb2ludCUyQyUwQSUyMCUyMCUyMCUyMHF1YW50aXphdGlvbl9jb25maWclM0RxdWFudGl6YXRpb25fY29uZmlnJTJDJTBBJTIwJTIwJTIwJTIwZGV2aWNlX21hcCUzRCUyMmF1dG8lMjIlMEEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> torch
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> IdeficsForVisionText2Text, AutoProcessor, BitsAndBytesConfig

<span class="hljs-meta">&gt;&gt;&gt; </span>quantization_config = BitsAndBytesConfig(
<span class="hljs-meta">... </span>    load_in_4bit=<span class="hljs-literal">True</span>,
<span class="hljs-meta">... </span>    bnb_4bit_compute_dtype=torch.float16,
<span class="hljs-meta">... </span>)

<span class="hljs-meta">&gt;&gt;&gt; </span>processor = AutoProcessor.from_pretrained(checkpoint)

<span class="hljs-meta">&gt;&gt;&gt; </span>model = IdeficsForVisionText2Text.from_pretrained(
<span class="hljs-meta">... </span>    checkpoint,
<span class="hljs-meta">... </span>    quantization_config=quantization_config,
<span class="hljs-meta">... </span>    device_map=<span class="hljs-string">&quot;auto&quot;</span>
<span class="hljs-meta">... </span>)`,wrap:!1}}),P=new u({props:{title:"Image captioning",local:"image-captioning",headingTag:"h2"}}),es=new J({props:{code:"cHJvbXB0JTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyaHR0cHMlM0ElMkYlMkZpbWFnZXMudW5zcGxhc2guY29tJTJGcGhvdG8tMTU4MzE2MDI0NzcxMS0yMTkxNzc2YjRiOTElM0ZpeGxpYiUzRHJiLTQuMC4zJTI2aXhpZCUzRE0zd3hNakEzZkRCOE1IeHdhRzkwYnkxd1lXZGxmSHg4ZkdWdWZEQjhmSHg4ZkElMjUzRCUyNTNEJTI2YXV0byUzRGZvcm1hdCUyNmZpdCUzRGNyb3AlMjZ3JTNEMzU0MiUyNnElM0Q4MCUyMiUyQyUwQSU1RCUwQSUwQWlucHV0cyUyMCUzRCUyMHByb2Nlc3Nvcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKS50byglMjJjdWRhJTIyKSUwQWJhZF93b3Jkc19pZHMlMjAlM0QlMjBwcm9jZXNzb3IudG9rZW5pemVyKCU1QiUyMiUzQ2ltYWdlJTNFJTIyJTJDJTIwJTIyJTNDZmFrZV90b2tlbl9hcm91bmRfaW1hZ2UlM0UlMjIlNUQlMkMlMjBhZGRfc3BlY2lhbF90b2tlbnMlM0RGYWxzZSkuaW5wdXRfaWRzJTBBJTBBZ2VuZXJhdGVkX2lkcyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqaW5wdXRzJTJDJTIwbWF4X25ld190b2tlbnMlM0QxMCUyQyUyMGJhZF93b3Jkc19pZHMlM0RiYWRfd29yZHNfaWRzKSUwQWdlbmVyYXRlZF90ZXh0JTIwJTNEJTIwcHJvY2Vzc29yLmJhdGNoX2RlY29kZShnZW5lcmF0ZWRfaWRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBcHJpbnQoZ2VuZXJhdGVkX3RleHQlNUIwJTVEKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prompt = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;https://images.unsplash.com/photo-1583160247711-2191776b4b91?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3542&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>]

<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompt, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(<span class="hljs-string">&quot;cuda&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, max_new_tokens=<span class="hljs-number">10</span>, bad_words_ids=bad_words_ids)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(generated_text[<span class="hljs-number">0</span>])
A puppy <span class="hljs-keyword">in</span> a flower bed`,wrap:!1}}),b=new cl({props:{$$slots:{default:[ge]},$$scope:{ctx:T}}}),as=new u({props:{title:"Prompted image captioning",local:"prompted-image-captioning",headingTag:"h2"}}),Ms=new J({props:{code:"cHJvbXB0JTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyaHR0cHMlM0ElMkYlMkZpbWFnZXMudW5zcGxhc2guY29tJTJGcGhvdG8tMTU0MzM0OTY4OS05YTRkNDI2YmVlOGUlM0ZpeGxpYiUzRHJiLTQuMC4zJTI2aXhpZCUzRE0zd3hNakEzZkRCOE1IeHdhRzkwYnkxd1lXZGxmSHg4ZkdWdWZEQjhmSHg4ZkElMjUzRCUyNTNEJTI2YXV0byUzRGZvcm1hdCUyNmZpdCUzRGNyb3AlMjZ3JTNEMzUwMSUyNnElM0Q4MCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMlRoaXMlMjBpcyUyMGFuJTIwaW1hZ2UlMjBvZiUyMCUyMiUyQyUwQSU1RCUwQSUwQWlucHV0cyUyMCUzRCUyMHByb2Nlc3Nvcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKS50byglMjJjdWRhJTIyKSUwQWJhZF93b3Jkc19pZHMlMjAlM0QlMjBwcm9jZXNzb3IudG9rZW5pemVyKCU1QiUyMiUzQ2ltYWdlJTNFJTIyJTJDJTIwJTIyJTNDZmFrZV90b2tlbl9hcm91bmRfaW1hZ2UlM0UlMjIlNUQlMkMlMjBhZGRfc3BlY2lhbF90b2tlbnMlM0RGYWxzZSkuaW5wdXRfaWRzJTBBJTBBZ2VuZXJhdGVkX2lkcyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqaW5wdXRzJTJDJTIwbWF4X25ld190b2tlbnMlM0QxMCUyQyUyMGJhZF93b3Jkc19pZHMlM0RiYWRfd29yZHNfaWRzKSUwQWdlbmVyYXRlZF90ZXh0JTIwJTNEJTIwcHJvY2Vzc29yLmJhdGNoX2RlY29kZShnZW5lcmF0ZWRfaWRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBcHJpbnQoZ2VuZXJhdGVkX3RleHQlNUIwJTVEKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prompt = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;https://images.unsplash.com/photo-1543349689-9a4d426bee8e?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3501&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;This is an image of &quot;</span>,
<span class="hljs-meta">... </span>]

<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompt, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(<span class="hljs-string">&quot;cuda&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, max_new_tokens=<span class="hljs-number">10</span>, bad_words_ids=bad_words_ids)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(generated_text[<span class="hljs-number">0</span>])
This <span class="hljs-keyword">is</span> an image of the Eiffel Tower <span class="hljs-keyword">in</span> Paris, France.`,wrap:!1}}),cs=new u({props:{title:"Few-shot prompting",local:"few-shot-prompting",headingTag:"h2"}}),ds=new J({props:{code:"cHJvbXB0JTIwJTNEJTIwJTVCJTIyVXNlciUzQSUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGaW1hZ2VzLnVuc3BsYXNoLmNvbSUyRnBob3RvLTE1NDMzNDk2ODktOWE0ZDQyNmJlZThlJTNGaXhsaWIlM0RyYi00LjAuMyUyNml4aWQlM0RNM3d4TWpBM2ZEQjhNSHh3YUc5MGJ5MXdZV2RsZkh4OGZHVnVmREI4Zkh4OGZBJTI1M0QlMjUzRCUyNmF1dG8lM0Rmb3JtYXQlMjZmaXQlM0Rjcm9wJTI2dyUzRDM1MDElMjZxJTNEODAlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJEZXNjcmliZSUyMHRoaXMlMjBpbWFnZS4lNUNuQXNzaXN0YW50JTNBJTIwQW4lMjBpbWFnZSUyMG9mJTIwdGhlJTIwRWlmZmVsJTIwVG93ZXIlMjBhdCUyMG5pZ2h0LiUyMEZ1biUyMGZhY3QlM0ElMjB0aGUlMjBFaWZmZWwlMjBUb3dlciUyMGlzJTIwdGhlJTIwc2FtZSUyMGhlaWdodCUyMGFzJTIwYW4lMjA4MS1zdG9yZXklMjBidWlsZGluZy4lNUNuJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIyVXNlciUzQSUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGaW1hZ2VzLnVuc3BsYXNoLmNvbSUyRnBob3RvLTE1MjQwOTkxNjMyNTMtMzJiN2YwMjU2ODY4JTNGaXhsaWIlM0RyYi00LjAuMyUyNml4aWQlM0RNM3d4TWpBM2ZEQjhNSHh3YUc5MGJ5MXdZV2RsZkh4OGZHVnVmREI4Zkh4OGZBJTI1M0QlMjUzRCUyNmF1dG8lM0Rmb3JtYXQlMjZmaXQlM0Rjcm9wJTI2dyUzRDMzODclMjZxJTNEODAlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJEZXNjcmliZSUyMHRoaXMlMjBpbWFnZS4lNUNuQXNzaXN0YW50JTNBJTIyJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTVEJTBBJTBBaW5wdXRzJTIwJTNEJTIwcHJvY2Vzc29yKHByb21wdCUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpLnRvKCUyMmN1ZGElMjIpJTBBYmFkX3dvcmRzX2lkcyUyMCUzRCUyMHByb2Nlc3Nvci50b2tlbml6ZXIoJTVCJTIyJTNDaW1hZ2UlM0UlMjIlMkMlMjAlMjIlM0NmYWtlX3Rva2VuX2Fyb3VuZF9pbWFnZSUzRSUyMiU1RCUyQyUyMGFkZF9zcGVjaWFsX3Rva2VucyUzREZhbHNlKS5pbnB1dF9pZHMlMEElMEFnZW5lcmF0ZWRfaWRzJTIwJTNEJTIwbW9kZWwuZ2VuZXJhdGUoKippbnB1dHMlMkMlMjBtYXhfbmV3X3Rva2VucyUzRDMwJTJDJTIwYmFkX3dvcmRzX2lkcyUzRGJhZF93b3Jkc19pZHMpJTBBZ2VuZXJhdGVkX3RleHQlMjAlM0QlMjBwcm9jZXNzb3IuYmF0Y2hfZGVjb2RlKGdlbmVyYXRlZF9pZHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSklMEFwcmludChnZW5lcmF0ZWRfdGV4dCU1QjAlNUQp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prompt = [<span class="hljs-string">&quot;User:&quot;</span>,
<span class="hljs-meta">... </span>           <span class="hljs-string">&quot;https://images.unsplash.com/photo-1543349689-9a4d426bee8e?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3501&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>           <span class="hljs-string">&quot;Describe this image.\\nAssistant: An image of the Eiffel Tower at night. Fun fact: the Eiffel Tower is the same height as an 81-storey building.\\n&quot;</span>,
<span class="hljs-meta">... </span>           <span class="hljs-string">&quot;User:&quot;</span>,
<span class="hljs-meta">... </span>           <span class="hljs-string">&quot;https://images.unsplash.com/photo-1524099163253-32b7f0256868?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3387&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>           <span class="hljs-string">&quot;Describe this image.\\nAssistant:&quot;</span>
<span class="hljs-meta">... </span>           ]

<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompt, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(<span class="hljs-string">&quot;cuda&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, max_new_tokens=<span class="hljs-number">30</span>, bad_words_ids=bad_words_ids)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(generated_text[<span class="hljs-number">0</span>])
User: Describe this image.
Assistant: An image of the Eiffel Tower at night. Fun fact: the Eiffel Tower <span class="hljs-keyword">is</span> the same height <span class="hljs-keyword">as</span> an <span class="hljs-number">81</span>-storey building. 
User: Describe this image.
Assistant: An image of the Statue of Liberty. Fun fact: the Statue of Liberty <span class="hljs-keyword">is</span> <span class="hljs-number">151</span> feet tall.`,wrap:!1}}),js=new u({props:{title:"Visual question answering",local:"visual-question-answering",headingTag:"h2"}}),Ts=new J({props:{code:"cHJvbXB0JTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIySW5zdHJ1Y3Rpb24lM0ElMjBQcm92aWRlJTIwYW4lMjBhbnN3ZXIlMjB0byUyMHRoZSUyMHF1ZXN0aW9uLiUyMFVzZSUyMHRoZSUyMGltYWdlJTIwdG8lMjBhbnN3ZXIuJTVDbiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGaW1hZ2VzLnVuc3BsYXNoLmNvbSUyRnBob3RvLTE2MjM5NDQ4ODkyODgtY2QxNDdkYmI1MTdjJTNGaXhsaWIlM0RyYi00LjAuMyUyNml4aWQlM0RNM3d4TWpBM2ZEQjhNSHh3YUc5MGJ5MXdZV2RsZkh4OGZHVnVmREI4Zkh4OGZBJTI1M0QlMjUzRCUyNmF1dG8lM0Rmb3JtYXQlMjZmaXQlM0Rjcm9wJTI2dyUzRDM1NDAlMjZxJTNEODAlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJRdWVzdGlvbiUzQSUyMFdoZXJlJTIwYXJlJTIwdGhlc2UlMjBwZW9wbGUlMjBhbmQlMjB3aGF0J3MlMjB0aGUlMjB3ZWF0aGVyJTIwbGlrZSUzRiUyMEFuc3dlciUzQSUyMiUwQSU1RCUwQSUwQWlucHV0cyUyMCUzRCUyMHByb2Nlc3Nvcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKS50byglMjJjdWRhJTIyKSUwQWJhZF93b3Jkc19pZHMlMjAlM0QlMjBwcm9jZXNzb3IudG9rZW5pemVyKCU1QiUyMiUzQ2ltYWdlJTNFJTIyJTJDJTIwJTIyJTNDZmFrZV90b2tlbl9hcm91bmRfaW1hZ2UlM0UlMjIlNUQlMkMlMjBhZGRfc3BlY2lhbF90b2tlbnMlM0RGYWxzZSkuaW5wdXRfaWRzJTBBJTBBZ2VuZXJhdGVkX2lkcyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqaW5wdXRzJTJDJTIwbWF4X25ld190b2tlbnMlM0QyMCUyQyUyMGJhZF93b3Jkc19pZHMlM0RiYWRfd29yZHNfaWRzKSUwQWdlbmVyYXRlZF90ZXh0JTIwJTNEJTIwcHJvY2Vzc29yLmJhdGNoX2RlY29kZShnZW5lcmF0ZWRfaWRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBcHJpbnQoZ2VuZXJhdGVkX3RleHQlNUIwJTVEKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prompt = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Instruction: Provide an answer to the question. Use the image to answer.\\n&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;https://images.unsplash.com/photo-1623944889288-cd147dbb517c?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3540&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Question: Where are these people and what&#x27;s the weather like? Answer:&quot;</span>
<span class="hljs-meta">... </span>]

<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompt, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(<span class="hljs-string">&quot;cuda&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, max_new_tokens=<span class="hljs-number">20</span>, bad_words_ids=bad_words_ids)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(generated_text[<span class="hljs-number">0</span>])
Instruction: Provide an answer to the question. Use the image to answer.
 Question: Where are these people <span class="hljs-keyword">and</span> what<span class="hljs-string">&#x27;s the weather like? Answer: They&#x27;</span>re <span class="hljs-keyword">in</span> a park <span class="hljs-keyword">in</span> New York City, <span class="hljs-keyword">and</span> it<span class="hljs-string">&#x27;s a beautiful day.</span>`,wrap:!1}}),fs=new u({props:{title:"Image classification",local:"image-classification",headingTag:"h2"}}),Is=new J({props:{code:"Y2F0ZWdvcmllcyUyMCUzRCUyMCU1QidhbmltYWxzJyUyQyd2ZWdldGFibGVzJyUyQyUyMCdjaXR5JTIwbGFuZHNjYXBlJyUyQyUyMCdjYXJzJyUyQyUyMCdvZmZpY2UnJTVEJTBBcHJvbXB0JTIwJTNEJTIwJTVCZiUyMkluc3RydWN0aW9uJTNBJTIwQ2xhc3NpZnklMjB0aGUlMjBmb2xsb3dpbmclMjBpbWFnZSUyMGludG8lMjBhJTIwc2luZ2xlJTIwY2F0ZWdvcnklMjBmcm9tJTIwdGhlJTIwZm9sbG93aW5nJTIwbGlzdCUzQSUyMCU3QmNhdGVnb3JpZXMlN0QuJTVDbiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGaW1hZ2VzLnVuc3BsYXNoLmNvbSUyRnBob3RvLTE0NzExOTM5NDU1MDktOWFkMDYxN2FmYWJmJTNGaXhsaWIlM0RyYi00LjAuMyUyNml4aWQlM0RNM3d4TWpBM2ZEQjhNSHh3YUc5MGJ5MXdZV2RsZkh4OGZHVnVmREI4Zkh4OGZBJTI1M0QlMjUzRCUyNmF1dG8lM0Rmb3JtYXQlMjZmaXQlM0Rjcm9wJTI2dyUzRDM1NDAlMjZxJTNEODAlMjIlMkMlMjAlMjAlMjAlMjAlMEElMjAlMjAlMjAlMjAlMjJDYXRlZ29yeSUzQSUyMCUyMiUwQSU1RCUwQSUwQWlucHV0cyUyMCUzRCUyMHByb2Nlc3Nvcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKS50byglMjJjdWRhJTIyKSUwQWJhZF93b3Jkc19pZHMlMjAlM0QlMjBwcm9jZXNzb3IudG9rZW5pemVyKCU1QiUyMiUzQ2ltYWdlJTNFJTIyJTJDJTIwJTIyJTNDZmFrZV90b2tlbl9hcm91bmRfaW1hZ2UlM0UlMjIlNUQlMkMlMjBhZGRfc3BlY2lhbF90b2tlbnMlM0RGYWxzZSkuaW5wdXRfaWRzJTBBJTBBZ2VuZXJhdGVkX2lkcyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqaW5wdXRzJTJDJTIwbWF4X25ld190b2tlbnMlM0Q2JTJDJTIwYmFkX3dvcmRzX2lkcyUzRGJhZF93b3Jkc19pZHMpJTBBZ2VuZXJhdGVkX3RleHQlMjAlM0QlMjBwcm9jZXNzb3IuYmF0Y2hfZGVjb2RlKGdlbmVyYXRlZF9pZHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSklMEFwcmludChnZW5lcmF0ZWRfdGV4dCU1QjAlNUQp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>categories = [<span class="hljs-string">&#x27;animals&#x27;</span>,<span class="hljs-string">&#x27;vegetables&#x27;</span>, <span class="hljs-string">&#x27;city landscape&#x27;</span>, <span class="hljs-string">&#x27;cars&#x27;</span>, <span class="hljs-string">&#x27;office&#x27;</span>]
<span class="hljs-meta">&gt;&gt;&gt; </span>prompt = [<span class="hljs-string">f&quot;Instruction: Classify the following image into a single category from the following list: <span class="hljs-subst">{categories}</span>.\\n&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;https://images.unsplash.com/photo-1471193945509-9ad0617afabf?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3540&amp;q=80&quot;</span>,    
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Category: &quot;</span>
<span class="hljs-meta">... </span>]

<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompt, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(<span class="hljs-string">&quot;cuda&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, max_new_tokens=<span class="hljs-number">6</span>, bad_words_ids=bad_words_ids)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(generated_text[<span class="hljs-number">0</span>])
Instruction: Classify the following image into a single category <span class="hljs-keyword">from</span> the following <span class="hljs-built_in">list</span>: [<span class="hljs-string">&#x27;animals&#x27;</span>, <span class="hljs-string">&#x27;vegetables&#x27;</span>, <span class="hljs-string">&#x27;city landscape&#x27;</span>, <span class="hljs-string">&#x27;cars&#x27;</span>, <span class="hljs-string">&#x27;office&#x27;</span>].
Category: Vegetables`,wrap:!1}}),Rs=new u({props:{title:"Image-guided text generation",local:"image-guided-text-generation",headingTag:"h2"}}),Ns=new J({props:{code:"cHJvbXB0JTIwJTNEJTIwJTVCJTIySW5zdHJ1Y3Rpb24lM0ElMjBVc2UlMjB0aGUlMjBpbWFnZSUyMHRvJTIwd3JpdGUlMjBhJTIwc3RvcnkuJTIwJTVDbiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGaW1hZ2VzLnVuc3BsYXNoLmNvbSUyRnBob3RvLTE1MTcwODY4MjIxNTctMmIwMzU4ZTc2ODRhJTNGaXhsaWIlM0RyYi00LjAuMyUyNml4aWQlM0RNM3d4TWpBM2ZEQjhNSHh3YUc5MGJ5MXdZV2RsZkh4OGZHVnVmREI4Zkh4OGZBJTI1M0QlMjUzRCUyNmF1dG8lM0Rmb3JtYXQlMjZmaXQlM0Rjcm9wJTI2dyUzRDIyMDMlMjZxJTNEODAlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJTdG9yeSUzQSUyMCU1Q24lMjIlNUQlMEElMEFpbnB1dHMlMjAlM0QlMjBwcm9jZXNzb3IocHJvbXB0JTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMikudG8oJTIyY3VkYSUyMiklMEFiYWRfd29yZHNfaWRzJTIwJTNEJTIwcHJvY2Vzc29yLnRva2VuaXplciglNUIlMjIlM0NpbWFnZSUzRSUyMiUyQyUyMCUyMiUzQ2Zha2VfdG9rZW5fYXJvdW5kX2ltYWdlJTNFJTIyJTVEJTJDJTIwYWRkX3NwZWNpYWxfdG9rZW5zJTNERmFsc2UpLmlucHV0X2lkcyUwQSUwQWdlbmVyYXRlZF9pZHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyUyQyUyMG51bV9iZWFtcyUzRDIlMkMlMjBtYXhfbmV3X3Rva2VucyUzRDIwMCUyQyUyMGJhZF93b3Jkc19pZHMlM0RiYWRfd29yZHNfaWRzKSUwQWdlbmVyYXRlZF90ZXh0JTIwJTNEJTIwcHJvY2Vzc29yLmJhdGNoX2RlY29kZShnZW5lcmF0ZWRfaWRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBcHJpbnQoZ2VuZXJhdGVkX3RleHQlNUIwJTVEKSUyMCUwQSUwQSUwQSUwQSUwQSUwQSUwQSUwQQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prompt = [<span class="hljs-string">&quot;Instruction: Use the image to write a story. \\n&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;https://images.unsplash.com/photo-1517086822157-2b0358e7684a?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=2203&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Story: \\n&quot;</span>]

<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompt, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(<span class="hljs-string">&quot;cuda&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, num_beams=<span class="hljs-number">2</span>, max_new_tokens=<span class="hljs-number">200</span>, bad_words_ids=bad_words_ids)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(generated_text[<span class="hljs-number">0</span>]) 
Instruction: Use the image to write a story. 
 Story: 
Once upon a time, there was a little girl who lived <span class="hljs-keyword">in</span> a house <span class="hljs-keyword">with</span> a red door.  She loved her red door.  It was the prettiest door <span class="hljs-keyword">in</span> the whole world.

One day, the little girl was playing <span class="hljs-keyword">in</span> her yard when she noticed a man standing on her doorstep.  He was wearing a long black coat <span class="hljs-keyword">and</span> a top hat.

The little girl ran inside <span class="hljs-keyword">and</span> told her mother about the man.

Her mother said, “Don’t worry, honey.  He’s just a friendly ghost.”

The little girl wasn’t sure <span class="hljs-keyword">if</span> she believed her mother, but she went outside anyway.

When she got to the door, the man was gone.

The <span class="hljs-built_in">next</span> day, the little girl was playing <span class="hljs-keyword">in</span> her yard again when she noticed the man standing on her doorstep.

He was wearing a long black coat <span class="hljs-keyword">and</span> a top hat.

The little girl ran`,wrap:!1}}),W=new cl({props:{$$slots:{default:[Je]},$$scope:{ctx:T}}}),Gs=new u({props:{title:"Running inference in batch mode",local:"running-inference-in-batch-mode",headingTag:"h2"}}),Qs=new J({props:{code:"cHJvbXB0cyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCU1QiUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGaW1hZ2VzLnVuc3BsYXNoLmNvbSUyRnBob3RvLTE1NDMzNDk2ODktOWE0ZDQyNmJlZThlJTNGaXhsaWIlM0RyYi00LjAuMyUyNml4aWQlM0RNM3d4TWpBM2ZEQjhNSHh3YUc5MGJ5MXdZV2RsZkh4OGZHVnVmREI4Zkh4OGZBJTI1M0QlMjUzRCUyNmF1dG8lM0Rmb3JtYXQlMjZmaXQlM0Rjcm9wJTI2dyUzRDM1MDElMjZxJTNEODAlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJUaGlzJTIwaXMlMjBhbiUyMGltYWdlJTIwb2YlMjAlMjIlMkMlMEElMjAlMjAlMjAlMjAlNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIlMjAlMjAlMjAlMjJodHRwcyUzQSUyRiUyRmltYWdlcy51bnNwbGFzaC5jb20lMkZwaG90by0xNjIzOTQ0ODg5Mjg4LWNkMTQ3ZGJiNTE3YyUzRml4bGliJTNEcmItNC4wLjMlMjZpeGlkJTNETTN3eE1qQTNmREI4TUh4d2FHOTBieTF3WVdkbGZIeDhmR1Z1ZkRCOGZIeDhmQSUyNTNEJTI1M0QlMjZhdXRvJTNEZm9ybWF0JTI2Zml0JTNEY3JvcCUyNnclM0QzNTQwJTI2cSUzRDgwJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIyVGhpcyUyMGlzJTIwYW4lMjBpbWFnZSUyMG9mJTIwJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTVCJTIwJTIwJTIwJTIyaHR0cHMlM0ElMkYlMkZpbWFnZXMudW5zcGxhc2guY29tJTJGcGhvdG8tMTQ3MTE5Mzk0NTUwOS05YWQwNjE3YWZhYmYlM0ZpeGxpYiUzRHJiLTQuMC4zJTI2aXhpZCUzRE0zd3hNakEzZkRCOE1IeHdhRzkwYnkxd1lXZGxmSHg4ZkdWdWZEQjhmSHg4ZkElMjUzRCUyNTNEJTI2YXV0byUzRGZvcm1hdCUyNmZpdCUzRGNyb3AlMjZ3JTNEMzU0MCUyNnElM0Q4MCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMlRoaXMlMjBpcyUyMGFuJTIwaW1hZ2UlMjBvZiUyMCUyMiUyQyUwQSUyMCUyMCUyMCUyMCU1RCUyQyUwQSU1RCUwQSUwQWlucHV0cyUyMCUzRCUyMHByb2Nlc3Nvcihwcm9tcHRzJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMikudG8oJTIyY3VkYSUyMiklMEFiYWRfd29yZHNfaWRzJTIwJTNEJTIwcHJvY2Vzc29yLnRva2VuaXplciglNUIlMjIlM0NpbWFnZSUzRSUyMiUyQyUyMCUyMiUzQ2Zha2VfdG9rZW5fYXJvdW5kX2ltYWdlJTNFJTIyJTVEJTJDJTIwYWRkX3NwZWNpYWxfdG9rZW5zJTNERmFsc2UpLmlucHV0X2lkcyUwQSUwQWdlbmVyYXRlZF9pZHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyUyQyUyMG1heF9uZXdfdG9rZW5zJTNEMTAlMkMlMjBiYWRfd29yZHNfaWRzJTNEYmFkX3dvcmRzX2lkcyklMEFnZW5lcmF0ZWRfdGV4dCUyMCUzRCUyMHByb2Nlc3Nvci5iYXRjaF9kZWNvZGUoZ2VuZXJhdGVkX2lkcyUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKSUwQWZvciUyMGklMkN0JTIwaW4lMjBlbnVtZXJhdGUoZ2VuZXJhdGVkX3RleHQpJTNBJTBBJTIwJTIwJTIwJTIwcHJpbnQoZiUyMiU3QmklN0QlM0ElNUNuJTdCdCU3RCU1Q24lMjIpJTIwJTBBJTBB",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prompts = [
<span class="hljs-meta">... </span>    [   <span class="hljs-string">&quot;https://images.unsplash.com/photo-1543349689-9a4d426bee8e?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3501&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;This is an image of &quot;</span>,
<span class="hljs-meta">... </span>    ],
<span class="hljs-meta">... </span>    [   <span class="hljs-string">&quot;https://images.unsplash.com/photo-1623944889288-cd147dbb517c?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3540&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;This is an image of &quot;</span>,
<span class="hljs-meta">... </span>    ],
<span class="hljs-meta">... </span>    [   <span class="hljs-string">&quot;https://images.unsplash.com/photo-1471193945509-9ad0617afabf?ixlib=rb-4.0.3&amp;ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&amp;auto=format&amp;fit=crop&amp;w=3540&amp;q=80&quot;</span>,
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;This is an image of &quot;</span>,
<span class="hljs-meta">... </span>    ],
<span class="hljs-meta">... </span>]

<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompts, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(<span class="hljs-string">&quot;cuda&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, max_new_tokens=<span class="hljs-number">10</span>, bad_words_ids=bad_words_ids)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> i,t <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(generated_text):
<span class="hljs-meta">... </span>    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{i}</span>:\\n<span class="hljs-subst">{t}</span>\\n&quot;</span>) 
<span class="hljs-number">0</span>:
This <span class="hljs-keyword">is</span> an image of the Eiffel Tower <span class="hljs-keyword">in</span> Paris, France.

<span class="hljs-number">1</span>:
This <span class="hljs-keyword">is</span> an image of a couple on a picnic blanket.

<span class="hljs-number">2</span>:
This <span class="hljs-keyword">is</span> an image of a vegetable stand.`,wrap:!1}}),zs=new u({props:{title:"IDEFICS instruct for conversational use",local:"idefics-instruct-for-conversational-use",headingTag:"h2"}}),Xs=new J({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwSWRlZmljc0ZvclZpc2lvblRleHQyVGV4dCUyQyUyMEF1dG9Qcm9jZXNzb3IlMEElMEFkZXZpY2UlMjAlM0QlMjAlMjJjdWRhJTIyJTIwaWYlMjB0b3JjaC5jdWRhLmlzX2F2YWlsYWJsZSgpJTIwZWxzZSUyMCUyMmNwdSUyMiUwQSUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJIdWdnaW5nRmFjZU00JTJGaWRlZmljcy05Yi1pbnN0cnVjdCUyMiUwQW1vZGVsJTIwJTNEJTIwSWRlZmljc0ZvclZpc2lvblRleHQyVGV4dC5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCUyQyUyMHRvcmNoX2R0eXBlJTNEdG9yY2guYmZsb2F0MTYpLnRvKGRldmljZSklMEFwcm9jZXNzb3IlMjAlM0QlMjBBdXRvUHJvY2Vzc29yLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQXByb21wdHMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJVc2VyJTNBJTIwV2hhdCUyMGlzJTIwaW4lMjB0aGlzJTIwaW1hZ2UlM0YlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJodHRwcyUzQSUyRiUyRnVwbG9hZC53aWtpbWVkaWEub3JnJTJGd2lraXBlZGlhJTJGY29tbW9ucyUyRjglMkY4NiUyRklkJTI1QzMlMjVBOWZpeC5KUEclMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjIlM0NlbmRfb2ZfdXR0ZXJhbmNlJTNFJTIyJTJDJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIyJTVDbkFzc2lzdGFudCUzQSUyMFRoaXMlMjBwaWN0dXJlJTIwZGVwaWN0cyUyMElkZWZpeCUyQyUyMHRoZSUyMGRvZyUyMG9mJTIwT2JlbGl4JTIwaW4lMjBBc3Rlcml4JTIwYW5kJTIwT2JlbGl4LiUyMElkZWZpeCUyMGlzJTIwcnVubmluZyUyMG9uJTIwdGhlJTIwZ3JvdW5kLiUzQ2VuZF9vZl91dHRlcmFuY2UlM0UlMjIlMkMlMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjIlNUNuVXNlciUzQSUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGc3RhdGljLndpa2lhLm5vY29va2llLm5ldCUyRmFzdGVyaXglMkZpbWFnZXMlMkYyJTJGMjUlMkZSMjJiLmdpZiUyRnJldmlzaW9uJTJGbGF0ZXN0JTNGY2IlM0QyMDExMDgxNTA3MzA1MiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMkFuZCUyMHdobyUyMGlzJTIwdGhhdCUzRiUzQ2VuZF9vZl91dHRlcmFuY2UlM0UlMjIlMkMlMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjIlNUNuQXNzaXN0YW50JTNBJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTVEJTJDJTBBJTVEJTBBJTBBJTIzJTIwLS1iYXRjaGVkJTIwbW9kZSUwQWlucHV0cyUyMCUzRCUyMHByb2Nlc3Nvcihwcm9tcHRzJTJDJTIwYWRkX2VuZF9vZl91dHRlcmFuY2VfdG9rZW4lM0RGYWxzZSUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpLnRvKGRldmljZSklMEElMjMlMjAtLXNpbmdsZSUyMHNhbXBsZSUyMG1vZGUlMEElMjMlMjBpbnB1dHMlMjAlM0QlMjBwcm9jZXNzb3IocHJvbXB0cyU1QjAlNUQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKS50byhkZXZpY2UpJTBBJTBBJTIzJTIwR2VuZXJhdGlvbiUyMGFyZ3MlMEFleGl0X2NvbmRpdGlvbiUyMCUzRCUyMHByb2Nlc3Nvci50b2tlbml6ZXIoJTIyJTNDZW5kX29mX3V0dGVyYW5jZSUzRSUyMiUyQyUyMGFkZF9zcGVjaWFsX3Rva2VucyUzREZhbHNlKS5pbnB1dF9pZHMlMEFiYWRfd29yZHNfaWRzJTIwJTNEJTIwcHJvY2Vzc29yLnRva2VuaXplciglNUIlMjIlM0NpbWFnZSUzRSUyMiUyQyUyMCUyMiUzQ2Zha2VfdG9rZW5fYXJvdW5kX2ltYWdlJTNFJTIyJTVEJTJDJTIwYWRkX3NwZWNpYWxfdG9rZW5zJTNERmFsc2UpLmlucHV0X2lkcyUwQSUwQWdlbmVyYXRlZF9pZHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyUyQyUyMGVvc190b2tlbl9pZCUzRGV4aXRfY29uZGl0aW9uJTJDJTIwYmFkX3dvcmRzX2lkcyUzRGJhZF93b3Jkc19pZHMlMkMlMjBtYXhfbGVuZ3RoJTNEMTAwKSUwQWdlbmVyYXRlZF90ZXh0JTIwJTNEJTIwcHJvY2Vzc29yLmJhdGNoX2RlY29kZShnZW5lcmF0ZWRfaWRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBZm9yJTIwaSUyQyUyMHQlMjBpbiUyMGVudW1lcmF0ZShnZW5lcmF0ZWRfdGV4dCklM0ElMEElMjAlMjAlMjAlMjBwcmludChmJTIyJTdCaSU3RCUzQSU1Q24lN0J0JTdEJTVDbiUyMik=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> torch
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> IdeficsForVisionText2Text, AutoProcessor

<span class="hljs-meta">&gt;&gt;&gt; </span>device = <span class="hljs-string">&quot;cuda&quot;</span> <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> <span class="hljs-string">&quot;cpu&quot;</span>

<span class="hljs-meta">&gt;&gt;&gt; </span>checkpoint = <span class="hljs-string">&quot;HuggingFaceM4/idefics-9b-instruct&quot;</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>model = IdeficsForVisionText2Text.from_pretrained(checkpoint, torch_dtype=torch.bfloat16).to(device)
<span class="hljs-meta">&gt;&gt;&gt; </span>processor = AutoProcessor.from_pretrained(checkpoint)

<span class="hljs-meta">&gt;&gt;&gt; </span>prompts = [
<span class="hljs-meta">... </span>    [
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;User: What is in this image?&quot;</span>,
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;https://upload.wikimedia.org/wikipedia/commons/8/86/Id%C3%A9fix.JPG&quot;</span>,
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;&lt;end_of_utterance&gt;&quot;</span>,

<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;\\nAssistant: This picture depicts Idefix, the dog of Obelix in Asterix and Obelix. Idefix is running on the ground.&lt;end_of_utterance&gt;&quot;</span>,

<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;\\nUser:&quot;</span>,
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;https://static.wikia.nocookie.net/asterix/images/2/25/R22b.gif/revision/latest?cb=20110815073052&quot;</span>,
<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;And who is that?&lt;end_of_utterance&gt;&quot;</span>,

<span class="hljs-meta">... </span>        <span class="hljs-string">&quot;\\nAssistant:&quot;</span>,
<span class="hljs-meta">... </span>    ],
<span class="hljs-meta">... </span>]

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># --batched mode</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = processor(prompts, add_end_of_utterance_token=<span class="hljs-literal">False</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).to(device)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># --single sample mode</span>
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># inputs = processor(prompts[0], return_tensors=&quot;pt&quot;).to(device)</span>

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># Generation args</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>exit_condition = processor.tokenizer(<span class="hljs-string">&quot;&lt;end_of_utterance&gt;&quot;</span>, add_special_tokens=<span class="hljs-literal">False</span>).input_ids
<span class="hljs-meta">&gt;&gt;&gt; </span>bad_words_ids = processor.tokenizer([<span class="hljs-string">&quot;&lt;image&gt;&quot;</span>, <span class="hljs-string">&quot;&lt;fake_token_around_image&gt;&quot;</span>], add_special_tokens=<span class="hljs-literal">False</span>).input_ids

<span class="hljs-meta">&gt;&gt;&gt; </span>generated_ids = model.generate(**inputs, eos_token_id=exit_condition, bad_words_ids=bad_words_ids, max_length=<span class="hljs-number">100</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>generated_text = processor.batch_decode(generated_ids, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> i, t <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(generated_text):
<span class="hljs-meta">... </span>    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{i}</span>:\\n<span class="hljs-subst">{t}</span>\\n&quot;</span>)`,wrap:!1}}),{c(){c=p("meta"),g=a(),y=p("p"),f=a(),o(N.$$.fragment),$s=a(),o(x.$$.fragment),Fs=a(),G=p("p"),G.textContent=ol,Ys=a(),v=p("p"),v.innerHTML=ml,As=a(),Q=p("p"),Q.textContent=rl,Ss=a(),z=p("p"),z.textContent=dl,qs=a(),B=p("ul"),B.innerHTML=hl,Ds=a(),V=p("p"),V.textContent=jl,Ls=a(),o(H.$$.fragment),Ps=a(),o(U.$$.fragment),Os=a(),o(X.$$.fragment),Ks=a(),E=p("p"),E.textContent=yl,st=a(),o($.$$.fragment),tt=a(),F=p("p"),F.innerHTML=gl,lt=a(),o(Y.$$.fragment),et=a(),A=p("p"),A.innerHTML=Jl,at=a(),o(S.$$.fragment),nt=a(),q=p("p"),q.innerHTML=ul,pt=a(),o(D.$$.fragment),it=a(),L=p("p"),L.textContent=Tl,Mt=a(),o(P.$$.fragment),ct=a(),O=p("p"),O.textContent=fl,ot=a(),K=p("p"),K.textContent=Ul,mt=a(),w=p("div"),w.innerHTML=wl,rt=a(),ss=p("p"),ss.innerHTML=bl,dt=a(),ts=p("p"),ts.textContent=Zl,ht=a(),ls=p("p"),ls.innerHTML=Il,jt=a(),o(es.$$.fragment),yt=a(),o(b.$$.fragment),gt=a(),o(as.$$.fragment),Jt=a(),ns=p("p"),ns.textContent=Cl,ut=a(),Z=p("div"),Z.innerHTML=Rl,Tt=a(),ps=p("p"),ps.innerHTML=kl,ft=a(),is=p("p"),is.textContent=Wl,Ut=a(),o(Ms.$$.fragment),wt=a(),o(cs.$$.fragment),bt=a(),os=p("p"),os.textContent=_l,Zt=a(),ms=p("p"),ms.textContent=Nl,It=a(),I=p("div"),I.innerHTML=xl,Ct=a(),rs=p("p"),rs.innerHTML=Gl,Rt=a(),o(ds.$$.fragment),kt=a(),hs=p("p"),hs.textContent=vl,Wt=a(),o(js.$$.fragment),_t=a(),ys=p("p"),ys.textContent=Ql,Nt=a(),gs=p("p"),gs.textContent=zl,xt=a(),C=p("div"),C.innerHTML=Bl,Gt=a(),Js=p("p"),Js.innerHTML=Vl,vt=a(),us=p("p"),us.textContent=Hl,Qt=a(),o(Ts.$$.fragment),zt=a(),o(fs.$$.fragment),Bt=a(),Us=p("p"),Us.textContent=Xl,Vt=a(),ws=p("p"),ws.textContent=El,Ht=a(),R=p("div"),R.innerHTML=$l,Xt=a(),bs=p("p"),bs.innerHTML=Fl,Et=a(),Zs=p("p"),Zs.textContent=Yl,$t=a(),o(Is.$$.fragment),Ft=a(),Cs=p("p"),Cs.textContent=Al,Yt=a(),o(Rs.$$.fragment),At=a(),ks=p("p"),ks.textContent=Sl,St=a(),Ws=p("p"),Ws.textContent=ql,qt=a(),k=p("div"),k.innerHTML=Dl,Dt=a(),_s=p("p"),_s.innerHTML=Ll,Lt=a(),o(Ns.$$.fragment),Pt=a(),xs=p("p"),xs.textContent=Pl,Ot=a(),o(W.$$.fragment),Kt=a(),o(Gs.$$.fragment),sl=a(),vs=p("p"),vs.textContent=Ol,tl=a(),o(Qs.$$.fragment),ll=a(),o(zs.$$.fragment),el=a(),Bs=p("p"),Bs.innerHTML=Kl,al=a(),Vs=p("p"),Vs.textContent=se,nl=a(),Hs=p("p"),Hs.textContent=te,pl=a(),o(Xs.$$.fragment),il=a(),Es=p("p"),this.h()},l(s){const t=me("svelte-u9bgzb",document.head);c=i(t,"META",{name:!0,content:!0}),t.forEach(l),g=n(s),y=i(s,"P",{}),ne(y).forEach(l),f=n(s),m(N.$$.fragment,s),$s=n(s),m(x.$$.fragment,s),Fs=n(s),G=i(s,"P",{"data-svelte-h":!0}),M(G)!=="svelte-idfzro"&&(G.textContent=ol),Ys=n(s),v=i(s,"P",{"data-svelte-h":!0}),M(v)!=="svelte-48v8i5"&&(v.innerHTML=ml),As=n(s),Q=i(s,"P",{"data-svelte-h":!0}),M(Q)!=="svelte-1nff2jp"&&(Q.textContent=rl),Ss=n(s),z=i(s,"P",{"data-svelte-h":!0}),M(z)!=="svelte-sw406c"&&(z.textContent=dl),qs=n(s),B=i(s,"UL",{"data-svelte-h":!0}),M(B)!=="svelte-t48frv"&&(B.innerHTML=hl),Ds=n(s),V=i(s,"P",{"data-svelte-h":!0}),M(V)!=="svelte-1lya3k8"&&(V.textContent=jl),Ls=n(s),m(H.$$.fragment,s),Ps=n(s),m(U.$$.fragment,s),Os=n(s),m(X.$$.fragment,s),Ks=n(s),E=i(s,"P",{"data-svelte-h":!0}),M(E)!=="svelte-1uo2yt4"&&(E.textContent=yl),st=n(s),m($.$$.fragment,s),tt=n(s),F=i(s,"P",{"data-svelte-h":!0}),M(F)!=="svelte-15svvjb"&&(F.innerHTML=gl),lt=n(s),m(Y.$$.fragment,s),et=n(s),A=i(s,"P",{"data-svelte-h":!0}),M(A)!=="svelte-8hdssd"&&(A.innerHTML=Jl),at=n(s),m(S.$$.fragment,s),nt=n(s),q=i(s,"P",{"data-svelte-h":!0}),M(q)!=="svelte-143oe1m"&&(q.innerHTML=ul),pt=n(s),m(D.$$.fragment,s),it=n(s),L=i(s,"P",{"data-svelte-h":!0}),M(L)!=="svelte-1553duw"&&(L.textContent=Tl),Mt=n(s),m(P.$$.fragment,s),ct=n(s),O=i(s,"P",{"data-svelte-h":!0}),M(O)!=="svelte-1313v8o"&&(O.textContent=fl),ot=n(s),K=i(s,"P",{"data-svelte-h":!0}),M(K)!=="svelte-5ecawm"&&(K.textContent=Ul),mt=n(s),w=i(s,"DIV",{class:!0,"data-svelte-h":!0}),M(w)!=="svelte-t8y7db"&&(w.innerHTML=wl),rt=n(s),ss=i(s,"P",{"data-svelte-h":!0}),M(ss)!=="svelte-1ilja47"&&(ss.innerHTML=bl),dt=n(s),ts=i(s,"P",{"data-svelte-h":!0}),M(ts)!=="svelte-1j57a9"&&(ts.textContent=Zl),ht=n(s),ls=i(s,"P",{"data-svelte-h":!0}),M(ls)!=="svelte-7tpjl6"&&(ls.innerHTML=Il),jt=n(s),m(es.$$.fragment,s),yt=n(s),m(b.$$.fragment,s),gt=n(s),m(as.$$.fragment,s),Jt=n(s),ns=i(s,"P",{"data-svelte-h":!0}),M(ns)!=="svelte-1qmjkd7"&&(ns.textContent=Cl),ut=n(s),Z=i(s,"DIV",{class:!0,"data-svelte-h":!0}),M(Z)!=="svelte-1ritb1k"&&(Z.innerHTML=Rl),Tt=n(s),ps=i(s,"P",{"data-svelte-h":!0}),M(ps)!=="svelte-1dav10a"&&(ps.innerHTML=kl),ft=n(s),is=i(s,"P",{"data-svelte-h":!0}),M(is)!=="svelte-1wtxpzx"&&(is.textContent=Wl),Ut=n(s),m(Ms.$$.fragment,s),wt=n(s),m(cs.$$.fragment,s),bt=n(s),os=i(s,"P",{"data-svelte-h":!0}),M(os)!=="svelte-1q30vzg"&&(os.textContent=_l),Zt=n(s),ms=i(s,"P",{"data-svelte-h":!0}),M(ms)!=="svelte-5u2x5j"&&(ms.textContent=Nl),It=n(s),I=i(s,"DIV",{class:!0,"data-svelte-h":!0}),M(I)!=="svelte-gin1vp"&&(I.innerHTML=xl),Ct=n(s),rs=i(s,"P",{"data-svelte-h":!0}),M(rs)!=="svelte-fndx8"&&(rs.innerHTML=Gl),Rt=n(s),m(ds.$$.fragment,s),kt=n(s),hs=i(s,"P",{"data-svelte-h":!0}),M(hs)!=="svelte-1rfr59p"&&(hs.textContent=vl),Wt=n(s),m(js.$$.fragment,s),_t=n(s),ys=i(s,"P",{"data-svelte-h":!0}),M(ys)!=="svelte-1fvayaj"&&(ys.textContent=Ql),Nt=n(s),gs=i(s,"P",{"data-svelte-h":!0}),M(gs)!=="svelte-tndyc2"&&(gs.textContent=zl),xt=n(s),C=i(s,"DIV",{class:!0,"data-svelte-h":!0}),M(C)!=="svelte-1j2xr8e"&&(C.innerHTML=Bl),Gt=n(s),Js=i(s,"P",{"data-svelte-h":!0}),M(Js)!=="svelte-7xhi3r"&&(Js.innerHTML=Vl),vt=n(s),us=i(s,"P",{"data-svelte-h":!0}),M(us)!=="svelte-jun1c7"&&(us.textContent=Hl),Qt=n(s),m(Ts.$$.fragment,s),zt=n(s),m(fs.$$.fragment,s),Bt=n(s),Us=i(s,"P",{"data-svelte-h":!0}),M(Us)!=="svelte-9bgfkp"&&(Us.textContent=Xl),Vt=n(s),ws=i(s,"P",{"data-svelte-h":!0}),M(ws)!=="svelte-9c3uvw"&&(ws.textContent=El),Ht=n(s),R=i(s,"DIV",{class:!0,"data-svelte-h":!0}),M(R)!=="svelte-g02ga3"&&(R.innerHTML=$l),Xt=n(s),bs=i(s,"P",{"data-svelte-h":!0}),M(bs)!=="svelte-1fktjb1"&&(bs.innerHTML=Fl),Et=n(s),Zs=i(s,"P",{"data-svelte-h":!0}),M(Zs)!=="svelte-bpjvv6"&&(Zs.textContent=Yl),$t=n(s),m(Is.$$.fragment,s),Ft=n(s),Cs=i(s,"P",{"data-svelte-h":!0}),M(Cs)!=="svelte-2873id"&&(Cs.textContent=Al),Yt=n(s),m(Rs.$$.fragment,s),At=n(s),ks=i(s,"P",{"data-svelte-h":!0}),M(ks)!=="svelte-iteb8q"&&(ks.textContent=Sl),St=n(s),Ws=i(s,"P",{"data-svelte-h":!0}),M(Ws)!=="svelte-1blzzm4"&&(Ws.textContent=ql),qt=n(s),k=i(s,"DIV",{class:!0,"data-svelte-h":!0}),M(k)!=="svelte-1mf93u3"&&(k.innerHTML=Dl),Dt=n(s),_s=i(s,"P",{"data-svelte-h":!0}),M(_s)!=="svelte-4ctgu0"&&(_s.innerHTML=Ll),Lt=n(s),m(Ns.$$.fragment,s),Pt=n(s),xs=i(s,"P",{"data-svelte-h":!0}),M(xs)!=="svelte-1hxn4p8"&&(xs.textContent=Pl),Ot=n(s),m(W.$$.fragment,s),Kt=n(s),m(Gs.$$.fragment,s),sl=n(s),vs=i(s,"P",{"data-svelte-h":!0}),M(vs)!=="svelte-1x78e76"&&(vs.textContent=Ol),tl=n(s),m(Qs.$$.fragment,s),ll=n(s),m(zs.$$.fragment,s),el=n(s),Bs=i(s,"P",{"data-svelte-h":!0}),M(Bs)!=="svelte-bb91xj"&&(Bs.innerHTML=Kl),al=n(s),Vs=i(s,"P",{"data-svelte-h":!0}),M(Vs)!=="svelte-2yij83"&&(Vs.textContent=se),nl=n(s),Hs=i(s,"P",{"data-svelte-h":!0}),M(Hs)!=="svelte-rc9g0e"&&(Hs.textContent=te),pl=n(s),m(Xs.$$.fragment,s),il=n(s),Es=i(s,"P",{}),ne(Es).forEach(l),this.h()},h(){_(c,"name","hf:doc:metadata"),_(c,"content",Te),_(w,"class","flex justify-center"),_(Z,"class","flex justify-center"),_(I,"class","flex justify-center"),_(C,"class","flex justify-center"),_(R,"class","flex justify-center"),_(k,"class","flex justify-center")},m(s,t){re(document.head,c),e(s,g,t),e(s,y,t),e(s,f,t),r(N,s,t),e(s,$s,t),r(x,s,t),e(s,Fs,t),e(s,G,t),e(s,Ys,t),e(s,v,t),e(s,As,t),e(s,Q,t),e(s,Ss,t),e(s,z,t),e(s,qs,t),e(s,B,t),e(s,Ds,t),e(s,V,t),e(s,Ls,t),r(H,s,t),e(s,Ps,t),r(U,s,t),e(s,Os,t),r(X,s,t),e(s,Ks,t),e(s,E,t),e(s,st,t),r($,s,t),e(s,tt,t),e(s,F,t),e(s,lt,t),r(Y,s,t),e(s,et,t),e(s,A,t),e(s,at,t),r(S,s,t),e(s,nt,t),e(s,q,t),e(s,pt,t),r(D,s,t),e(s,it,t),e(s,L,t),e(s,Mt,t),r(P,s,t),e(s,ct,t),e(s,O,t),e(s,ot,t),e(s,K,t),e(s,mt,t),e(s,w,t),e(s,rt,t),e(s,ss,t),e(s,dt,t),e(s,ts,t),e(s,ht,t),e(s,ls,t),e(s,jt,t),r(es,s,t),e(s,yt,t),r(b,s,t),e(s,gt,t),r(as,s,t),e(s,Jt,t),e(s,ns,t),e(s,ut,t),e(s,Z,t),e(s,Tt,t),e(s,ps,t),e(s,ft,t),e(s,is,t),e(s,Ut,t),r(Ms,s,t),e(s,wt,t),r(cs,s,t),e(s,bt,t),e(s,os,t),e(s,Zt,t),e(s,ms,t),e(s,It,t),e(s,I,t),e(s,Ct,t),e(s,rs,t),e(s,Rt,t),r(ds,s,t),e(s,kt,t),e(s,hs,t),e(s,Wt,t),r(js,s,t),e(s,_t,t),e(s,ys,t),e(s,Nt,t),e(s,gs,t),e(s,xt,t),e(s,C,t),e(s,Gt,t),e(s,Js,t),e(s,vt,t),e(s,us,t),e(s,Qt,t),r(Ts,s,t),e(s,zt,t),r(fs,s,t),e(s,Bt,t),e(s,Us,t),e(s,Vt,t),e(s,ws,t),e(s,Ht,t),e(s,R,t),e(s,Xt,t),e(s,bs,t),e(s,Et,t),e(s,Zs,t),e(s,$t,t),r(Is,s,t),e(s,Ft,t),e(s,Cs,t),e(s,Yt,t),r(Rs,s,t),e(s,At,t),e(s,ks,t),e(s,St,t),e(s,Ws,t),e(s,qt,t),e(s,k,t),e(s,Dt,t),e(s,_s,t),e(s,Lt,t),r(Ns,s,t),e(s,Pt,t),e(s,xs,t),e(s,Ot,t),r(W,s,t),e(s,Kt,t),r(Gs,s,t),e(s,sl,t),e(s,vs,t),e(s,tl,t),r(Qs,s,t),e(s,ll,t),r(zs,s,t),e(s,el,t),e(s,Bs,t),e(s,al,t),e(s,Vs,t),e(s,nl,t),e(s,Hs,t),e(s,pl,t),r(Xs,s,t),e(s,il,t),e(s,Es,t),Ml=!0},p(s,[t]){const le={};t&2&&(le.$$scope={dirty:t,ctx:s}),U.$set(le);const ee={};t&2&&(ee.$$scope={dirty:t,ctx:s}),b.$set(ee);const ae={};t&2&&(ae.$$scope={dirty:t,ctx:s}),W.$set(ae)},i(s){Ml||(d(N.$$.fragment,s),d(x.$$.fragment,s),d(H.$$.fragment,s),d(U.$$.fragment,s),d(X.$$.fragment,s),d($.$$.fragment,s),d(Y.$$.fragment,s),d(S.$$.fragment,s),d(D.$$.fragment,s),d(P.$$.fragment,s),d(es.$$.fragment,s),d(b.$$.fragment,s),d(as.$$.fragment,s),d(Ms.$$.fragment,s),d(cs.$$.fragment,s),d(ds.$$.fragment,s),d(js.$$.fragment,s),d(Ts.$$.fragment,s),d(fs.$$.fragment,s),d(Is.$$.fragment,s),d(Rs.$$.fragment,s),d(Ns.$$.fragment,s),d(W.$$.fragment,s),d(Gs.$$.fragment,s),d(Qs.$$.fragment,s),d(zs.$$.fragment,s),d(Xs.$$.fragment,s),Ml=!0)},o(s){h(N.$$.fragment,s),h(x.$$.fragment,s),h(H.$$.fragment,s),h(U.$$.fragment,s),h(X.$$.fragment,s),h($.$$.fragment,s),h(Y.$$.fragment,s),h(S.$$.fragment,s),h(D.$$.fragment,s),h(P.$$.fragment,s),h(es.$$.fragment,s),h(b.$$.fragment,s),h(as.$$.fragment,s),h(Ms.$$.fragment,s),h(cs.$$.fragment,s),h(ds.$$.fragment,s),h(js.$$.fragment,s),h(Ts.$$.fragment,s),h(fs.$$.fragment,s),h(Is.$$.fragment,s),h(Rs.$$.fragment,s),h(Ns.$$.fragment,s),h(W.$$.fragment,s),h(Gs.$$.fragment,s),h(Qs.$$.fragment,s),h(zs.$$.fragment,s),h(Xs.$$.fragment,s),Ml=!1},d(s){s&&(l(g),l(y),l(f),l($s),l(Fs),l(G),l(Ys),l(v),l(As),l(Q),l(Ss),l(z),l(qs),l(B),l(Ds),l(V),l(Ls),l(Ps),l(Os),l(Ks),l(E),l(st),l(tt),l(F),l(lt),l(et),l(A),l(at),l(nt),l(q),l(pt),l(it),l(L),l(Mt),l(ct),l(O),l(ot),l(K),l(mt),l(w),l(rt),l(ss),l(dt),l(ts),l(ht),l(ls),l(jt),l(yt),l(gt),l(Jt),l(ns),l(ut),l(Z),l(Tt),l(ps),l(ft),l(is),l(Ut),l(wt),l(bt),l(os),l(Zt),l(ms),l(It),l(I),l(Ct),l(rs),l(Rt),l(kt),l(hs),l(Wt),l(_t),l(ys),l(Nt),l(gs),l(xt),l(C),l(Gt),l(Js),l(vt),l(us),l(Qt),l(zt),l(Bt),l(Us),l(Vt),l(ws),l(Ht),l(R),l(Xt),l(bs),l(Et),l(Zs),l($t),l(Ft),l(Cs),l(Yt),l(At),l(ks),l(St),l(Ws),l(qt),l(k),l(Dt),l(_s),l(Lt),l(Pt),l(xs),l(Ot),l(Kt),l(sl),l(vs),l(tl),l(ll),l(el),l(Bs),l(al),l(Vs),l(nl),l(Hs),l(pl),l(il),l(Es)),l(c),j(N,s),j(x,s),j(H,s),j(U,s),j(X,s),j($,s),j(Y,s),j(S,s),j(D,s),j(P,s),j(es,s),j(b,s),j(as,s),j(Ms,s),j(cs,s),j(ds,s),j(js,s),j(Ts,s),j(fs,s),j(Is,s),j(Rs,s),j(Ns,s),j(W,s),j(Gs,s),j(Qs,s),j(zs,s),j(Xs,s)}}}const Te='{"title":"Image tasks with IDEFICS","local":"image-tasks-with-idefics","sections":[{"title":"Loading the model","local":"loading-the-model","sections":[{"title":"Quantized model","local":"quantized-model","sections":[],"depth":3}],"depth":2},{"title":"Image captioning","local":"image-captioning","sections":[],"depth":2},{"title":"Prompted image captioning","local":"prompted-image-captioning","sections":[],"depth":2},{"title":"Few-shot prompting","local":"few-shot-prompting","sections":[],"depth":2},{"title":"Visual question answering","local":"visual-question-answering","sections":[],"depth":2},{"title":"Image classification","local":"image-classification","sections":[],"depth":2},{"title":"Image-guided text generation","local":"image-guided-text-generation","sections":[],"depth":2},{"title":"Running inference in batch mode","local":"running-inference-in-batch-mode","sections":[],"depth":2},{"title":"IDEFICS instruct for conversational use","local":"idefics-instruct-for-conversational-use","sections":[],"depth":2}],"depth":1}';function fe(T){return Me(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Re extends ce{constructor(c){super(),oe(this,c,fe,ue,ie,{})}}export{Re as component};
