#
まとめ

この章では、🤗 Transformersが提供する高レベルな`pipeline()` 関数を用いて、異なるNLPタスクにアプローチする方法を学びました。また、同様にHubを用いてモデルを探す方法や、推論APIを使ってブラウザ上でモデルを直接テストする方法も学びました。

さらに、Transformerモデルがどのように動作するかを高いレベルで議論し、さらに転移学習やファインチューニングの重要性について話しました。一つの重要な観点は、解きたいタスクに応じてアーキテクチャ全体を用いることや、エンコーダーやデコーダーの一方だけを用いることができるという点です。以下の表はそのまとめです。

モデル | 例 | タスク
--- | --- | ---
Encoder | ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa | 文章分類, 固有表現抽出, 抽出型質問応答
Decoder | CTRL, GPT, GPT-2, Transformer XL | 文章生成
Encoder-decoder | BART, T5, Marian, mBART | 文章要約, 翻訳, 生成型質問応答