Transformers documentation
🤗 Transformers ノートブック
はじめに
ベースクラス
モデル
プリプロセッサ
推論
Pipeline API
Generate API
最適化
モデルとチャットする
サービング
トレーニング
ハードウェア
量子化
エコシステム統合
リソース
API
🤗 Transformers ノートブック
ここでは、Hugging Face が提供する公式ノートブックの一覧を確認できます。
また、コミュニティによって作成された興味深いコンテンツもここにリストアップしたいと考えています。 🤗 Transformers を活用したノートブックを作成し、ここに掲載していただきたい場合は、Pull Request を開いてください。そうすることで、Community notebooks のセクションに含めることができます。
Hugging Face のノートブック 🤗
ドキュメントのノートブック
ドキュメントの任意のページをColabのノートブックとして開くことができます(該当ページに直接ボタンがあります)。必要に応じて、以下にリストも掲載しています。
| ノートブック | 説明 | |||
|---|---|---|---|---|
| ライブラリのクイックツアー | Transformersの各種APIの紹介 | |||
| タスクの概要 | Transformersライブラリのモデルをタスクごとに実行する方法 | |||
| データの前処理 | トークナイザーを使用してデータを前処理する方法 | |||
| 事前学習済みモデルのファインチューニング | Trainerを使用して事前学習済みモデルをファインチューニングする方法 | |||
| トークナイザーの概要 | トークナイザーのアルゴリズムの違い | |||
| 多言語モデル | ライブラリの多言語モデルの使用方法 |
PyTorch の例
自然言語処理
| ノートブック | 説明 | |||
|---|---|---|---|---|
| トークナイザーの学習 | 自分だけのトークナイザーの学習と使用方法 | |||
| 言語モデルの学習 | transformersを簡単に使い始める方法 | |||
| テキスト分類でモデルをファインチューニングする方法 | データの前処理方法と、任意のGLUEタスクで事前学習済みモデルをファインチューニングする方法を示します。 | |||
| 言語モデリングでモデルをファインチューニングする方法 | データの前処理方法と、causal LM タスクまたは masked LM タスクで事前学習済みモデルをファインチューニングする方法を示します。 | |||
| トークン分類でモデルをファインチューニングする方法 | データの前処理方法と、トークン分類タスク(NER、品詞付与)で事前学習済みモデルをファインチューニングする方法を示します。 | |||
| 質問応答でモデルをファインチューニングする方法 | SQUADで事前学習済みモデルをファインチューニングするためのデータ前処理の方法を示します。 | |||
| マルチチョイスでモデルをファインチューニングする方法 | SWAGで事前学習済みモデルをファインチューニングするためのデータ前処理の方法を示します。 | |||
| 翻訳タスクでモデルをファインチューニングする方法 | WMTで事前学習済みモデルをファインチューニングするためのデータ前処理の方法を示します。 | |||
| 要約タスクでモデルをファインチューニングする方法 | データの前処理と、XSUMでの事前学習済みモデルのファインチューニングの方法を示します。 | |||
| ゼロから言語モデルをトレーニングする方法 | カスタムデータでTransformerモデルを効果的に訓練するためのすべての手順を強調表示します | |||
| テキストの生成方法 | transformersで言語生成に異なるデコーディング手法を使用する方法 | |||
| Reformer | Reformerが言語モデリングの限界をどう押し広げるか |
コンピュータビジョン
| ノートブック | 説明 | |||
|---|---|---|---|---|
| 画像分類でモデルをファインチューニングする方法(Torchvision) | Torchvision を用いたデータの前処理方法と、Image Classification における事前学習済み Vision モデルのファインチューニング方法を示します | |||
| 画像分類でモデルをファインチューニングする方法(Albumentations) | Albumentations を用いたデータの前処理方法と、Image Classification における事前学習済み Vision モデルのファインチューニング方法を示します | |||
| 画像分類でモデルをファインチューニングする方法(Kornia) | Kornia を使用してデータを前処理し、Image Classification に対して事前学習済みの Vision モデルをファインチューニングする方法を示します | |||
| OWL-ViTによるゼロショットオブジェクト検出の実行方法 | テキストクエリを用いて画像でゼロショットオブジェクト検出を実行する方法を示します | |||
| 画像キャプションモデルのファインチューニング方法 | カスタムデータセットで画像キャプション生成用のBLIPをファインチューニングする方法 | |||
| Transformersで画像類似度システムを構築する方法 | 画像類似度システムを構築する方法を示します | |||
| セマンティックセグメンテーションでSegFormerモデルをファインチューニングする方法 | データの前処理方法と、事前学習済みSegFormerモデルをセマンティックセグメンテーションでファインチューニングする方法を示します | |||
| VideoMAEモデルを動画分類でファインチューニングする方法 | データの前処理方法と、事前学習済みのVideoMAEモデルをVideo Classificationでファインチューニングする方法を示します |
オーディオ
| ノートブック | 説明 | ||
|---|---|---|---|
| 英語の音声認識モデルをファインチューニングする方法 | TIMITで事前学習済みのSpeechモデルを前処理してファインチューニングする方法を示します | ||
| 任意の言語で音声認識モデルをファインチューニングする方法 | Common Voice において、多言語で事前学習された音声モデルのデータ前処理とファインチューニングの方法を示します | ||
| 音声分類でモデルをファインチューニングする方法 | データの前処理と、事前学習済みのSpeechモデルをKeyword Spottingにファインチューニングする方法を示します |
生物学的シーケンス
| ノートブック | 説明 | ||
|---|---|---|---|
| 事前学習済みタンパク質モデルのファインチューニング方法 | タンパク質のトークン化方法と、大規模な事前学習済みタンパク質「言語」モデルのファインチューニング方法を確認してください | ||
| タンパク質のフォールドを生成する方法 | タンパク質配列から完全なタンパク質モデルおよびPDBファイルへの生成方法を確認してください | ||
| Nucleotide Transformerモデルのファインチューニング方法 | DNAのトークナイズ方法と、大規模な事前学習済みDNA「言語」モデルのファインチューニング方法を確認してください | ||
| LoRAでNucleotide Transformerモデルをファインチューニングする | メモリ効率を重視して、より大規模なDNAモデルを学習 |
その他のモダリティ
| ノートブック | 説明 | ||
|---|---|---|---|
| 確率的時系列予測 | カスタムデータセットでTime Series Transformerをトレーニングする方法を確認してください |
ユーティリティノートブック
| ノートブック | 説明 | ||
|---|---|---|---|
| モデルをONNXにエクスポートする方法 | ONNX 経由でエクスポートおよび推論ワークロードを実行する方法を強調表示します |
Optimumノートブック
🤗 Optimum は 🤗 Transformers の拡張機能であり、対象ハードウェア上でモデルの学習と実行を最大限に効率化するためのパフォーマンス最適化ツール群を提供します。
| ノートブック | 説明 | ||
|---|---|---|---|
| ONNX Runtime を使用してテキスト分類モデルを量子化する方法 | 任意のGLUEタスクにおいて、ONNX Runtimeを使用してモデルに静的量子化と動的量子化を適用する方法を示します。 | ||
| ONNX Runtimeでテキスト分類モデルをファインチューニングする方法 | ONNX Runtimeを使用して、任意のGLUEタスクでデータを前処理し、モデルをファインチューニングする方法を示します。 | ||
| ONNX Runtime を用いた要約タスクでのモデルのファインチューニング方法 | ONNX Runtimeを使用して、XSUMでデータを前処理し、モデルをファインチューニングする方法を示します。 |
コミュニティノートブック
コミュニティによって開発された他のノートブックは、こちらで利用できます。
Update on GitHub