# XLNet

## 概要

XLNetモデルは、Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Ruslan Salakhutdinov、Quoc V. Le によって [XLNet: Generalized Autoregressive Pretraining for Language Understanding](https://huggingface.co/papers/1906.08237) で提案されました。XLNetは、Transformer-XLモデルの拡張であり、入力シーケンスのファクター化順序のすべての順列にわたる期待尤度を最大化することで、双方向コンテキストを学習するために自己回帰法を用いて事前学習が行われます。

論文の抄録は以下の通りです。

*双方向コンテキストをモデル化できる能力により、BERTのようなデノイジングオートエンコーディングに基づく事前学習は、自己回帰言語モデリングに基づく事前学習手法よりも優れたパフォーマンスを発揮します。しかし、マスクによって入力を破損させることに依存するBERTは、マスクされた位置間の依存関係を無視し、事前学習とファインチューニングの間の不一致に苦しみます。これらの長所と短所を踏まえ、我々はXLNetを提案します。XLNetは汎用化された自己回帰事前学習手法であり、(1) 分解順序のすべての順列にわたる期待尤度を最大化することで双方向コンテキストの学習を可能にし、(2) その自己回帰的な定式化によりBERTの限界を克服します。さらに、XLNetは最先端の自己回帰モデルであるTransformer-XLのアイデアを事前学習に統合しています。実証的に、比較可能な実験設定の下で、XLNetは質問応答、自然言語推論、感情分析、文書ランキングを含む20のタスクにおいてBERTを上回り、多くの場合、大きな差をつけています。*

このモデルは [thomwolf](https://huggingface.co/thomwolf) によって提供されました。元のコードは [こちら](https://github.com/zihangdai/xlnet/) で確認できます。

## 使用のコツ

- `perm_mask` 入力を使用することで、学習時およびテスト時の具体的なアテンションパターンを制御できます。
- 完全に自己回帰的なモデルをさまざまな因子分解順序で訓練することが困難であるため、XLNetは、`target_mapping`入力によって選択された出力トークンのサブセットのみをターゲットとして事前学習されます。
- XLNet をシーケンシャルデコーディング（つまり、完全双方向設定ではない場合）に使用するには、`perm_mask` と `target_mapping` 入力を使用して、アテンションのスパンと出力を制御します。
- XLNetは、シーケンス長の制限がない数少ないモデルの一つです。
- XLNetは従来の自己回帰モデルではなく、それを基盤とした学習戦略を採用しています。文内のトークンを並べ替え、モデルが最後のn個のトークンを使ってn+1番目のトークンを予測できるようにします。この処理はすべてマスクによって行われるため、文は実際には正しい順序でモデルに与えられますが、n+1番目のトークンに対して最初のn個のトークンをマスクする代わりに、XLNetは1,…、シーケンス長のある特定の並べ替えにおいて、それより前のトークンを隠すマスクを使用します。
- XLNetもまた、Transformer-XLと同じ再帰メカニズムを使用して、長期の依存関係を構築します。

## リソース

- [テキスト分類タスクガイド](../tasks/sequence_classification)
- [トークン分類タスクガイド](../tasks/token_classification)
- [質問応答タスクガイド](../tasks/question_answering)
- [因果言語モデリングタスクのガイド](../tasks/language_modeling)
- [多肢選択タスクガイド](../tasks/multiple_choice)

## XLNetConfig[[transformers.XLNetConfig]]

#### transformers.XLNetConfig[[transformers.XLNetConfig]]

```python
transformers.XLNetConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32000, d_model: int = 1024, n_layer: int = 24, n_head: int = 16, d_inner: int = 4096, d_head: int | None = None, ff_activation: str = 'gelu', attn_type: str = 'bi', initializer_range: float = 0.02, layer_norm_eps: float = 1e-12, dropout: float | int = 0.1, mem_len: int | None = 512, reuse_len: int | None = None, use_mems_eval: bool = True, use_mems_train: bool = False, bi_data: bool = False, clamp_len: int = -1, same_length: bool = False, summary_type: str = 'last', summary_use_proj: bool = True, summary_activation: str = 'tanh', summary_last_dropout: float | int = 0.1, start_n_top: int = 5, end_n_top: int = 5, pad_token_id: int | None = 5, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = True)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/configuration_xlnet.py#L28)

**パラメータ:**

vocab_size (`int`、*任意*、デフォルトは `32000`) : モデルの語彙サイズ。`input_ids` で表現できるトークンの種類数を定義します。

d_model (`int`、*任意*、デフォルトは`1024`) : エンコーダ層とプーラー層のサイズ。

n_layer (`int`、*optional*、デフォルトは `24`) : Transformer デコーダーの隠れ層の数。

n_head (`int`、*任意*、デフォルトは`16`) : Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。

d_inner (`int`、*任意*、デフォルトは`4096`) : MLP 表現の次元数。

d_head (`int`, *optional*) : アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。

ff_activation (`str` または `Callable`、*省略可能*、デフォルトは `"gelu"`) : 非線形活性化関数（関数または文字列）です。文字列の場合、`"gelu"`、`"relu"`、`"silu"`、`"gelu_new"` がサポートされています。

attn_type (`str`、*任意*、デフォルトは`"bi"`) : モデルで使用されるアテンションの種類。XLNetには`"bi"`を、Transformer-XLには`"uni"`を設定します。

initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。

layer_norm_eps (`float`、*任意*、デフォルトは `1e-12`) : layer normalization レイヤーで使用する epsilon。

dropout (`Union[float, int]`、*任意*、デフォルトは`0.1`) : すべての dropout 層の比率。

mem_len (`int` または `None`、*任意*) : キャッシュするトークンの数です。以前の forward pass で事前計算済みのキー/バリューペアは再計算されません。詳細は[クイックスタート](https://huggingface.co/transformers/quickstart.html#using-the-past)を参照してください。

reuse_len (`int`, *任意*) : 現在のバッチ内で、将来にわたってキャッシュされ再利用されるトークンの数。

use_mems_eval (`bool`、*任意*、デフォルトは`True`) : 評価モードにおいて、モデルが再帰的メモリ機構を利用するかどうか。

use_mems_train (`bool`、*任意*、デフォルトは`False`) : 学習モードにおいて、モデルが再帰的メモリ機構を利用するかどうかを指定します。事前学習では、`use_mems_train`を`True`に設定することをお勧めします。ファインチューニングでは、[こちら](https://github.com/zihangdai/xlnet/issues/41#issuecomment-505102587)で議論されているように、`use_mems_train`を`False`に設定することをお勧めします。`use_mems_train`が`True`に設定されている場合、学習バッチが正しく前処理されていることを確認する必要があります。*例えば*、`batch_1 = [[This line is], [This is the]]`および`batch_2 = [[ the first line], [ second line]]`のように、すべてのバッチが同じサイズであることも確認してください。

bi_data (`bool`、*任意*、デフォルトは`False`) : 双方向入力パイプラインを使用するかどうか。通常、事前学習中は`True`に、ファインチューニング中は`False`に設定します。

clamp_len (`int`、*optional*、デフォルトは -1) : clamp_len より大きいすべての相対距離をクランプします。この属性を -1 に設定すると、クランプを行いません。

same_length (`bool`、*任意*、デフォルトは`False`) : 各トークンに同じアテンション長を使用するかどうか。

summary_type (`str`、*任意*、デフォルトは "last") : シーケンスサマリーを行う際に使用される引数です。シーケンス分類モデルおよび複数選択モデルで使用されます。以下のオプションのいずれかである必要があります: - `"last"`: 最後のトークンの隠れ状態を取得します (XLNet のように)。 - `"first"`: 最初のトークンの隠れ状態を取得します (BERT のように)。 - `"mean"`: 全トークンの隠れ状態の平均を取得します。 - `"cls_index"`: 分類トークンの位置を示す Tensor を指定します (GPT/GPT-2 のように)。 - `"attn"`: 現在未実装です。マルチヘッドアテンションを使用します。

summary_use_proj (`bool`、*任意*、デフォルトは`True`) : シーケンスサマリーを行う際に使用される引数です。シーケンス分類モデルおよび複数選択モデルで使用されます。ベクトル抽出後に射影を追加するかどうかを指定します。

summary_activation (`str`, *任意*) : シーケンスサマリーを行う際に使用する引数です。シーケンス分類モデルおよび複数選択モデルで使用されます。出力にtanh活性化を適用するには`"tanh"`を指定してください。それ以外の値を指定すると、活性化は適用されません。

summary_last_dropout (`float`、*optional*、デフォルトは 0.1) : シーケンス分類モデルおよび複数選択モデルで使用されます。投影と活性化の後に適用する dropout の比率です。

start_n_top (`int`、*任意*、デフォルト値は 5)：SQuAD 評価スクリプトで使用されます。

end_n_top (`int`、*任意*、デフォルト値は 5)：SQuAD 評価スクリプトで使用されます。

pad_token_id (`int`, *任意*, デフォルトは `5`) : 語彙内でパディングに使用されるトークンID。

bos_token_id (`int`, *任意*, デフォルトは `1`) : 語彙内でストリームの開始に使用されるトークン ID。

eos_token_id (`Union[int, list[int]]`、*任意*、デフォルトは`2`) : 語彙内でストリーム終了に使用されるトークン ID。

tie_word_embeddings (`bool`、*任意*、デフォルトは`True`) : モデルの`tied_weights_keys`マッピングに従って重み埋め込みを共有するかどうか。

これはXLNetModelの設定を保存するための設定クラスです。指定された引数に基づいてXlnetモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[xlnet/xlnet-large-cased](https://huggingface.co/xlnet/xlnet-large-cased)と類似した設定が得られます。

設定オブジェクトは [PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。

例:

```python
>>> from transformers import XLNetConfig, XLNetModel

>>> # Initializing a XLNet configuration
>>> configuration = XLNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XLNetModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## XLNetTokenizer[[transformers.XLNetTokenizer]]

#### transformers.XLNetTokenizer[[transformers.XLNetTokenizer]]

```python
transformers.XLNetTokenizer(vocab: str | list[tuple[str, float]] | None = None, unk_id: int = 0, do_lower_case = False, remove_space = True, keep_accents = False, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', sep_token = '<sep>', pad_token = '<pad>', cls_token = '<cls>', mask_token = '<mask>', _spm_precompiled_charsmap = None, additional_special_tokens = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/tokenization_xlnet.py#L38)

**パラメータ:**

vocab (`list of tuples`, *任意*) : Unigram モデル用の (token, score) タプルのリストです。指定しない場合、空のリストが使用されます。

unk_id (`int`、*任意*、デフォルトは 0) : 語彙における不明トークンの ID。

do_lower_case (`bool`, *任意*, デフォルトは `False`) : トークナイズする際に、入力を小文字にするかどうか。

remove_space (`bool`、*任意*、デフォルトは`True`) : トークン化時にテキストをトリムするかどうか（文字列の前後の余分なスペースを削除する）。

keep_accents (`bool`、*任意*、デフォルトは`False`) : トークン化時にアクセントを保持するかどうか。

bos_token (`str`、*任意*、デフォルトは `"<s>"`) : 事前学習で使用されたシーケンスの開始トークンです。シーケンス分類器のトークンとして使用できます。    特殊トークンを使用してシーケンスを構築する場合は、シーケンスの開始にこのトークンは使用されません。使用されるのは `cls_token` です。

eos_token (`str`、*任意*、デフォルトは`"</s>"`) : シーケンスの終了トークン。特殊トークンを使用してシーケンスを構築する場合は、シーケンスの終了に使用されるトークンではありません。使用されるトークンは`sep_token`です。

unk_token (`str`、*任意*、デフォルトは `"<unk>"`) : 不明トークン。語彙に存在しないトークンは ID に変換できず、代わりにこのトークンが設定されます。

sep_token (`str`、*任意*、デフォルトは `"<sep>"`) : 区切りトークンです。複数のシーケンスからシーケンスを構築する際に使用されます。例えば、シーケンス分類では2つのシーケンス、質問応答ではテキストと質問です。また、特殊トークンを用いて構築されたシーケンスの最後のトークンとしても使用されます。

pad_token (`str`、*任意*、デフォルトは `"<pad>"`) : パディングに使用されるトークンです。長さの異なるシーケンスをバッチ処理する場合などに使用します。

cls_token (`str`、*任意*、デフォルトは `"<cls>"`) : シーケンス分類（トークンごとの分類ではなく、シーケンス全体の分類）を行う際に使用される分類トークンです。特殊トークンを用いて構築された場合、シーケンスの最初のトークンになります。

mask_token (`str`、*任意*、デフォルトは `"<mask>"`) : 値をマスクするために使用されるトークンです。これは、マスク言語モデリングでこのモデルを訓練する際に使用されるトークンです。モデルが予測しようとするトークンです。

additional_special_tokens (`list[str]`、*任意*、デフォルトは `["<eop>", "<eod>"]`) : トークナイザーで使用される追加の特殊トークン。

HuggingFaceの*tokenizers*ライブラリをベースにしたXLNetのトークナイザーを構築します。[Unigram](https://huggingface.co/docs/tokenizers/python/latest/components.html?highlight=unigram#models)に基づいています。

このトークナイザーは、[TokenizersBackend](/docs/transformers/v5.23.0/ja/main_classes/tokenizer#transformers.TokenizersBackend) を継承しており、主要なメソッドの大部分がそこに含まれています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。

#### get_special_tokens_mask[[transformers.XLNetTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1337)

**パラメータ:**

token_ids_0 : (すでにフォーマット済みの可能性がある) シーケンスの ID のリスト。

token_ids_1 `already_has_special_tokens=True` の場合は使用されません。その場合は None でなければなりません。

already_has_special_tokens : シーケンスがすでに特殊トークンでフォーマットされているかどうか。

**戻り値:** 範囲 [0, 1] 内の整数のリスト

特殊トークンには1、シーケンストークンには0を指定します。

特殊トークンが追加されていないトークンリストからシーケンスIDを取得します。

高速なトークナイザーでは、データコラテーターは`already_has_special_tokens=True`を指定してこの関数を呼び出し、すでに整形済みのシーケンスに対してマスクを構築します。その場合、`all_special_ids`への所属を確認することによってマスクを計算します。

#### save_vocabulary[[transformers.XLNetTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L547)

## XLNet固有の出力[[transformers.models.xlnet.modeling_xlnet.XLNetModelOutput]]

#### transformers.models.xlnet.modeling_xlnet.XLNetModelOutput[[transformers.models.xlnet.modeling_xlnet.XLNetModelOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetModelOutput(last_hidden_state: Tensor, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L659)

**パラメータ:**

last_hidden_state (`torch.Tensor`、shape `(batch_size, num_predict, hidden_size)`) : モデルの最終層におけるhidden-statesのシーケンス。 `num_predict`は`target_mapping.shape[1]`に対応します。`target_mapping`が`None`の場合、`num_predict`は`sequence_length`に対応します。

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states を含みます。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。

hidden_states (`tuple[torch.Tensor, ...]`、*任意*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor, ...]`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

[XLNetModel](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetModel)の出力型。

#### transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput[[transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L684)

**パラメータ:**

loss (`torch.Tensor`、形状 *(1,)*、*任意*、`labels` が指定された場合に返されます) : 言語モデリングの損失（次のトークンの予測用）。

logits (`torch.Tensor`、shape `(batch_size, num_predict, config.vocab_size)`) : 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。 `num_predict` は `target_mapping.shape[1]` に対応します。 `target_mapping` が `None` の場合、`num_predict` は `sequence_length` に対応します。

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states を含みます。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。

hidden_states (`tuple[torch.Tensor, ...]`、*任意*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor, ...]`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

[XLNetLMHeadModel](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetLMHeadModel)の出力型。

#### transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L712)

**パラメータ:**

loss (`torch.Tensor`、shape `(1,)`、*optional*、`label` が指定された場合に返されます) : 分類（または config.num_labels==1 の場合は回帰）の損失。

logits (`torch.Tensor`、shape `(batch_size, config.num_labels)`) : SoftMax 適用前の分類スコア（config.num_labels==1 の場合は回帰スコア）。

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states を含みます。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。

hidden_states (`tuple[torch.Tensor, ...]`、*任意*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor, ...]`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

[XLNetForSequenceClassification](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForSequenceClassification)の出力型。

#### transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L762)

**パラメータ:**

loss (`torch.Tensor`、形状 *(1,)*、*任意*、`labels` が指定された場合に返されます) : 分類損失。

logits (`torch.Tensor`、shape `(batch_size, num_choices)`) : *num_choices*は入力テンソルの2番目の次元です（上記の*input_ids*を参照）。SoftMax適用前の分類スコア。

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states を含みます。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。

hidden_states (`tuple[torch.Tensor, ...]`、*任意*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor, ...]`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

[XLNetForMultipleChoice](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForMultipleChoice)の出力型。

#### transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L737)

**パラメータ:**

loss (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) : 分類損失。

logits (`torch.Tensor`、形状 `(batch_size, sequence_length, config.num_labels)`) : SoftMax 適用前の分類スコア。

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states を含みます。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。

hidden_states (`tuple[torch.Tensor, ...]`、*任意*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor, ...]`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

`XLNetForTokenClassificationOutput`の出力型です。

#### transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput(loss: typing.Optional[torch.Tensor] = None, start_logits: typing.Optional[torch.Tensor] = None, end_logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L789)

**パラメータ:**

loss (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) : 総スパン抽出損失は、開始位置と終了位置の Cross-Entropy の和です。

start_logits (`torch.Tensor`、形状 `(batch_size, sequence_length,)`) : スパン開始スコア（SoftMax 適用前）。

end_logits (`torch.Tensor`、形状 `(batch_size, sequence_length,)`) : Span-end スコア（SoftMax 適用前）。

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states を含みます。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。

hidden_states (`tuple[torch.Tensor, ...]`、*任意*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor, ...]`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

[XLNetForQuestionAnsweringSimple](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForQuestionAnsweringSimple)の出力型。

#### transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput(loss: typing.Optional[torch.Tensor] = None, start_top_log_probs: typing.Optional[torch.Tensor] = None, start_top_index: typing.Optional[torch.LongTensor] = None, end_top_log_probs: typing.Optional[torch.Tensor] = None, end_top_index: typing.Optional[torch.LongTensor] = None, cls_logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L817)

**パラメータ:**

loss (`torch.Tensor`、shape `(1,)`、*optional*、`start_positions` と `end_positions` の両方が提供された場合に返されます) : 開始トークン、終了トークン（提供された場合は is_impossible）の分類損失の合計としての分類損失。

start_top_log_probs (`torch.Tensor`、形状 `(batch_size, config.start_n_top)`、*optional*、`start_positions` または `end_positions` が指定されていない場合に返されます) : 上位 config.start_n_top 個の開始トークンの候補の対数確率（ビームサーチ）。

start_top_index (`torch.LongTensor`、形状 `(batch_size, config.start_n_top)`、*optional*、`start_positions` または `end_positions` が指定されていない場合に返されます) : 上位 config.start_n_top 個の開始トークンの候補のインデックス（ビームサーチ）。

end_top_log_probs (`torch.Tensor`、形状 `(batch_size, config.start_n_top * config.end_n_top)`、*optional*、`start_positions` または `end_positions` が指定されていない場合に返されます) : 上位 `config.start_n_top * config.end_n_top` の終了トークンの可能性の対数確率（ビームサーチ）。

end_top_index (`torch.LongTensor`、形状 `(batch_size, config.start_n_top * config.end_n_top)`、*optional*、`start_positions` または `end_positions` が指定されていない場合に返されます) : 上位 `config.start_n_top * config.end_n_top` の終了トークンの候補のインデックス（ビームサーチ）。

cls_logits (`torch.Tensor`、形状 `(batch_size,)`、*任意*、`start_positions` または `end_positions` が指定されていない場合に返されます) : 回答の `is_impossible` ラベルの対数確率。

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states を含みます。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。

hidden_states (`tuple[torch.Tensor, ...]`、*任意*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor, ...]`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

[XLNetForQuestionAnswering](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForQuestionAnswering)の出力型。

## XLNetModel[[transformers.XLNetModel]]

#### transformers.XLNetModel[[transformers.XLNetModel]]

```python
transformers.XLNetModel(config: XLNetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L851)

**パラメータ:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

特定のヘッドを上に持たず、生のhidden-statesを出力する素のXlnetモデル。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.XLNetModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L976)

**パラメータ:**

input_ids (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states（`mems` 出力を参照）が含まれます。シーケンシャルデコーディングを高速化するために使用できます。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。`mems` を利用するには、`use_mems` を `True` に設定する必要があります。

perm_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, sequence_length)`、*任意*) : 各入力トークンのアテンションパターンを示すマスク。値は `[0, 1]` から選択されます:  - `perm_mask[k, i, j] = 0` の場合、バッチ k において i は j にアテンションします; - `perm_mask[k, i, j] = 1` の場合、バッチ k において i は j にアテンションしません。 設定されていない場合、各トークンは他のすべてのトークンにアテンションします（完全双方向アテンション）。プリトレーニング（ファクター化順序の定義）またはシーケンシャルデコーディング（生成）のときにのみ使用されます。

target_mapping (`torch.Tensor`、形状 `(batch_size, num_predict, sequence_length)`、*任意*) : 使用する出力トークンを示すマスクです。`target_mapping[k, i, j] = 1` の場合、バッチ k の i 番目の predict が j 番目のトークン上にあることを示します。事前学習時の部分予測または逐次デコーディング（生成）でのみ使用されます。

token_type_ids (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : 入力の前半と後半を示すセグメントトークンインデックス。インデックスは `[0, 1]` から選択されます:  - 0 は *文 A* のトークンに対応します。 - 1 は *文 B* のトークンに対応します。  [トークンタイプIDとは何ですか？](../glossary#token-type-ids)

input_mask (`torch.Tensor`、shape `batch_size, sequence_length`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスク。`attention_mask` の負、つまり実トークンは 0、padding は 1 であり、元のコードベースとの互換性を保つために保持されています。 `[0, 1]` から選択されるマスクの値: - **マスク**されるトークンは 1、 - **マスクされない**トークンは 0。 `input_mask` と `attention_mask` はどちらか一方のみ使用できます。

inputs_embeds (`torch.Tensor`、shape `(batch_size, sequence_length, hidden_size)`、*任意*) : `input_ids` を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、`input_ids` のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。

use_mems (`bool`, *任意*) : 逐次デコーディングを高速化するためにメモリ状態を使用するかどうか。`True`に設定すると、モデルは以前のフォワードパスからの隠れ状態を使用してアテンションを計算します。これにより、逐次デコーディングタスクのパフォーマンスが大幅に向上する可能性があります。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

**戻り値:** [XLNetModelOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetModelOutput) または `tuple(torch.Tensor)`

設定（[XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)）や入力に応じて、さまざまな要素で構成される、[XLNetModelOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetModelOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。

[XLNetModel](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, num_predict, hidden_size)`) -- モデルの最終層における隠れ状態のシーケンス。

  `num_predict` は `target_mapping.shape[1]` に相当します。`target_mapping` が `None` の場合、`num_predict` は `sequence_length` に相当します。
- **mems** (`list[torch.Tensor]`、長さは `config.n_layers`) -- 事前計算済みの hidden-states を保持します。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。
- **hidden_states** (`tuple[torch.Tensor, ...]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor, ...]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

## XLNetLMHeadModel[[transformers.XLNetLMHeadModel]]

#### transformers.XLNetLMHeadModel[[transformers.XLNetLMHeadModel]]

```python
transformers.XLNetLMHeadModel(config: XLNetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1215)

**パラメータ:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

入力埋め込みの重みと結合された線形層を上部に備えた言語モデリングヘッド付きのXLNetモデル。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.XLNetLMHeadModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1290)

**パラメータ:**

input_ids (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states（`mems` 出力を参照）が含まれます。シーケンシャルデコーディングを高速化するために使用できます。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。`mems` を利用するには、`use_mems` を `True` に設定する必要があります。

perm_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, sequence_length)`、*任意*) : 各入力トークンのアテンションパターンを示すマスク。値は `[0, 1]` から選択されます:  - `perm_mask[k, i, j] = 0` の場合、バッチ k において i は j にアテンションします; - `perm_mask[k, i, j] = 1` の場合、バッチ k において i は j にアテンションしません。 設定されていない場合、各トークンは他のすべてのトークンにアテンションします（完全双方向アテンション）。プリトレーニング（ファクター化順序の定義）またはシーケンシャルデコーディング（生成）のときにのみ使用されます。

target_mapping (`torch.Tensor`、形状 `(batch_size, num_predict, sequence_length)`、*任意*) : 使用する出力トークンを示すマスクです。`target_mapping[k, i, j] = 1` の場合、バッチ k の i 番目の predict が j 番目のトークン上にあることを示します。事前学習時の部分予測または逐次デコーディング（生成）でのみ使用されます。

token_type_ids (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : 入力の前半と後半を示すセグメントトークンインデックス。インデックスは `[0, 1]` から選択されます:  - 0 は *文 A* のトークンに対応します。 - 1 は *文 B* のトークンに対応します。  [トークンタイプIDとは何ですか？](../glossary#token-type-ids)

input_mask (`torch.Tensor`、shape `batch_size, sequence_length`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスク。`attention_mask` の負、つまり実トークンは 0、padding は 1 であり、元のコードベースとの互換性を保つために保持されています。 `[0, 1]` から選択されるマスクの値: - **マスク**されるトークンは 1、 - **マスクされない**トークンは 0。 `input_mask` と `attention_mask` はどちらか一方のみ使用できます。

inputs_embeds (`torch.Tensor`、shape `(batch_size, sequence_length, hidden_size)`、*任意*) : `input_ids` を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、`input_ids` のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。

labels (`torch.LongTensor`、shape `(batch_size, num_predict)`、*optional*) : マスク言語モデリング用のラベルです。`num_predict` は `target_mapping.shape[1]` に対応します。`target_mapping` が `None` の場合、`num_predict` は `sequence_length` に対応します。ラベルは、予測すべきマスクされた入力単語に対応する必要があり、`target_mapping` に依存します。標準的な自己回帰言語モデリングを実行するには、`input_ids` に ** トークンを追加する必要があります（`prepare_inputs_for_generation` 関数および以下の例を参照してください）。インデックスは `[-100, 0, ..., config.vocab_size]` から選択されます。`-100` に設定されたすべてのラベルは無視され、損失は `[0, ..., config.vocab_size]` 内のラベルに対してのみ計算されます。

use_mems (`bool`, *任意*) : 逐次デコーディングを高速化するためにメモリ状態を使用するかどうか。`True`に設定すると、モデルは以前のフォワードパスからの隠れ状態を使用してアテンションを計算します。これにより、逐次デコーディングタスクのパフォーマンスが大幅に向上する可能性があります。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

logits_to_keep (`Union[int, torch.Tensor]`、*任意*、デフォルトは `0`) : `int` の場合、最後の `logits_to_keep` トークンについて logits を計算します。`0` の場合、すべての `input_ids` について logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。`torch.Tensor` の場合、シーケンス長次元で保持するインデックスに対応する 1 次元である必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめる形式）を使用する場合に有用です。

**戻り値:** [XLNetLMHeadModelOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput) または `tuple(torch.Tensor)`

`torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）または [XLNetLMHeadModelOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput)。設定（[XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)）と入力に応じて、さまざまな要素で構成されます。

[XLNetLMHeadModel](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetLMHeadModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 *(1,)*、*オプション*、`labels` が指定された場合に返されます) -- 言語モデリングの損失（次のトークンの予測用）。
- **logits** (`torch.Tensor`、形状 `(batch_size, num_predict, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。

  `num_predict` は `target_mapping.shape[1]` に相当します。`target_mapping` が `None` の場合、`num_predict` は `sequence_length` に相当します。
- **mems** (`list[torch.Tensor]`、長さは `config.n_layers`) -- 事前計算済みの hidden-states を保持します。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。
- **hidden_states** (`tuple[torch.Tensor, ...]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor, ...]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoTokenizer, XLNetLMHeadModel
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetLMHeadModel.from_pretrained("xlnet/xlnet-large-cased")

>>> # We show how to setup inputs to predict a next token using a bi-directional context.
>>> input_ids = torch.tensor(
...     tokenizer.encode("Hello, my dog is very <mask>", add_special_tokens=False)
... ).unsqueeze(
...     0
... )  # We will predict the masked token
>>> perm_mask = torch.zeros((1, input_ids.shape[1], input_ids.shape[1]), dtype=torch.float)
>>> perm_mask[:, :, -1] = 1.0  # Previous tokens don't see last token
>>> target_mapping = torch.zeros(
...     (1, 1, input_ids.shape[1]), dtype=torch.float
... )  # Shape [1, 1, seq_length] => let's predict one token
>>> target_mapping[
...     0, 0, -1
... ] = 1.0  # Our first (and only) prediction will be the last token of the sequence (the masked token)

>>> outputs = model(input_ids, perm_mask=perm_mask, target_mapping=target_mapping)
>>> next_token_logits = outputs[
...     0
... ]  # Output has shape [target_mapping.size(0), target_mapping.size(1), config.vocab_size]

>>> # The same way can the XLNetLMHeadModel be used to be trained by standard auto-regressive language modeling.
>>> input_ids = torch.tensor(
...     tokenizer.encode("Hello, my dog is very <mask>", add_special_tokens=False)
... ).unsqueeze(
...     0
... )  # We will predict the masked token
>>> labels = torch.tensor(tokenizer.encode("cute", add_special_tokens=False)).unsqueeze(0)
>>> assert labels.shape[0] == 1, "only one word will be predicted"
>>> perm_mask = torch.zeros((1, input_ids.shape[1], input_ids.shape[1]), dtype=torch.float)
>>> perm_mask[
...     :, :, -1
... ] = 1.0  # Previous tokens don't see last token as is done in standard auto-regressive lm training
>>> target_mapping = torch.zeros(
...     (1, 1, input_ids.shape[1]), dtype=torch.float
... )  # Shape [1, 1, seq_length] => let's predict one token
>>> target_mapping[
...     0, 0, -1
... ] = 1.0  # Our first (and only) prediction will be the last token of the sequence (the masked token)

>>> outputs = model(input_ids, perm_mask=perm_mask, target_mapping=target_mapping, labels=labels)
>>> loss = outputs.loss
>>> next_token_logits = (
...     outputs.logits
... )  # Logits have shape [target_mapping.size(0), target_mapping.size(1), config.vocab_size]
```

## XLNetForSequenceClassification[[transformers.XLNetForSequenceClassification]]

#### transformers.XLNetForSequenceClassification[[transformers.XLNetForSequenceClassification]]

```python
transformers.XLNetForSequenceClassification(config: XLNetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1462)

**パラメータ:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

シーケンス分類/回帰ヘッドを上部に備えたXLNetモデル（プーリングされた出力の上に線形層を配置）GLUEタスクなどに使用します。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.XLNetForSequenceClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1475)

**パラメータ:**

input_ids (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states（`mems` 出力を参照）が含まれます。シーケンシャルデコーディングを高速化するために使用できます。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。`mems` を利用するには、`use_mems` を `True` に設定する必要があります。

perm_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, sequence_length)`、*任意*) : 各入力トークンのアテンションパターンを示すマスク。値は `[0, 1]` から選択されます:  - `perm_mask[k, i, j] = 0` の場合、バッチ k において i は j にアテンションします; - `perm_mask[k, i, j] = 1` の場合、バッチ k において i は j にアテンションしません。 設定されていない場合、各トークンは他のすべてのトークンにアテンションします（完全双方向アテンション）。プリトレーニング（ファクター化順序の定義）またはシーケンシャルデコーディング（生成）のときにのみ使用されます。

target_mapping (`torch.Tensor`、形状 `(batch_size, num_predict, sequence_length)`、*任意*) : 使用する出力トークンを示すマスクです。`target_mapping[k, i, j] = 1` の場合、バッチ k の i 番目の predict が j 番目のトークン上にあることを示します。事前学習時の部分予測または逐次デコーディング（生成）でのみ使用されます。

token_type_ids (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : 入力の前半と後半を示すセグメントトークンインデックス。インデックスは `[0, 1]` から選択されます:  - 0 は *文 A* のトークンに対応します。 - 1 は *文 B* のトークンに対応します。  [トークンタイプIDとは何ですか？](../glossary#token-type-ids)

input_mask (`torch.Tensor`、shape `batch_size, sequence_length`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスク。`attention_mask` の負、つまり実トークンは 0、padding は 1 であり、元のコードベースとの互換性を保つために保持されています。 `[0, 1]` から選択されるマスクの値: - **マスク**されるトークンは 1、 - **マスクされない**トークンは 0。 `input_mask` と `attention_mask` はどちらか一方のみ使用できます。

inputs_embeds (`torch.Tensor`、shape `(batch_size, sequence_length, hidden_size)`、*任意*) : `input_ids` を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、`input_ids` のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。

labels (`torch.LongTensor`、形状 `(batch_size,)`、*任意*) : シーケンス分類/回帰の損失を計算するためのラベル。インデックスは `[0, ..., config.num_labels - 1]` の範囲である必要があります。`config.num_labels == 1` の場合は回帰損失（平均二乗誤差）が計算され、`config.num_labels > 1` の場合は分類損失（クロスエントロピー）が計算されます。

use_mems (`bool`, *任意*) : 逐次デコーディングを高速化するためにメモリ状態を使用するかどうか。`True`に設定すると、モデルは以前のフォワードパスからの隠れ状態を使用してアテンションを計算します。これにより、逐次デコーディングタスクのパフォーマンスが大幅に向上する可能性があります。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

**戻り値:** [XLNetForSequenceClassificationOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput) または `tuple(torch.Tensor)`

設定（[XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)）や入力に応じて、さまざまな要素で構成される、[XLNetForSequenceClassificationOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。

[XLNetForSequenceClassification](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForSequenceClassification)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、shape `(1,)`、*optional*、`label` が指定された場合に返されます) -- 分類（config.num_labels==1 の場合は回帰）の損失。
- **logits** (`torch.Tensor`、形状 `(batch_size, config.num_labels)`) -- SoftMax 適用前の分類（または config.num_labels==1 の場合は回帰）スコア。
- **mems** (`list[torch.Tensor]`、長さは `config.n_layers`) -- 事前計算済みの hidden-states を保持します。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。
- **hidden_states** (`tuple[torch.Tensor, ...]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor, ...]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

単一ラベル分類の例:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLNetForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

マルチラベル分類の例:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLNetForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLNetForSequenceClassification.from_pretrained(
...     "xlnet/xlnet-large-cased", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## XLNetForMultipleChoice[[transformers.XLNetForMultipleChoice]]

#### transformers.XLNetForMultipleChoice[[transformers.XLNetForMultipleChoice]]

```python
transformers.XLNetForMultipleChoice(config: XLNetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1694)

**パラメータ:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

RocStories/SWAGタスクなど、プーリングされた出力の上に線形層とsoftmaxを配置した複数選択分類ヘッドを備えたXlnetモデル。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.XLNetForMultipleChoice.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1705)

**パラメータ:**

input_ids (`torch.LongTensor`、shape `(batch_size, num_choices, sequence_length)`) : 語彙における入力シーケンスのトークンインデックス。[AutoTokenizer](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoTokenizer) を使用してインデックスを取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。[入力 ID とは何か？](../glossary#input-ids)

token_type_ids (`torch.LongTensor`、shape `(batch_size, num_choices, sequence_length)`、*任意*) : 入力の第1部分と第2部分を区別するためのセグメントトークンインデックス。インデックスは`[0, 1]`から選択されます:  - 0 は*文A*のトークンに対応します。 - 1 は*文B*のトークンに対応します。  [トークンタイプIDとは何ですか？](../glossary#token-type-ids)

input_mask (`torch.Tensor`、shape `batch_size, num_choices, sequence_length`、*optional*) : padding トークンのインデックスに対する attention を回避するためのマスク。`attention_mask` の負、つまり実トークンは 0、padding は 1 であり、元のコードベースとの互換性を保つために保持されています。 `[0, 1]` から選択されるマスクの値: - **masked** されているトークンは 1、- **masked** されていないトークンは 0。 `input_mask` と `attention_mask` はどちらか一方のみ使用できます。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states（`mems` 出力を参照）が含まれます。シーケンシャルデコーディングを高速化するために使用できます。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。`mems` を利用するには、`use_mems` を `True` に設定する必要があります。

perm_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, sequence_length)`、*任意*) : 各入力トークンのアテンションパターンを示すマスク。値は `[0, 1]` から選択されます:  - `perm_mask[k, i, j] = 0` の場合、バッチ k において i は j にアテンションします; - `perm_mask[k, i, j] = 1` の場合、バッチ k において i は j にアテンションしません。 設定されていない場合、各トークンは他のすべてのトークンにアテンションします（完全双方向アテンション）。プリトレーニング（ファクター化順序の定義）またはシーケンシャルデコーディング（生成）のときにのみ使用されます。

target_mapping (`torch.Tensor`、形状 `(batch_size, num_predict, sequence_length)`、*任意*) : 使用する出力トークンを示すマスクです。`target_mapping[k, i, j] = 1` の場合、バッチ k の i 番目の predict が j 番目のトークン上にあることを示します。事前学習時の部分予測または逐次デコーディング（生成）でのみ使用されます。

inputs_embeds (`torch.Tensor`、shape `(batch_size, num_choices, sequence_length, hidden_size)`、*optional*) : `input_ids`を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込みルックアップ行列よりも、`input_ids`のインデックスを関連するベクトルに変換する方法をより細かく制御したい場合に便利です。

labels (`torch.LongTensor`、shape `(batch_size,)`、*optional*) : 多肢選択分類の損失を計算するためのラベル。インデックスは `[0, ...,

use_mems (`bool`, *任意*) : 逐次デコーディングを高速化するためにメモリ状態を使用するかどうか。`True`に設定すると、モデルは以前のフォワードパスからの隠れ状態を使用してアテンションを計算します。これにより、逐次デコーディングタスクのパフォーマンスが大幅に向上する可能性があります。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

**戻り値:** [XLNetForMultipleChoiceOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput) または `tuple(torch.Tensor)`

設定（[XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)）や入力に応じて、さまざまな要素で構成される、[XLNetForMultipleChoiceOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。

[XLNetForMultipleChoice](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForMultipleChoice)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 *(1,)*、*オプション*、`labels` が指定された場合に返されます) -- 分類損失。
- **logits** (`torch.Tensor`、形状 `(batch_size, num_choices)`) -- *num_choices* は入力テンソルの2番目の次元です（*input_ids* を参照）。

  分類スコア（SoftMax 適用前）。
- **mems** (`list[torch.Tensor]`、長さは `config.n_layers`) -- 事前計算済みの hidden-states を保持します。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。
- **hidden_states** (`tuple[torch.Tensor, ...]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor, ...]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoTokenizer, XLNetForMultipleChoice
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForMultipleChoice.from_pretrained("xlnet/xlnet-large-cased")

>>> prompt = "In Italy, pizza served in formal settings, such as at a restaurant, is presented unsliced."
>>> choice0 = "It is eaten with a fork and a knife."
>>> choice1 = "It is eaten while held in the hand."
>>> labels = torch.tensor(0).unsqueeze(0)  # choice0 is correct (according to Wikipedia ;)), batch size 1

>>> encoding = tokenizer([prompt, prompt], [choice0, choice1], return_tensors="pt", padding=True)
>>> outputs = model(**{k: v.unsqueeze(0) for k, v in encoding.items()}, labels=labels)  # batch size is 1

>>> # the linear classifier still needs to be trained
>>> loss = outputs.loss
>>> logits = outputs.logits
```

## XLNetForTokenClassification[[transformers.XLNetForTokenClassification]]

#### transformers.XLNetForTokenClassification[[transformers.XLNetForTokenClassification]]

```python
transformers.XLNetForTokenClassification(config: XLNetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1586)

**パラメータ:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

トークン分類ヘッド（隠れ状態の出力の上に線形層を配置したもの）を備えたXlnetトランスフォーマー。例として、固有表現抽出（NER）タスクに使用できます。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.XLNetForTokenClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1597)

**パラメータ:**

input_ids (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states（`mems` 出力を参照）が含まれます。シーケンシャルデコーディングを高速化するために使用できます。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。`mems` を利用するには、`use_mems` を `True` に設定する必要があります。

perm_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, sequence_length)`、*任意*) : 各入力トークンのアテンションパターンを示すマスク。値は `[0, 1]` から選択されます:  - `perm_mask[k, i, j] = 0` の場合、バッチ k において i は j にアテンションします; - `perm_mask[k, i, j] = 1` の場合、バッチ k において i は j にアテンションしません。 設定されていない場合、各トークンは他のすべてのトークンにアテンションします（完全双方向アテンション）。プリトレーニング（ファクター化順序の定義）またはシーケンシャルデコーディング（生成）のときにのみ使用されます。

target_mapping (`torch.Tensor`、形状 `(batch_size, num_predict, sequence_length)`、*任意*) : 使用する出力トークンを示すマスクです。`target_mapping[k, i, j] = 1` の場合、バッチ k の i 番目の predict が j 番目のトークン上にあることを示します。事前学習時の部分予測または逐次デコーディング（生成）でのみ使用されます。

token_type_ids (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : 入力の前半と後半を示すセグメントトークンインデックス。インデックスは `[0, 1]` から選択されます:  - 0 は *文 A* のトークンに対応します。 - 1 は *文 B* のトークンに対応します。  [トークンタイプIDとは何ですか？](../glossary#token-type-ids)

input_mask (`torch.Tensor`、shape `batch_size, sequence_length`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスク。`attention_mask` の負、つまり実トークンは 0、padding は 1 であり、元のコードベースとの互換性を保つために保持されています。 `[0, 1]` から選択されるマスクの値: - **マスク**されるトークンは 1、 - **マスクされない**トークンは 0。 `input_mask` と `attention_mask` はどちらか一方のみ使用できます。

inputs_embeds (`torch.Tensor`、shape `(batch_size, sequence_length, hidden_size)`、*任意*) : `input_ids` を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、`input_ids` のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。

labels (`torch.LongTensor`、形状 `(batch_size,)`、*任意*) : 多肢選択分類の損失を計算するためのラベル。インデックスは `[0, ..., num_choices]` の範囲である必要があります。ここで *num_choices* は、入力テンソルの2次元目のサイズです（上記の *input_ids* を参照）。

use_mems (`bool`, *任意*) : 逐次デコーディングを高速化するためにメモリ状態を使用するかどうか。`True`に設定すると、モデルは以前のフォワードパスの隠れ状態を使用してアテンションを計算し、逐次デコーディングタスクのパフォーマンスを大幅に向上させることができます。逐次デコーディングを高速化するためのメモリ状態。`True`に設定すると、モデルは以前のフォワードパスの隠れ状態を使用してアテンションを計算し、逐次デコーディングタスクのパフォーマンスを大幅に向上させることができます。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

**戻り値:** [XLNetForTokenClassificationOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput) または `tuple(torch.Tensor)`

設定（[XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)）や入力に応じて、さまざまな要素で構成される、[XLNetForTokenClassificationOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。

[XLNetForTokenClassification](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForTokenClassification)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- 分類損失。
- **logits** (`torch.Tensor`、形状 `(batch_size, sequence_length, config.num_labels)`) -- SoftMax 適用前の分類スコア。
- **mems** (`list[torch.Tensor]`、長さは `config.n_layers`) -- 事前計算済みの hidden-states を保持します。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。
- **hidden_states** (`tuple[torch.Tensor, ...]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor, ...]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoTokenizer, XLNetForTokenClassification
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForTokenClassification.from_pretrained("xlnet/xlnet-large-cased")

>>> inputs = tokenizer(
...     "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_token_class_ids = logits.argmax(-1)

>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...

>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

## XLNetForQuestionAnsweringSimple[[transformers.XLNetForQuestionAnsweringSimple]]

#### transformers.XLNetForQuestionAnsweringSimple[[transformers.XLNetForQuestionAnsweringSimple]]

```python
transformers.XLNetForQuestionAnsweringSimple(config: XLNetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1838)

**パラメータ:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

SQuADのような抽出型質問応答タスク用に、span分類ヘッドを上に配置したXLNetモデル（hidden-statesの出力の上に線形層を配置し、`span start logits`と`span end logits`を計算する）。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.XLNetForQuestionAnsweringSimple.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1849)

**パラメータ:**

input_ids (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states（`mems` 出力を参照）が含まれます。シーケンシャルデコーディングを高速化するために使用できます。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。`mems` を利用するには、`use_mems` を `True` に設定する必要があります。

perm_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, sequence_length)`、*任意*) : 各入力トークンのアテンションパターンを示すマスク。値は `[0, 1]` から選択されます:  - `perm_mask[k, i, j] = 0` の場合、バッチ k において i は j にアテンションします; - `perm_mask[k, i, j] = 1` の場合、バッチ k において i は j にアテンションしません。 設定されていない場合、各トークンは他のすべてのトークンにアテンションします（完全双方向アテンション）。プリトレーニング（ファクター化順序の定義）またはシーケンシャルデコーディング（生成）のときにのみ使用されます。

target_mapping (`torch.Tensor`、形状 `(batch_size, num_predict, sequence_length)`、*任意*) : 使用する出力トークンを示すマスクです。`target_mapping[k, i, j] = 1` の場合、バッチ k の i 番目の predict が j 番目のトークン上にあることを示します。事前学習時の部分予測または逐次デコーディング（生成）でのみ使用されます。

token_type_ids (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : 入力の前半と後半を示すセグメントトークンインデックス。インデックスは `[0, 1]` から選択されます:  - 0 は *文 A* のトークンに対応します。 - 1 は *文 B* のトークンに対応します。  [トークンタイプIDとは何ですか？](../glossary#token-type-ids)

input_mask (`torch.Tensor`、shape `batch_size, sequence_length`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスク。`attention_mask` の負、つまり実トークンは 0、padding は 1 であり、元のコードベースとの互換性を保つために保持されています。 `[0, 1]` から選択されるマスクの値: - **マスク**されるトークンは 1、 - **マスクされない**トークンは 0。 `input_mask` と `attention_mask` はどちらか一方のみ使用できます。

inputs_embeds (`torch.Tensor`、shape `(batch_size, sequence_length, hidden_size)`、*任意*) : `input_ids` を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、`input_ids` のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。

start_positions (`torch.Tensor`、shape `(batch_size,)`、*任意*) : トークン分類損失の計算に使用する、ラベル付きスパンの開始位置（インデックス）のラベル。位置はシーケンスの長さ（`sequence_length`）にクランプされます。シーケンス外の位置は、損失の計算には考慮されません。

end_positions (`torch.Tensor`、shape `(batch_size,)`、*任意*) : トークン分類損失の計算に使用する、ラベル付きスパンの終了位置（インデックス）のラベル。位置はシーケンスの長さ（`sequence_length`）にクランプされます。シーケンス外の位置は、損失の計算には考慮されません。

use_mems (`bool`, *任意*) : 逐次デコーディングを高速化するためにメモリ状態を使用するかどうか。`True`に設定すると、モデルは以前のフォワードパスからの隠れ状態を使用してアテンションを計算します。これにより、逐次デコーディングタスクのパフォーマンスが大幅に向上する可能性があります。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

**戻り値:** [XLNetForQuestionAnsweringSimpleOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput) または `tuple(torch.Tensor)`

`torch.Tensor` のタプル、または [XLNetForQuestionAnsweringSimpleOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput)（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。設定（[XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)）と入力に応じて、さまざまな要素で構成されます。

[XLNetForQuestionAnsweringSimple](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForQuestionAnsweringSimple) の forward メソッドは、`__call__` という特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- 総スパン抽出損失は、開始位置と終了位置の Cross-Entropy の和です。
- **start_logits** (`torch.Tensor`、形状 `(batch_size, sequence_length,)`) -- スパン開始スコア（SoftMax 適用前）。
- **end_logits** (`torch.Tensor`、形状 `(batch_size, sequence_length,)`) -- スパンの終了スコア（SoftMax 適用前）。
- **mems** (`list[torch.Tensor]`、長さは `config.n_layers`) -- 事前計算済みの hidden-states を保持します。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。
- **hidden_states** (`tuple[torch.Tensor, ...]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor, ...]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoTokenizer, XLNetForQuestionAnsweringSimple
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForQuestionAnsweringSimple.from_pretrained("xlnet/xlnet-large-cased")

>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"

>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()

>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)
...

>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])

>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss
>>> round(loss.item(), 2)
...
```

## XLNetForQuestionAnswering[[transformers.XLNetForQuestionAnswering]]

#### transformers.XLNetForQuestionAnswering[[transformers.XLNetForQuestionAnswering]]

```python
transformers.XLNetForQuestionAnswering(config: XLNetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1959)

**パラメータ:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

SQuADのような抽出型質問応答タスク用に、span分類ヘッドを備えたXlnet transformer（hidden-states出力の上に線形層を置き、`span start logits`と`span end logits`を計算する）。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.XLNetForQuestionAnswering.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, is_impossible: typing.Optional[torch.Tensor] = None, cls_index: typing.Optional[torch.Tensor] = None, p_mask: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1973)

**パラメータ:**

input_ids (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mems (`list[torch.Tensor]`、長さ `config.n_layers`) : 事前計算された hidden-states（`mems` 出力を参照）が含まれます。シーケンシャルデコーディングを高速化するために使用できます。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。`mems` を利用するには、`use_mems` を `True` に設定する必要があります。

perm_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, sequence_length)`、*任意*) : 各入力トークンのアテンションパターンを示すマスク。値は `[0, 1]` から選択されます:  - `perm_mask[k, i, j] = 0` の場合、バッチ k において i は j にアテンションします; - `perm_mask[k, i, j] = 1` の場合、バッチ k において i は j にアテンションしません。 設定されていない場合、各トークンは他のすべてのトークンにアテンションします（完全双方向アテンション）。プリトレーニング（ファクター化順序の定義）またはシーケンシャルデコーディング（生成）のときにのみ使用されます。

target_mapping (`torch.Tensor`、形状 `(batch_size, num_predict, sequence_length)`、*任意*) : 使用する出力トークンを示すマスクです。`target_mapping[k, i, j] = 1` の場合、バッチ k の i 番目の predict が j 番目のトークン上にあることを示します。事前学習時の部分予測または逐次デコーディング（生成）でのみ使用されます。

token_type_ids (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : 入力の前半と後半を示すセグメントトークンインデックス。インデックスは `[0, 1]` から選択されます:  - 0 は *文 A* のトークンに対応します。 - 1 は *文 B* のトークンに対応します。  [トークンタイプIDとは何ですか？](../glossary#token-type-ids)

input_mask (`torch.Tensor`、shape `batch_size, sequence_length`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスク。`attention_mask` の負、つまり実トークンは 0、padding は 1 であり、元のコードベースとの互換性を保つために保持されています。 `[0, 1]` から選択されるマスクの値: - **マスク**されるトークンは 1、 - **マスクされない**トークンは 0。 `input_mask` と `attention_mask` はどちらか一方のみ使用できます。

inputs_embeds (`torch.Tensor`、shape `(batch_size, sequence_length, hidden_size)`、*任意*) : `input_ids` を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、`input_ids` のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。

start_positions (`torch.Tensor`、shape `(batch_size,)`、*任意*) : トークン分類損失の計算に使用する、ラベル付きスパンの開始位置（インデックス）のラベル。位置はシーケンスの長さ（`sequence_length`）にクランプされます。シーケンス外の位置は、損失の計算には考慮されません。

end_positions (`torch.Tensor`、shape `(batch_size,)`、*任意*) : トークン分類損失の計算に使用する、ラベル付きスパンの終了位置（インデックス）のラベル。位置はシーケンスの長さ（`sequence_length`）にクランプされます。シーケンス外の位置は、損失の計算には考慮されません。

is_impossible (`torch.LongTensor`、shape `(batch_size,)`、*任意*) : 質問に回答があるかどうかのラベル（SQuAD 2.0）

cls_index (`torch.LongTensor`、形状 `(batch_size,)`、*任意*) : 回答の妥当性を計算する入力として使用する、分類トークンの位置（インデックス）のラベル。

p_mask (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : 回答に含まれないトークンのマスク（例: [CLS]、[PAD] など）。1.0 はトークンをマスクすることを示し、0.0 はマスクしないことを示します。

use_mems (`bool`, *任意*) : 逐次デコーディングを高速化するためにメモリ状態を使用するかどうか。`True`に設定すると、モデルは以前のフォワードパスからの隠れ状態を使用してアテンションを計算します。これにより、逐次デコーディングタスクのパフォーマンスが大幅に向上する可能性があります。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

**戻り値:** [XLNetForQuestionAnsweringOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput) または `tuple(torch.Tensor)`

設定（[XLNetConfig](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetConfig)）や入力に応じて、さまざまな要素で構成される、[XLNetForQuestionAnsweringOutput](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。

[XLNetForQuestionAnswering](/docs/transformers/v5.23.0/ja/model_doc/xlnet#transformers.XLNetForQuestionAnswering)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、shape `(1,)`、*optional*、`start_positions` と `end_positions` が両方指定された場合に返されます) -- 開始トークン、終了トークン（指定された場合は is_impossible）の分類損失の合計として計算される分類損失。
- **start_top_log_probs** (`torch.Tensor`、形状 `(batch_size, config.start_n_top)`、*任意*、`start_positions` または `end_positions` が指定されていない場合に返されます) -- 開始トークンの上位 config.start_n_top 件の候補の対数確率(ビームサーチ)。
- **start_top_index** (`torch.LongTensor`、shape `(batch_size, config.start_n_top)`、*任意*、`start_positions` または `end_positions` が指定されていない場合に返されます) -- 上位 config.start_n_top 個の開始トークンの候補のインデックス（ビームサーチ）。
- **end_top_log_probs** (`torch.Tensor`、shape `(batch_size, config.start_n_top * config.end_n_top)`、*optional*、`start_positions` または `end_positions` が指定されていない場合に返されます) -- 上位 `config.start_n_top * config.end_n_top` の終了トークンの可能性の対数確率(ビームサーチ)。
- **end_top_index**（`torch.LongTensor`、shape `(batch_size, config.start_n_top * config.end_n_top)`、*optional*、`start_positions` または `end_positions` が指定されていない場合に返されます）-- 上位 `config.start_n_top * config.end_n_top` の終了トークンの候補のインデックス（ビームサーチ）。
- **cls_logits** (`torch.Tensor`、形状 `(batch_size,)`、*任意*、`start_positions` または `end_positions` が指定されていない場合に返されます) -- 回答の `is_impossible` ラベルに対する対数確率。
- **mems** (`list[torch.Tensor]`、長さは `config.n_layers`) -- 事前計算済みの hidden-states を保持します。シーケンシャルなデコーディングを高速化するために使用できます（`mems` 入力参照）。このモデルに past が与えられたトークン ID は、すでに計算済みのため、`input_ids` として渡すべきではありません。
- **hidden_states** (`tuple[torch.Tensor, ...]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor, ...]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoTokenizer, XLNetForQuestionAnswering
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-base-cased")
>>> model = XLNetForQuestionAnswering.from_pretrained("xlnet/xlnet-base-cased")

>>> input_ids = torch.tensor(tokenizer.encode("Hello, my dog is cute", add_special_tokens=True)).unsqueeze(
...     0
... )  # Batch size 1
>>> start_positions = torch.tensor([1])
>>> end_positions = torch.tensor([3])
>>> outputs = model(input_ids, start_positions=start_positions, end_positions=end_positions)

>>> loss = outputs.loss
```

