Transformers documentation

Swin Transformer V2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2021-11-18 dan disumbangkan ke Hugging Face Transformers pada 2022-07-27.

Swin Transformer V2

Swin Transformer V2 adalah model dengan 3 miliar parameter yang berfokus pada cara menskalakan model visi hingga miliaran parameter. Model ini memperkenalkan teknik-teknik seperti residual-post-norm yang dikombinasikan dengan cosine attention untuk meningkatkan stabilitas pelatihan, log-spaced continuous position bias untuk menangani resolusi gambar yang bervariasi antara pra-pelatihan dan penyesuaian halus dengan lebih baik, serta metode pra-pelatihan baru (SimMIM) untuk mengurangi kebutuhan akan data berlabel dalam jumlah besar. Peningkatan ini memungkinkan pelatihan model yang sangat besar (hingga 3 miliar parameter) secara efisien, yang mampu memproses gambar beresolusi tinggi.

Anda dapat menemukan checkpoint resmi Swin Transformer V2 di bawah organisasi Microsoft.

Klik pada model Swin Transformer V2 di bilah sisi kanan untuk melihat lebih banyak contoh cara menerapkan Swin Transformer V2 ke tugas-tugas visi.

Pipeline

AutoModel

Catatan

Swin Transformer V2 dapat melakukan padding pada input untuk tinggi dan lebar input apa pun yang habis dibagi 32.
Swin Transformer V2 dapat digunakan sebagai backbone. Ketika output_hidden_states = True, model ini mengoutputkan hidden_states dan reshaped_hidden_states. Bentuk reshaped_hidden_states adalah (batch, num_channels, height, width), bukan (batch_size, sequence_length, num_channels).

Swinv2Config

kelas transformers.Swinv2Config

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_size: int | list[int] | tuple[int, int] = 224patch_size: int | list[int] | tuple[int, int] = 4num_channels: int = 3embed_dim: int = 96depths: list[int] | tuple[int, ...] = (2, 2, 6, 2)num_heads: list[int] | tuple[int, ...] = (3, 6, 12, 24)window_size: int = 7pretrained_window_sizes: list[int] | tuple[int, ...] = (0, 0, 0, 0)mlp_ratio: float = 4.0qkv_bias: bool = Truehidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0drop_path_rate: float | int = 0.1hidden_act: str = 'gelu'use_absolute_embeddings: bool = Falseinitializer_range: float = 0.02layer_norm_eps: float = 1e-05encoder_stride: int = 32_out_features: list[str] | None = None_out_indices: list[int] | None = None )

Parameter

image_size (Union[int, list[int], tuple[int, int]], opsional, defaultnya 224) — Ukuran (resolusi) dari setiap gambar.
patch_size (Union[int, list[int], tuple[int, int]], opsional, defaultnya 4) — Ukuran (resolusi) dari setiap patch.
num_channels (int, opsional, defaultnya 3) — Jumlah saluran input.
embed_dim (int, opsional, default 96) — Dimensi dari embeddings dan hidden states.
depths (Union[list[int], tuple[int, ...]], opsional, default (2, 2, 6, 2)) — Kedalaman setiap layer dalam Transformer.
num_heads (Union[list[int], tuple[int, ...]], opsional, default (3, 6, 12, 24)) — Jumlah attention head untuk setiap lapisan attention di decoder Transformer.
window_size (int, opsional, defaultnya 7) — Ukuran jendela.
pretrained_window_sizes (list(int), opsional, default [0, 0, 0, 0]) — Ukuran jendela selama pretraining.
mlp_ratio (float, opsional, default 4.0) — Rasio dimensi tersembunyi MLP terhadap dimensi embedding.
qkv_bias (bool, opsional, defaultnya True) — Apakah akan menambahkan bias ke queries, keys, dan values.
hidden_dropout_prob (Union[float, int], opsional, default 0.0) — Probabilitas dropout untuk semua lapisan fully connected di embeddings, encoder, dan pooler.
attention_probs_dropout_prob (Union[float, int], opsional, default 0.0) — Rasio dropout untuk probabilitas perhatian.
drop_path_rate (Union[float, int], opsional, defaultnya 0.1) — Tingkat drop path untuk fusi patch.
hidden_act (str, opsional, defaultnya gelu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya, "gelu", "relu", "silu", dan sebagainya.
use_absolute_embeddings (bool, opsional, defaultnya False) — Apakah akan menggunakan embedding posisi absolut.
initializer_range (float, opsional, defaultnya 0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.
layer_norm_eps (float, opsional, defaultnya 1e-05) — Epsilon yang digunakan oleh lapisan normalisasi lapisan.
encoder_stride (int, opsional, default 32) — Faktor untuk meningkatkan resolusi spasial pada decoder head untuk pemodelan gambar ber-masker.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Swinv2Model. Kelas ini digunakan untuk membuat instans model Swinv2 berdasarkan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari microsoft/swinv2-tiny-patch4-window8-256

Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.

Contoh:

>>> from transformers import Swinv2Config, Swinv2Model

>>> # Initializing a Swinv2 microsoft/swinv2-tiny-patch4-window8-256 style configuration
>>> configuration = Swinv2Config()

>>> # Initializing a model (with random weights) from the microsoft/swinv2-tiny-patch4-window8-256 style configuration
>>> model = Swinv2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Swinv2Model

kelas transformers.Swinv2Model

< source >

( config: Swinv2Configadd_pooling_layer = Trueuse_mask_token = False )

Parameter

config (Swinv2Config) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
add_pooling_layer (bool, opsional, default True) — Apakah akan menerapkan lapisan pooling.
use_mask_token (bool, opsional, default False) — Apakah akan membuat dan menerapkan token mask pada lapisan embedding.

Model Swinv2 polos yang menghasilkan hidden-states mentah tanpa head spesifik di atasnya.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< source >

( pixel_values: typing.Optional[torch.Tensor] = Nonebool_masked_pos: typing.Optional[torch.BoolTensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Noneinterpolate_pos_encoding: bool = Falsereturn_dict: bool | None = None**kwargs ) → Swinv2ModelOutput or tuple(torch.Tensor)

Parameter

pixel_values (torch.Tensor dengan bentuk (batch_size, num_channels, image_size, image_size), opsional) — Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan ViTImageProcessor. Lihat ViTImageProcessor.call() untuk detailnya (processor_class menggunakan ViTImageProcessor untuk memproses gambar).
bool_masked_pos (torch.BoolTensor dengan bentuk (batch_size, num_patches), opsional) — Posisi yang dimasker secara boolean. Menunjukkan patch mana yang dimasker (1) dan mana yang tidak (0).
output_attentions (bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
interpolate_pos_encoding (bool, opsional, default False) — Apakah akan menginterpolasi posisi encoding yang telah dilatih sebelumnya.
return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Mengembalikan

Swinv2ModelOutput atau tuple(torch.Tensor)

Swinv2ModelOutput atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (Swinv2Config) dan input.

Metode forward dari Swinv2Model menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

last_hidden_state (torch.Tensor dengan bentuk (batch_size, sequence_length, hidden_size), opsional) — Urutan hidden-states pada keluaran lapisan terakhir model.
pooler_output (torch.Tensor dengan bentuk (batch_size, hidden_size), opsional, dikembalikan ketika add_pooling_layer=True diberikan) — Average pooling dari hidden-state lapisan terakhir.
hidden_states (tuple[torch.Tensor, ...], opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (tuple[torch.Tensor, ...], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
reshaped_hidden_states (tuple(torch.Tensor), opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output embeddings + satu untuk output setiap tahap) dengan bentuk (batch_size, hidden_size, height, width).

Hidden-states model pada output setiap lapisan ditambah output embedding awal yang di-reshape untuk mencakup dimensi spasial.

Contoh:

Swinv2ForMaskedImageModeling

kelas transformers.Swinv2ForMaskedImageModeling

< source >

( config: Swinv2Config )

Parameter

config (Swinv2Config) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model Swinv2 dengan decoder di atasnya untuk pemodelan gambar tersembunyi, sebagaimana diusulkan dalam SimMIM.

forward

< source >

Parameter

pixel_values (torch.Tensor dengan bentuk (batch_size, num_channels, image_size, image_size), opsional) — Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan ViTImageProcessor. Lihat ViTImageProcessor.call() untuk detailnya (processor_class menggunakan ViTImageProcessor untuk memproses gambar).
bool_masked_pos (torch.BoolTensor dengan bentuk (batch_size, num_patches)) — Posisi yang dimasker secara boolean. Menunjukkan patch mana yang dimasker (1) dan mana yang tidak (0).
output_attentions (bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
interpolate_pos_encoding (bool, opsional, default False) — Apakah akan menginterpolasi posisi encoding yang telah dilatih sebelumnya.
return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Mengembalikan

Swinv2MaskedImageModelingOutput atau tuple(torch.Tensor)

Swinv2MaskedImageModelingOutput atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (Swinv2Config) dan input.

Metode forward dari Swinv2ForMaskedImageModeling menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

loss (torch.Tensor dengan bentuk (1,), opsional, dikembalikan ketika bool_masked_pos disediakan) — Loss untuk masked image modeling (MLM).
rekonstruksi (torch.Tensor dengan bentuk (batch_size, num_channels, height, width)) — Nilai piksel yang direkonstruksi.
hidden_states (tuple[torch.Tensor, ...], opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (tuple[torch.Tensor, ...], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
reshaped_hidden_states (tuple(torch.Tensor), opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output embeddings + satu untuk output setiap tahap) dengan bentuk (batch_size, hidden_size, height, width).

Hidden-states model pada output setiap lapisan ditambah output embedding awal yang di-reshape untuk mencakup dimensi spasial.

Contoh:

>>> from transformers import AutoImageProcessor, Swinv2ForMaskedImageModeling
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2ForMaskedImageModeling.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")

>>> num_patches = (model.config.image_size // model.config.patch_size) ** 2
>>> pixel_values = image_processor(images=image, return_tensors="pt").pixel_values
>>> # create random boolean mask of shape (batch_size, num_patches)
>>> bool_masked_pos = torch.randint(low=0, high=2, size=(1, num_patches)).bool()

>>> outputs = model(pixel_values, bool_masked_pos=bool_masked_pos)
>>> loss, reconstructed_pixel_values = outputs.loss, outputs.reconstruction
>>> list(reconstructed_pixel_values.shape)
[1, 3, 256, 256]

Swinv2ForImageClassification

kelas transformers.Swinv2ForImageClassification

< source >

( config: Swinv2Config )

Parameter

config (Swinv2Config) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model transformer Swinv2 dengan kepala klasifikasi gambar di atasnya (lapisan linear di atas keadaan tersembunyi akhir dari token [CLS]), misalnya untuk ImageNet.

Perlu dicatat bahwa SwinV2 dapat di-*fine-tune* pada gambar dengan resolusi lebih tinggi daripada yang digunakan saat pelatihan, dengan mengatur interpolate_pos_encoding menjadi True di *forward* model. Hal ini akan menginterpolasi *position embeddings* yang telah dilatih ke resolusi yang lebih tinggi.

forward

< source >

( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Noneinterpolate_pos_encoding: bool = Falsereturn_dict: bool | None = None**kwargs ) → Swinv2ImageClassifierOutput or tuple(torch.Tensor)

Parameter

pixel_values (torch.Tensor dengan bentuk (batch_size, num_channels, image_size, image_size), opsional) — Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan ViTImageProcessor. Lihat ViTImageProcessor.call() untuk detailnya (processor_class menggunakan ViTImageProcessor untuk memproses gambar).
labels (torch.LongTensor dengan bentuk (batch_size,), opsional) — Label untuk menghitung loss klasifikasi/regresi gambar. Indeks harus berada dalam [0, ..., config.num_labels - 1]. Jika config.num_labels == 1, loss regresi dihitung (Mean-Square loss). Jika config.num_labels > 1, loss klasifikasi dihitung (Cross-Entropy).
output_attentions (bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
interpolate_pos_encoding (bool, opsional, default False) — Apakah akan menginterpolasi posisi encoding yang telah dilatih sebelumnya.
return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Mengembalikan

Swinv2ImageClassifierOutput atau tuple(torch.Tensor)

Swinv2ImageClassifierOutput atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (Swinv2Config) dan input.

Metode forward dari Swinv2ForImageClassification menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

loss (torch.Tensor dengan bentuk (1,), opsional, dikembalikan saat labels disediakan) — Loss klasifikasi (atau regresi jika config.num_labels==1).
logits (torch.Tensor dengan bentuk (batch_size, config.num_labels)) — Skor klasifikasi (atau regresi jika config.num_labels==1) (sebelum SoftMax).
hidden_states (tuple[torch.Tensor, ...], opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (tuple[torch.Tensor, ...], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
reshaped_hidden_states (tuple(torch.Tensor), opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output embeddings + satu untuk output setiap tahap) dengan bentuk (batch_size, hidden_size, height, width).

Hidden-states model pada output setiap lapisan ditambah output embedding awal yang di-reshape untuk mencakup dimensi spasial.

Contoh:

>>> from transformers import AutoImageProcessor, Swinv2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2ForImageClassification.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

Update on GitHub

←Swin Transformer Swin2SR→