Transformers documentation
ModernVBert
Mô hình này được công bố trên HF papers vào ngày 2025-10-01 và được đóng góp cho Hugging Face Transformers vào ngày 2026-02-23.
ModernVBert
Tổng quan
ModernVBert là bộ mã hóa Thị giác-Ngôn ngữ kết hợp ModernBert với bộ mã hóa thị giác SigLIP. Nó được tối ưu hóa cho các tác vụ hiểu và truy xuất tài liệu trực quan.
Mô hình được giới thiệu trong ModernVBERT: Towards Smaller Visual Document Retrievers.
import torch
from huggingface_hub import hf_hub_download
from PIL import Image
from transformers import AutoModelForMaskedLM, AutoProcessor
processor = AutoProcessor.from_pretrained("./mvb")
model = AutoModelForMaskedLM.from_pretrained("./mvb", device_map="auto")
image = Image.open(hf_hub_download("HuggingFaceTB/SmolVLM", "example_images/rococo.jpg", repo_type="space"))
text = "This [MASK] is on the wall."
# Create input messages
messages = [
{
"role": "user",
"content": [
{"type": "image"},
{"type": "text", "text": text}
]
},
]
# Prepare inputs
prompt = processor.apply_chat_template(messages)
inputs = processor(text=prompt, images=[image], return_tensors="pt").to(model.device)
# Inference
with torch.no_grad():
outputs = model(**inputs)
# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(processor.tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = processor.tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token) # Predicted token: paintingModernVBertConfig
lớp transformers.ModernVBertConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: transformers.configuration_utils.PreTrainedConfig | dict | None = Nonevision_config: transformers.configuration_utils.PreTrainedConfig | dict | None = Noneimage_token_id: int = 50407pixel_shuffle_factor: int = 4initializer_range: float = 0.02initializer_cutoff_factor: float = 2.0classifier_pooling: typing.Literal['cls', 'mean'] = 'cls'classifier_dropout: float | int = 0.0classifier_bias: bool = Falsetie_word_embeddings: bool = False )
Tham số
- text_config (
Union[~configuration_utils.PreTrainedConfig, dict], tùy chọn) — Đối tượng config hoặc từ điển của text backbone. - vision_config (
Union[~configuration_utils.PreTrainedConfig, dict], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung thị giác. - image_token_id (
int, tùy chọn, mặc định là50407) — Chỉ số token hình ảnh được dùng làm ký tự thay thế cho các hình ảnh đầu vào. - pixel_shuffle_factor (
int | None, tùy chọn, mặc định là 4) — Hệ số tỷ lệ được sử dụng bởi bất kỳ thao tác pixel-shuffle / upsampling nào trong đầu thị giác. - initializer_range (
float, tùy chọn, mặc định là0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - initializer_cutoff_factor (
float | None, tùy chọn, mặc định là 2.0) — Hệ số cắt cho truncated_normal_initializer dùng để khởi tạo tất cả các ma trận trọng số. - classifier_pooling (
Literal["cls", "mean"], tuỳ chọn, mặc định là"cls") — Chiến lược pooling được sử dụng cho các tác vụ phân loại. - classifier_dropout (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho bộ phân loại. - classifier_bias (
bool | None, tùy chọn, mặc định làFalse) — Có thêm một số hạng bias vào đầu phân loại hay không - tie_word_embeddings (
bool, tùy chọn, mặc định làFalse) — Có nên gắn kết các trọng số nhúng theo ánh xạtied_weights_keyscủa mô hình hay không.
Đây là lớp cấu hình để lưu trữ cấu hình của một ModernVBertModel. Nó được sử dụng để khởi tạo một mô hình Modernvbert theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của ModernVBERT/modernvbert
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import ModernVBertConfig
>>> # Initializing configuration
>>> configuration = ModernVBertConfig()
>>> # Initializing a model from the configuration (model class is implemented in
>>> # `modernvbert.modeling_modernvbert`)
>>> from transformers import ModernVBertModel
>>> model = ModernVBertModel(configuration)
>>> # Accessing the model configuration
>>> cfg = model.configModernVBertModel
lớp transformers.ModernVBertModel
< source >( config: ModernVBertConfig )
Tham số
- config (ModernVBertConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
ModernVBertModel là một mô hình kết hợp bộ mã hóa thị giác (SigLIP) và bộ mã hóa văn bản (ModernBert).
ModernVBert là mô hình cơ sở của bộ truy xuất trực quan ColModernVBert, và được giới thiệu trong bài báo sau: ModernVBERT: Towards Smaller Visual Document Retrievers.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: LongTensor = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonepixel_values: typing.Optional[torch.FloatTensor] = Nonepixel_attention_mask: typing.Optional[torch.BoolTensor] = Noneimage_hidden_states: typing.Optional[torch.FloatTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → ModernVBertBaseModelOutput or tuple(torch.FloatTensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - inputs_embeds (
torch.FloatTensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - pixel_values (
torch.FloatTensorcó shape(batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụngimage_processor_class. Xemimage_processor_class.__call__để biết chi tiết (Idefics3Processor sử dụngimage_processor_classđể xử lý ảnh). - pixel_attention_mask (
torch.Tensorcó hình dạng(batch_size, image_size, image_size), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số pixel đệm. - image_hidden_states (
torch.FloatTensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Trạng thái ẩn của bộ mã hóa ảnh sau khi chiếu đa phương tiện.
Trả về
ModernVBertBaseModelOutput hoặc tuple(torch.FloatTensor)
Một ModernVBertBaseModelOutput hoặc một tuple của
torch.FloatTensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (ModernVBertConfig) và đầu vào.
Đầu vào được đưa vào mô hình có thể chứa một số lượng hình ảnh tùy ý. Để xử lý điều này, pixel_values được đưa vào mô hình có đệm hình ảnh -> (batch_size, max_num_images, 3, max_heights, max_widths) trong đó max_num_images là số lượng hình ảnh tối đa trong số batch_size mẫu của batch. Các hình ảnh đệm không cần thiết ngoài việc đệm pixel_values tại lối vào của mô hình. Để đạt hiệu quả, chúng ta chỉ truyền các hình ảnh thực sự qua forward của vision_model bằng cách loại bỏ các hình ảnh đệm, tức là pixel_values có kích thước (image_batch_size, 3, height, width) trong đó image_batch_size sẽ là 7 khi num_images_per_sample=[1, 3, 1, 2] và max_num_images là 3.
- last_hidden_state (
torch.FloatTensorcó shape(batch_size, sequence_length, hidden_size)) — Chuỗi hidden-state tại đầu ra của lớp cuối cùng của model. Nếupast_key_valuesđược sử dụng, chỉ có hidden-state cuối cùng của các chuỗi với shape(batch_size, 1, hidden_size)được đưa ra. - hidden_states (
tuple(torch.FloatTensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.FloatTensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size). Hidden-states của mô hình tại đầu ra của mỗi lớp cùng với đầu ra embedding ban đầu tuỳ chọn. - attentions (
tuple(torch.FloatTensor), optional, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.FloatTensor(một cho mỗi lớp) có shape(batch_size, num_heads, sequence_length, sequence_length). Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention. - image_hidden_states (
tuple(torch.FloatTensor), tuỳ chọn) — Tuple củatorch.FloatTensor(một cho đầu ra của image embeddings,(batch_size, num_images, sequence_length, hidden_size). image_hidden_states của mô hình do vision encoder tạo ra
ModernVBertForMaskedLM
lớp transformers.ModernVBertForMaskedLM
< source >( config: ModernVBertConfig )
Tham số
- config (ModernVBertConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Modernvbert với đầu language modeling ở trên.”
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: LongTensor = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonepixel_values: typing.Optional[torch.FloatTensor] = Nonepixel_attention_mask: typing.Optional[torch.BoolTensor] = Noneimage_hidden_states: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → ModernVBertMaskedLMOutput or tuple(torch.FloatTensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - inputs_embeds (
torch.FloatTensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - pixel_values (
torch.FloatTensorcó shape(batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụngimage_processor_class. Xemimage_processor_class.__call__để biết chi tiết (Idefics3Processor sử dụngimage_processor_classđể xử lý ảnh). - pixel_attention_mask (
torch.Tensorcó hình dạng(batch_size, image_size, image_size), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số pixel đệm. - image_hidden_states (
torch.FloatTensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Trạng thái ẩn của bộ mã hóa ảnh sau khi chiếu đa phương tiện. - labels (
torch.LongTensorcó shape(batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong[0, ..., text_config.]hoặcmodel.image_token_id. Các token có chỉ số được đặt thànhmodel.image_token_idsẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong[0, ..., text_config.].
Trả về
ModernVBertMaskedLMOutput hoặc tuple(torch.FloatTensor)
Một ModernVBertMaskedLMOutput hoặc một tuple của
torch.FloatTensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (ModernVBertConfig) và đầu vào.
Đầu vào được đưa vào mô hình có thể chứa một số lượng hình ảnh tùy ý. Để xử lý điều này, pixel_values được đưa vào mô hình có đệm hình ảnh -> (batch_size, max_num_images, 3, max_heights, max_widths) trong đó max_num_images là số lượng hình ảnh tối đa trong số batch_size mẫu của batch. Các hình ảnh đệm không cần thiết ngoài việc đệm pixel_values tại lối vào của mô hình. Để đạt hiệu quả, chúng ta chỉ truyền các hình ảnh thực sự qua forward của vision_model bằng cách loại bỏ các hình ảnh đệm, tức là pixel_values có kích thước (image_batch_size, 3, height, width) trong đó image_batch_size sẽ là 7 khi num_images_per_sample=[1, 3, 1, 2] và max_num_images là 3.
- loss (
torch.FloatTensor, tuỳ chọn, được trả về khilabelsđược cung cấp) — Tổn (loss) của mô hình ngôn ngữ có che (Masked Language Modeling - MLM). - logits (
torch.FloatTensor) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax). - hidden_states (
tuple(torch.FloatTensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.FloatTensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size). Hidden-states của mô hình tại đầu ra của mỗi lớp cùng với đầu ra embedding ban đầu tuỳ chọn. - attentions (
tuple(torch.FloatTensor), optional, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.FloatTensor(một cho mỗi lớp) có shape(batch_size, num_heads, sequence_length, sequence_length). Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention. - image_hidden_states (
tuple(torch.FloatTensor), tuỳ chọn) — Tuple củatorch.FloatTensor(một cho đầu ra của image embeddings,(batch_size, num_images, sequence_length, hidden_size). image_hidden_states của mô hình do vision encoder tạo ra
Ví dụ:
>>> from transformers import AutoTokenizer, ModernVBertForMaskedLM
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("ModernVBERT/modernvbert")
>>> model = ModernVBertForMaskedLM.from_pretrained("ModernVBERT/modernvbert")
>>> inputs = tokenizer("The capital of France is <mask>.", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # retrieve index of <mask>
>>> mask_token_index = (inputs.input_ids == tokenizer.mask_token_id)[0].nonzero(as_tuple=True)[0]
>>> predicted_token_id = logits[0, mask_token_index].argmax(axis=-1)
>>> tokenizer.decode(predicted_token_id)
...
>>> labels = tokenizer("The capital of France is Paris.", return_tensors="pt")["input_ids"]
>>> # mask labels of non-<mask> tokens
>>> labels = torch.where(inputs.input_ids == tokenizer.mask_token_id, labels, -100)
>>> outputs = model(**inputs, labels=labels)
>>> round(outputs.loss.item(), 2)
...ModernVBertForSequenceClassification
lớp transformers.ModernVBertForSequenceClassification
< source >( config: ModernVBertConfig )
Tham số
- config (ModernVBertConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình ModernVBert với một đầu phân loại chuỗi (sequence classification head) ở trên cùng, thực hiện pooling.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: LongTensor = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonepixel_values: typing.Optional[torch.FloatTensor] = Nonepixel_attention_mask: typing.Optional[torch.BoolTensor] = Noneimage_hidden_states: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → SequenceClassifierOutput or tuple(torch.FloatTensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - inputs_embeds (
torch.FloatTensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - pixel_values (
torch.FloatTensorcó shape(batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụngimage_processor_class. Xemimage_processor_class.__call__để biết chi tiết (Idefics3Processor sử dụngimage_processor_classđể xử lý ảnh). - pixel_attention_mask (
torch.Tensorcó hình dạng(batch_size, image_size, image_size), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số pixel đệm. - image_hidden_states (
torch.FloatTensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Trạng thái ẩn của bộ mã hóa ảnh sau khi chiếu đa phương tiện. - labels (
torch.LongTensorcó shape(batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong[0, ..., text_config.]hoặcmodel.image_token_id. Các token có chỉ số được đặt thànhmodel.image_token_idsẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong[0, ..., text_config.].
Trả về
SequenceClassifierOutput hoặc tuple(torch.FloatTensor)
Một SequenceClassifierOutput hoặc một tuple của
torch.FloatTensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (ModernVBertConfig) và đầu vào.
Đầu vào được đưa vào mô hình có thể chứa một số lượng hình ảnh tùy ý. Để xử lý điều này, pixel_values được đưa vào mô hình có đệm hình ảnh -> (batch_size, max_num_images, 3, max_heights, max_widths) trong đó max_num_images là số lượng hình ảnh tối đa trong số batch_size mẫu của batch. Các hình ảnh đệm không cần thiết ngoài việc đệm pixel_values tại lối vào của mô hình. Để đạt hiệu quả, chúng ta chỉ truyền các hình ảnh thực sự qua forward của vision_model bằng cách loại bỏ các hình ảnh đệm, tức là pixel_values có kích thước (image_batch_size, 3, height, width) trong đó image_batch_size sẽ là 7 khi num_images_per_sample=[1, 3, 1, 2] và max_num_images là 3.
loss (
torch.FloatTensorcó shape(1,), optional, được trả về khilabelsđược cung cấp) — Loss phân loại (hoặc hồi quy nếu config.num_labels==1).logits (
torch.FloatTensorcó hình dạng(batch_size, config.num_labels)) — Điểm phân loại (hoặc hồi quy nếu config.num_labels==1) (trước SoftMax).hidden_states (
tuple(torch.FloatTensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.FloatTensor(một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.FloatTensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Bộ tuple củatorch.FloatTensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ về phân loại nhãn đơn:
>>> import torch
>>> from transformers import AutoTokenizer, ModernVBertForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("ModernVBERT/modernvbert")
>>> model = ModernVBertForSequenceClassification.from_pretrained("ModernVBERT/modernvbert")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = ModernVBertForSequenceClassification.from_pretrained("ModernVBERT/modernvbert", num_labels=num_labels)
>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...Ví dụ về phân loại đa nhãn:
>>> import torch
>>> from transformers import AutoTokenizer, ModernVBertForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("ModernVBERT/modernvbert")
>>> model = ModernVBertForSequenceClassification.from_pretrained("ModernVBERT/modernvbert", problem_type="multi_label_classification")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = ModernVBertForSequenceClassification.from_pretrained(
... "ModernVBERT/modernvbert", num_labels=num_labels, problem_type="multi_label_classification"
... )
>>> labels = torch.sum(
... torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).lossModernVBertForTokenClassification
lớp transformers.ModernVBertForTokenClassification
< source >( config: ModernVBertConfig )
Tham số
- config (ModernVBertConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình ModernVBert với đầu phân loại token phía trên, ví dụ cho các tác vụ Nhận thực thể có tên (NER).
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: LongTensor = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonepixel_values: typing.Optional[torch.FloatTensor] = Nonepixel_attention_mask: typing.Optional[torch.BoolTensor] = Noneimage_hidden_states: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → TokenClassifierOutput or tuple(torch.FloatTensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - inputs_embeds (
torch.FloatTensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - pixel_values (
torch.FloatTensorcó shape(batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụngimage_processor_class. Xemimage_processor_class.__call__để biết chi tiết (Idefics3Processor sử dụngimage_processor_classđể xử lý ảnh). - pixel_attention_mask (
torch.Tensorcó hình dạng(batch_size, image_size, image_size), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số pixel đệm. - image_hidden_states (
torch.FloatTensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Trạng thái ẩn của bộ mã hóa ảnh sau khi chiếu đa phương tiện. - labels (
torch.LongTensorcó shape(batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong[0, ..., text_config.]hoặcmodel.image_token_id. Các token có chỉ số được đặt thànhmodel.image_token_idsẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong[0, ..., text_config.].
Trả về
TokenClassifierOutput hoặc tuple(torch.FloatTensor)
Một TokenClassifierOutput hoặc một tuple của
torch.FloatTensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (ModernVBertConfig) và đầu vào.
Đầu vào được đưa vào mô hình có thể chứa một số lượng hình ảnh tùy ý. Để xử lý điều này, pixel_values được đưa vào mô hình có đệm hình ảnh -> (batch_size, max_num_images, 3, max_heights, max_widths) trong đó max_num_images là số lượng hình ảnh tối đa trong số batch_size mẫu của batch. Các hình ảnh đệm không cần thiết ngoài việc đệm pixel_values tại lối vào của mô hình. Để đạt hiệu quả, chúng ta chỉ truyền các hình ảnh thực sự qua forward của vision_model bằng cách loại bỏ các hình ảnh đệm, tức là pixel_values có kích thước (image_batch_size, 3, height, width) trong đó image_batch_size sẽ là 7 khi num_images_per_sample=[1, 3, 1, 2] và max_num_images là 3.
loss (
torch.FloatTensorcó shape(1,), optional, được trả về khilabelsđược cung cấp) — Loss phân loại.logits (
torch.FloatTensorcó hình dạng(batch_size, sequence_length, config.num_labels)) — Điểm phân loại (trước SoftMax).hidden_states (
tuple(torch.FloatTensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.FloatTensor(một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.FloatTensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Bộ tuple củatorch.FloatTensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ:
>>> from transformers import AutoTokenizer, ModernVBertForTokenClassification
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("ModernVBERT/modernvbert")
>>> model = ModernVBertForTokenClassification.from_pretrained("ModernVBERT/modernvbert")
>>> inputs = tokenizer(
... "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_token_class_ids = logits.argmax(-1)
>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...
>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...