Mô hình này được công bố trên HF papers vào ngày 02/01/2023 và được đóng góp cho Hugging Face Transformers vào ngày 14/03/2023.

ConvNeXt V2

Tổng quan

Mô hình ConvNeXt V2 được đề xuất trong ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders bởi Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, Saining Xie. ConvNeXt V2 là một mô hình thuần túy dựa trên tích chập (ConvNet), lấy cảm hứng từ thiết kế của Vision Transformers, và là phiên bản kế nhiệm của ConvNeXT.

Tóm tắt từ bài báo như sau:

Được thúc đẩy bởi các kiến trúc cải tiến và các khung học biểu diễn tốt hơn, lĩnh vực nhận diện thị giác đã trải qua quá trình hiện đại hóa nhanh chóng và tăng hiệu suất đáng kể vào đầu những năm 2020. Ví dụ, các ConvNet hiện đại, tiêu biểu là ConvNeXt, đã chứng minh hiệu suất mạnh mẽ trong nhiều kịch bản khác nhau. Mặc dù các mô hình này ban đầu được thiết kế cho học có giám sát với nhãn ImageNet, chúng cũng có tiềm năng hưởng lợi từ các kỹ thuật học tự giám sát như bộ mã hóa tự động có che (masked autoencoders, MAE). Tuy nhiên, chúng tôi nhận thấy rằng việc đơn thuần kết hợp hai cách tiếp cận này dẫn đến hiệu suất kém. Trong bài báo này, chúng tôi đề xuất một khung bộ mã hóa tự động có che hoàn toàn dạng tích chập và một lớp Global Response Normalization (GRN) mới, có thể được thêm vào kiến trúc ConvNeXt để tăng cường sự cạnh tranh giữa các kênh đặc trưng. Việc đồng thiết kế giữa kỹ thuật học tự giám sát và cải tiến kiến trúc này tạo ra một họ mô hình mới có tên ConvNeXt V2, cải thiện đáng kể hiệu suất của các ConvNet thuần túy trên nhiều bộ chuẩn nhận diện, bao gồm phân loại ImageNet, phát hiện COCO và phân đoạn ADE20K. Chúng tôi cũng cung cấp các mô hình ConvNeXt V2 đã được huấn luyện trước với nhiều kích thước khác nhau, từ mô hình Atto hiệu quả với 3,7 triệu tham số đạt độ chính xác top-1 là 76,7% trên ImageNet, đến mô hình Huge 650 triệu tham số đạt độ chính xác tiên tiến 88,9% khi chỉ sử dụng dữ liệu huấn luyện công khai.

Mô hình này được đóng góp bởi adirik. Mã gốc có thể được tìm thấy tại đây.

Tài nguyên

Danh sách các tài nguyên chính thức của Hugging Face và cộng đồng (được đánh dấu bằng 🌎) để giúp bạn bắt đầu với ConvNeXt V2.

• ConvNextV2ForImageClassification được hỗ trợ bởi notebook này.

Nếu bạn quan tâm đến việc gửi một tài nguyên để được đưa vào đây, hãy thoải mái mở một Pull Request và chúng tôi sẽ xem xét! Lý tưởng nhất là tài nguyên nên minh họa một điều gì đó mới thay vì sao chép một tài nguyên hiện có.

ConvNextV2Config

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

ConvNextV2ForImageClassification

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...