Este modelo foi publicado em papers do HF em 2023-01-02 e contribuído para o Hugging Face Transformers em 2023-03-14.

ConvNeXt V2

Visão geral

O modelo ConvNeXt V2 foi proposto em ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders por Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, Saining Xie. O ConvNeXt V2 é um modelo puramente convolucional (ConvNet), inspirado no design dos Vision Transformers, e sucessor do ConvNeXT.

O resumo do artigo é o seguinte:

Impulsionado por arquiteturas aprimoradas e melhores frameworks de aprendizado de representação, o campo de reconhecimento visual experimentou uma rápida modernização e um aumento de desempenho no início da década de 2020. Por exemplo, os ConvNets modernos, representados pelo ConvNeXt, demonstraram forte desempenho em diversos cenários. Embora esses modelos tenham sido originalmente projetados para aprendizado supervisionado com rótulos do ImageNet, eles também podem potencialmente se beneficiar de técnicas de aprendizado auto-supervisionado, como autoencoders mascarados (MAE). No entanto, descobrimos que simplesmente combinar essas duas abordagens leva a um desempenho inferior. Neste artigo, propomos um framework de autoencoder mascarado totalmente convolucional e uma nova camada de Global Response Normalization (GRN) que pode ser adicionada à arquitetura ConvNeXt para aprimorar a competição de recursos entre canais. Esse co-design de técnicas de aprendizado auto-supervisionado e melhoria arquitetônica resulta em uma nova família de modelos chamada ConvNeXt V2, que melhora significativamente o desempenho de ConvNets puros em diversos benchmarks de reconhecimento, incluindo classificação no ImageNet, detecção no COCO e segmentação no ADE20K. Também fornecemos modelos ConvNeXt V2 pré-treinados de vários tamanhos, variando de um modelo Atto eficiente com 3,7M de parâmetros e 76,7% de precisão top-1 no ImageNet, a um modelo Huge de 650M que atinge uma precisão state-of-the-art de 88,9% usando apenas dados de treinamento públicos.

Este modelo foi contribuído por adirik. O código original pode ser encontrado aqui.

Recursos

Uma lista de recursos oficiais da Hugging Face e da comunidade (indicados por 🌎) para ajudar você a começar com o ConvNeXt V2.

• ConvNextV2ForImageClassification é suportado por este notebook.

Se você tiver interesse em enviar um recurso para ser incluído aqui, sinta-se à vontade para abrir um Pull Request e faremos a revisão! O recurso deve, idealmente, demonstrar algo novo, em vez de duplicar um recurso existente.

ConvNextV2Config

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

ConvNextV2ForImageClassification

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...