Bu model 2018-07-26 tarihinde HF papers'ta yayımlandı ve 2023-01-16 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

UPerNet

Genel Bakış

UPerNet modeli, Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang ve Jian Sun tarafından Unified Perceptual Parsing for Scene Understanding makalesinde önerilmiştir. UPerNet, ConvNeXt veya Swin gibi herhangi bir görme omurgasını kullanarak görüntülerden geniş bir kavram yelpazesini etkili bir şekilde segmente etmek için genel bir çerçevedir.

Makalenin özeti aşağıdaki gibidir:

İnsanlar görsel dünyayı birden fazla düzeyde algılar: sahneleri zahmetsizce sınıflandırır ve içindeki nesneleri tespit ederken, nesnelerin dokularını ve yüzeylerini, bunların farklı yapısal parçalarını da belirler. Bu makalede, makine görü sistemlerinden verilen bir görüntüden olabildiğince çok görsel kavramı tanımasını gerektiren Unified Perceptual Parsing adlı yeni bir görevi inceliyoruz. Heterojen görüntü etiketlerinden öğrenmek için UPerNet adlı çoklu görev bir çerçeve ve bir eğitim stratejisi geliştirilmiştir. Çerçevemizi Unified Perceptual Parsing üzerinde test ettik ve görüntülerden geniş bir kavram yelpazesini etkili bir şekilde segmente edebildiğini gösterdik. Eğitilen ağlar, doğal sahnelerdeki görsel bilgiyi keşfetmek için daha da ileriye taşınmıştır.

Bu model nielsr tarafından katkıda bulunmuştur. Orijinal kod, OpenMMLab'ın mmsegmentation projesine dayanmaktadır ve burada bulunabilir.

Kullanım örnekleri

UPerNet, anlamsal segmentasyon için genel bir çerçevedir. Aşağıdaki gibi herhangi bir görme omurgasıyla kullanılabilir:

from transformers import SwinConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = SwinConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

ConvNeXt gibi başka bir görme omurgası kullanmak için, modeli ConvNeXt ile örneklemeniz yeterlidir:

from transformers import ConvNextConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = ConvNextConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

Bu, modelin tüm ağırlıklarını rastgele başlatacağına dikkat edin.

Kaynaklar

UPerNet ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi.

• UPerNet için demo defterleri burada bulunabilir.
• Bu defter UperNetForSemanticSegmentation sınıfını destekler.
• Bkz: Anlamsal segmentasyon görevi kılavuzu

Buraya bir kaynak eklemek isterseniz, bir Pull Request açmaktan çekinmeyin; inceleyeceğiz! Kaynağın, mevcut bir kaynağı tekrarlamak yerine ideal olarak yeni bir şeyi göstermesi beklenir.

UperNetConfig

>>> from transformers import UperNetConfig, UperNetForSemanticSegmentation

>>> # Initializing a configuration
>>> configuration = UperNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = UperNetForSemanticSegmentation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

UperNetForSemanticSegmentation

>>> from transformers import AutoImageProcessor, UperNetForSemanticSegmentation
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download

>>> image_processor = AutoImageProcessor.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> model = UperNetForSemanticSegmentation.from_pretrained("openmmlab/upernet-convnext-tiny")

>>> filepath = hf_hub_download(
...     repo_id="hf-internal-testing/fixtures_ade20k", filename="ADE_val_00000001.jpg", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> logits = outputs.logits  # shape (batch_size, num_labels, height, width)
>>> list(logits.shape)
[1, 150, 512, 512]