Transformers documentation

Gemma4

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model, 2026-04-02 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

Gemma4

Genel Bakış

Gemma 4, E2B, E4B, 31B ve 26B-A4B (MoE) parametre boyutlarında mevcut olan, önceden eğitilmiş ve talimatla ayarlanmış varyantlara sahip çok modlu bir modeldir. Gemma 4 modelleri aşağıdaki yetenekleri sunar:

Mantıksal çıkarım: Ailedaki tüm modeller, yapılandırılabilir düşünme modlarına sahip, yüksek yetenekli çıkarım yapıcılar olarak tasarlanmıştır.
Genişletilmiş Çok Modallılık: Değişken en-boy oranı ve çözünürlük desteğiyle Metin, Görsel (tüm modellerde), Video ve Ses işleme (E2B ve E4B modellerinde yerel olarak desteklenir).
Artırılmış Bağlam Penceresi: Küçük modeller 128K'lık bir bağlam penceresine sahipken, diğer modeller 256K destekler.
Geliştirilmiş Kodlama ve Ajan Yetenekleri: Yerleşik fonksiyon çağırma desteğinin yanı sıra kodlama ölçümlerinde belirgin iyileşmeler sağlayarak, son derece yetkin otonom ajanların altyapısını oluşturur.
Yerel Sistem İpucu Desteği: Gemma 4, dahili sistem rolü desteği sunarak daha yapılandırılmış ve kontrol edilebilir sohbetlere olanak tanır.

Tüm orijinal Gemma 4 kontrol noktalarını Gemma 4 sürümünde bulabilirsiniz.

Gemma4 Görüntü Modeli

Görüntü için önceki Gemma sürümlerinden temel fark, farklı boyutlardaki görüntüleri sabit bütçeli bir token sayısı kullanarak işleyen yeni tasarımdır. Birçok modelin tüm görüntüleri sabit bir kareye (örneğin 224×224) sıkıştırmasının aksine, Gemma 4, görüntünün doğal en-boy oranını korurken onu doğru boyuta getirir. Uyması gereken birkaç kısıtlama vardır:

Toplam piksel sayısı, bir yama bütçesi içinde sığmalıdır
Yükseklik ve genişlik her ikisi de 48'e (= yama boyutu 16 × havuzlama çekirdeği 3) tam bölünmelidir

Gemma 4, birçok diğer görme modelinin kullandığı standart ImageNet ortalama/standart sapma normalizasyonunu uygulamaz. Modelin kendi yama gömme (patch embedding) katmanı, nihai ölçeklemeyi dahili olarak yönetir (değerleri [-1, 1] aralığına kaydırır).

Bir görüntü işleyicisinin üretebileceği “soft token” (başka adıyla vision token) sayısı yapılandırılabilir. Desteklenen seçenekler aşağıda açıklanmıştır ve varsayılan değer görüntü başına 280 soft token'dır.

Yumuşak Jetonlar	Yamalar (havuzlamadan önce)	Yaklaşık Görüntü Alanı
70	630	~161K piksel
140	1,260	~323K piksel
280	2,520	~645K piksel
560	5,040	~1,3M piksel
1,120	10,080	~2,6 M piksel

Görseldeki her yamaç için konumsal bilgiyi kodlamak amacıyla Gemma 4, öğrenilmiş 2B konum gömme tablosu kullanır. Konum tablosu, eksen başına en fazla 10.240 konum saklar; bu da modelin çok büyük görselleri işleyebilmesini sağlar. Her konum, yamaç gömme ile aynı boyutlarda öğrenilmiş bir vektördür. Gemma 4'ün kullandığı 2B RoPE, dikkat başı boyutlarının yarısını x ekseni için, diğer yarısını ise y ekseni için bağımsız olarak döndürür. Bu sayede model, “üstte”, “altta”, “solda” ve “sağda” gibi mekânsal ilişkileri anlayabilir.

Katman Başına Gömme (PLE)

Gemma 4, yalnızca girişteki tek bir ortak gömüme güvenmek yerine, her kodlayıcı katmanına yardımcı bir artımsal sinyal besleyen Katman Başına Gömme (PLE) sistemini tanıtır.

PLE, her kodlayıcı katmanına beslenmeden önce toplanan ve 1/√2 ile ölçeklenen iki bileşeni birleştirir:

Token-identity (get_per_layer_inputs): input_ids değerleri, √(hidden_size_per_layer_input) ile çarpan Gemma4TextScaledWordEmbedding olan embed_tokens_per_layer içinde aranır. Paketlenmiş çıktı, [batch, seq, num_hidden_layers * hidden_size_per_layer_input] biçiminden [batch, seq, num_hidden_layers, hidden_size_per_layer_input] biçimine yeniden şekillendirilir.
Bağlama duyarlı (project_per_layer_inputs): inputs_embeds değerlerini per_layer_model_projection (bir Linear katmanı) üzerinden geçirir, 1/√(hidden_size) ile ölçekler, [batch, seq, num_layers, ple_dim] biçimine yeniden şekillendirir ve per_layer_projection_norm (RMSNorm) ile normalize eder.

Her iki bileşen de mevcut olduğunda, katman başına son girdi (token_identity + context_aware) * (1/√2) şeklindedir. input_ids kullanılamayan çok modlu girdilerde yalnızca bağlam duyarlı projeksiyon kullanılır.

Kullanım örnekleri

Aşağıdaki örnek, Pipeline veya AutoModel sınıfı kullanılarak bir görüntüye dayalı metin üretmenin nasıl yapılacağını göstermektedir.

from transformers import pipeline


pipeline = pipeline(
    task="image-text-to-text",
    model="google/gemma-4-E2B-it",
)
pipeline(
    images="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
    text="<|image|>\n\nWhat is shown in this image?"
)

</hfoption> <hfoption id="AutoModel">

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained(
    "google/gemma-4-E2B-it",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained(
    "google/gemma-4-E2B-it",
    padding_side="left"
)

messages = [
    {
        "role": "user", "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
            {"type": "text", "text": "What is shown in this image?"},
        ]
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

output = model.generate(**inputs, max_new_tokens=50, cache_implementation="static")
print(processor.decode(output[0][input_len:], skip_special_tokens=True))

Function calling

from transformers import AutoModelForCausalLM, AutoProcessor


WEATHER_TOOL = {
    "type": "function",
    "function": {
        "name": "get_n_day_weather_forecast",
        "description": "Get an N-day weather forecast",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string",
                    "description": "The city and state, e.g. San Francisco, CA",
                },
                "format": {
                    "type": "string",
                    "enum": ["celsius", "fahrenheit"],
                    "description": "The temperature unit to use",
                },
                "num_days": {
                    "type": "integer",
                    "description": "The number of days to forecast",
                },
            },
            "required": ["location", "format", "num_days"],
        },
    },
}

messages = [
    {
        "role": "user",
        "content": "What's the weather like the next 3 days in San Francisco, CA (using F)?",
    },
]

model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-4-E2B-it",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained(
    "google/gemma-4-E2B-it",
    padding_side="left"
)

text = processor.apply_chat_template(
    messages,
    tools=[WEATHER_TOOL],
    tokenize=False,
    add_generation_prompt=True,
)

inputs = processor(text=text, return_tensors="pt").to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=200)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

Ses (Yalnızca E2B ve E4B)

from transformers import AutoModelForMultimodalLM, AutoProcessor


messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Please transcribe the following audio:"},
            {
                "type": "audio",
                "url": "https://huggingface.co/datasets/eustlb/audio-samples/resolve/main/dude_where_is_my_car.wav",
            },
        ],
    }
]

model = AutoModelForMultimodalLM.from_pretrained(
    "google/gemma-4-E2B-it",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained(
    "google/gemma-4-E2B-it",
    padding_side="left"
)

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device, dtype=model.dtype)

input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=200)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

Transformers

Gemma4

Genel Bakış

Gemma4 Görüntü Modeli

Katman Başına Gömme (PLE)

Kullanım örnekleri

Function calling

Ses (Yalnızca E2B ve E4B)

Gemma4AudioConfig

sınıf transformers.Gemma4AudioConfig

Gemma4VisionConfig

sınıf transformers.Gemma4VisionConfig

Gemma4TextConfig

sınıf transformers.Gemma4TextConfig

Gemma4Config

sınıf transformers.Gemma4Config

Gemma4AudioFeatureExtractor

sınıf transformers.Gemma4AudioFeatureExtractor

__call__

Gemma4ImageProcessorPil

sınıf transformers.Gemma4ImageProcessorPil

ön işleme

Gemma4ImageProcessor

sınıf transformers.Gemma4ImageProcessor

ön işleme

Gemma4VideoProcessor

sınıf transformers.Gemma4VideoProcessor

ön işleme

Gemma4Processor

sınıf transformers.Gemma4Processor

__call__

Gemma4PreTrainedModel

sınıf transformers.Gemma4PreTrainedModel

forward

Gemma4AudioModel

sınıf transformers.Gemma4AudioModel

forward

Gemma4VisionModel

sınıf transformers.Gemma4VisionModel

forward

Gemma4TextModel

sınıf transformers.Gemma4TextModel

forward

Gemma4ForCausalLM

sınıf transformers.Gemma4ForCausalLM

forward

Gemma4Model

sınıf transformers.Gemma4Model

forward

Gemma4ForConditionalGeneration

sınıf transformers.Gemma4ForConditionalGeneration

forward

call

call