Model ini disumbangkan ke Hugging Face Transformers pada 2026-05-05.

Gemma 4 Assistant

Ikhtisar

Gemma 4 Assistant adalah model kecil yang hanya mendukung teks, yang memungkinkan penguraian spekulatif untuk model Gemma 4 menggunakan metode Multi-Token Prediction (MTP) dan generator kandidat terkait. Model pra-terlatih disediakan untuk varian IT dari model Gemma 4 E2B, E4B, 31B, dan 26B-A4B (MoE).

Secara arsitektur, Gemma 4 Assistant berbagi backbone Gemma4TextModel yang sama dengan model Gemma 4 lainnya, tetapi berbeda dalam beberapa hal utama:

• Model secara keseluruhan menggunakan berbagi KV. Teknik ini, yang awalnya diperkenalkan bersama Gemma 3n, memungkinkan model untuk menggunakan kembali KV cache yang diisi oleh model target yang didukung asisten, sehingga asisten dapat sepenuhnya melewati fase pre-fille dan secara signifikan mengurangi komputasi perhatian selama forward pass.
• Nilai position_ids bersifat konstan. Karena KV cache dibagikan dan asisten tidak memiliki cara untuk memperbarui cache, asisten memprediksi semua token dari ID posisi yang sama.
• Input adalah konkatenasi dari embedding dan hidden states. Untuk beradaptasi dengan KV cache statis dan position_ids, model menerima inputnya sebagai konkatenasi dari embedding dan hidden_states untuk token terakhir yang dilihat dari model target, lalu memproyeksikannya ke ruang model asisten dengan transformasi nn.Linear. Definisi token terakhir yang dilihat berubah sepanjang loop assisted decoding. Untuk token pertama yang dibuat setelah pre-fill, token terakhir yang dilihat akan menjadi token terakhir dari prompt. Untuk langkah pembuatan (drafting) berikutnya, token terakhir yang dilihat akan menjadi token terakhir yang dihasilkan oleh asisten (dalam satu putaran drafting) atau token terakhir yang diterima oleh model target (antara putaran drafting).
• Cross-attention digunakan untuk memaksimalkan konteks model target. Cross-attention memungkinkan query states yang dihasilkan oleh asisten untuk memperhatikan nilai KV cache bersama dari model target, sehingga asisten dapat memprediksi lebih banyak token yang di-draft secara akurat per putaran drafting.

Anda dapat menemukan semua checkpoint asli Gemma 4 Assistant di bawah rilis Gemma 4.

Contoh penggunaan

Contoh di bawah ini menunjukkan cara menghasilkan teks berdasarkan gambar dengan Pipeline atau kelas AutoModel.

import torch
from transformers import pipeline

pipeline = pipeline(
    task="image-text-to-text",
    model="google/gemma-4-E2B-it",
    assistant_model="google/gemma-4-E2B-it-assistant",
)
pipeline(
    images="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
    text="<|image|>\n\nWhat is shown in this image?"
)

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained(
    "google/gemma-4-E2B-it",
    dtype=torch.bfloat16,
    device_map="auto",
)
assistant_model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-4-E2B-it-assistant",
    dtype=torch.bfloat16,
    device_map="auto",
)

processor = AutoProcessor.from_pretrained(
    "google/gemma-4-E2B-it",
    padding_side="left"
)
messages = [
    {
        "role": "user", "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
            {"type": "text", "text": "What is shown in this image?"},
        ]
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

output = model.generate(**inputs, max_new_tokens=50, assistant_model=assistant_model)
print(processor.decode(output[0][input_len:], skip_special_tokens=True))

Gemma4AssistantConfig

>>> from transformers import (
>>>     Gemma4AssistantConfig,
>>>     Gemma4AssistantForCausalLM,
>>>     Gemma4TextConfig,
>>> )

>>> # Initializing a Gemma 4 Text config similar to google/gemma-4-e2b-it-assistant.
>>> text_config = Gemma4TextConfig(...)

>>> # Initializing a Gemma 4 Assistant config similar to google/gemma-4-e2b-it-assistant.
>>> configuration = Gemma4AssistantConfig(text_config)

>>> # Initializing a model from the google/gemma-4-e2b-it-assistant configuration.
>>> model = Gemma4AssistantForCausalLM(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Gemma4AssistantForCausalLM

>>> from transformers import AutoTokenizer, Gemma4AssistantForCausalLM, Gemma4ForCausalLM

>>> model = Gemma4ForCausalLM.from_pretrained("google/gemma-4-e2b-it")
>>> assistant_model = Gemma4AssistantForCausalLM.from_pretrained("google/gemma-4-e2b-it-assistant")
>>> tokenizer = AutoTokenizer.from_pretrained("google/gemma-4-e2b-it")

>>> prompt = "What is your favorite condiment?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, assistant_model=assistant_model, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True)[0]
"What is your favorite condiment?"