# Üretim özellikleri

[generate()](/docs/transformers/v5.23.0/tr/main_classes/text_generation#transformers.GenerationMixin.generate) API, üzerine uygulama geliştirme için birkaç özellik destekler.

Bu kılavuz, bu özellikleri nasıl kullanacağınızı gösterecektir.

## Akış

Akış, metin oluşturulur oluşturulmaz döndürmeye başlar; böylece tüm üretilen yanıtı bir anda görmek için beklemeniz gerekmez. Kullanıcıya yönelik uygulamalarda bu, algılanan gecikmeyi azalttığı ve kullanıcıların üretim sürecini izlemesini sağladığı için önemlidir.

    

> [!TIP]
> [Text Generation Inference](https://huggingface.co/docs/text-generation-inference/en/conceptual/streaming) belgelerinde akış hakkında daha fazla bilgi edinin.

Tokenizer ile [TextStreamer](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.TextStreamer) örneği oluşturun. Çıktıyı kelime kelime akışa almak için [TextStreamer](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.TextStreamer)'i [generate()](/docs/transformers/v5.23.0/tr/main_classes/text_generation#transformers.GenerationMixin.generate) içindeki `streamer` parametresine iletin.

```py
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")
model = AutoModelForCausalLM.from_pretrained("openai-community/gpt2")
inputs = tokenizer(["The secret to baking a good cake is "], return_tensors="pt")
streamer = TextStreamer(tokenizer)

_ = model.generate(**inputs, streamer=streamer, max_new_tokens=20)
```

`streamer` parametresi, [put()](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.TextStreamer.put) ve [end()](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.TextStreamer.end) yöntemlerine sahip herhangi bir sınıf ile uyumludur. [put()](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.TextStreamer.put) yeni jetonları iletir ve [end()](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.TextStreamer.end) üretimin sonunu işaretler. Bu iki yöntemi içeren kendi streamer sınıfınızı oluşturabilir veya Transformers'ın temel streamer sınıflarını kullanabilirsiniz.

## Filigran

Watermarking, metnin yapay olarak üretildiğini tespit etmek için kullanışlıdır. Transformers'taki [watermarking stratejisi](https://hf.co/papers/2306.04634), token'ların bir alt kümesini rastgele "yeşil" olarak renklendirir. Yeşil token'lar üretildiğinde, logit'lerine küçük bir önyargı eklenir ve üretilme olasılıkları artar. Üretilen metni, yeşil token'ların oranını insan tarafından üretilen metinlerde tipik olarak bulunan yeşil token miktarıyla karşılaştırarak tespit edebilirsiniz.

Watermarking, Transformers'taki herhangi bir üretken model için desteklenir ve işaretlenmiş metni algılamak için ek bir sınıflandırma modeli gerektirmez.

Logitlere eklenecek sapma değerini ve filigranlama algoritmasını içeren bir [WatermarkingConfig](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.WatermarkingConfig) oluşturun. Aşağıdaki örnek, yeşil token seçiminin yalnızca mevcut tokene bağlı olduğu `"selfhash"` algoritmasını kullanır. [WatermarkingConfig](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.WatermarkingConfig) nesnesini [generate()](/docs/transformers/v5.23.0/tr/main_classes/text_generation#transformers.GenerationMixin.generate) fonksiyonuna iletin.

> [!TIP]
> [WatermarkDetector](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.WatermarkDetector) sınıfı, üretilen metindeki yeşil jetonların oranını algılar; bu nedenle, üretilen metinden çok daha uzunsa, istem metninin kaldırılması önerilir. Dolgu (padding) da [WatermarkDetector](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.WatermarkDetector) üzerinde etkili olabilir.

```py
from transformers import AutoTokenizer, AutoModelForCausalLM, WatermarkDetector, WatermarkingConfig

model = AutoModelForCausalLM.from_pretrained("openai-community/gpt2")
tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")
tokenizer.pad_token_id = tokenizer.eos_token_id
tokenizer.padding_side = "left"

inputs = tokenizer(["This is the beginning of a long story", "Alice and Bob are"], padding=True, return_tensors="pt")
input_len = inputs["input_ids"].shape[-1]

watermarking_config = WatermarkingConfig(bias=2.5, seeding_scheme="selfhash")
out = model.generate(**inputs, watermarking_config=watermarking_config, do_sample=False, max_length=20)
```

[WatermarkDetector](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.WatermarkDetector) örneği oluşturun ve metnin makine tarafından üretildiğini tespit etmek için model çıktısını ona iletin. [WatermarkDetector](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.WatermarkDetector), üretim sırasında kullanılan aynı [WatermarkingConfig](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.WatermarkingConfig) ile oluşturulmalıdır.

```py
detector = WatermarkDetector(model_config=model.config, device="cpu", watermarking_config=watermarking_config)
detection_out = detector(out, return_dict=True)
detection_out.prediction
array([True, True])
```

