Transformers documentation

Nemotron 3.5 ASR

Transformers

Başlayın

Transformers Kurulum Hızlı Başlangıç

Taban sınıfları

Modeller

Önişleyiciler

Çıkarım

Pipeline API

Generate API

Optimizasyon

Modellerle sohbet edin

Sunum

Eğitim

Başlayın

Özelleştirme

Parametre verimli ince ayar

Performans

Dağıtık eğitim

Donanım

Kantizasyon

Ekosistem entegrasyonları

Kaynaklar

API

Ana sınıflar

Modeller

Metin modelleri

Görüş modelleri

Ses modelleri

Video modelleri

Çok modlu modeller

Pekiştirmeli öğrenme modelleri

Zaman serisi modelleri

Dahili yardımcılar

Referans

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model, 2026-06-27 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

Nemotron 3.5 ASR

Genel Bakış

Nemotron 3.5 ASR, NVIDIA tarafından geliştirilen, düşük gecikmeli akış ve yüksek verimli toplu işleme ortamlarında yüksek kaliteli transkripsiyon için tasarlanmış, yerel noktalama ve büyük harf desteğine sahip 600M parametreli çok dilli bir konuşma tanıma modelidir. Akış işlemleri için yapılandırılabilir parça boyutları (80ms, 160ms, 560ms ve 1120ms) sunarak kullanıcıların, uygulamalarına uygun şekilde gecikme ile doğruluk arasında denge kurmasına olanak tanır. Bu yeteneğin merkezinde, önbellek farkında olan FastConformer-RNNT mimarisi yer alır: geleneksel tamponlu akışta, üst üste binen ses pencereleri tekrar tekrar işlenirken, bu model yalnızca her yeni gelen parçayı işler ve önceki parçalardan önbelleğe alınmış kodlayıcı bağlamını yeniden kullanır. Bu yaklaşım, gereksiz hesaplamaları ortadan kaldırır, verimliliği önemli ölçüde artırır ve doğruluktan ödün vermeden uçtan uca gecikmeyi en aza indirerek gerçek zamanlı transkripsiyon iş yükleri için son derece uygun hale getirir.

Kullanım

Çevrimdışı transkripsiyon

Pipeline

AutoModel

Akışkan transkripsiyon

Bu deneysel bir özelliktir ve API değiştirilebilir.

Gerçek zamanlı transkripsiyon için ses, aşağıdaki şekilde parçalara ayrılır:

from threading import Thread
from transformers import AutoModelForRNNT, AutoProcessor, TextIteratorStreamer
from transformers.audio_utils import load_audio

model_id = "nvidia/nemotron-3.5-asr-streaming-0.6b"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForRNNT.from_pretrained(model_id, device_map="auto")

processor.set_num_lookahead_tokens(6)
print(f"Streaming latency: {processor.streaming_latency_ms} ms")

# The language prompt rides along on every chunk; use a locale (e.g. "de-DE") or "auto".
language = "en-US"

sampling_rate = processor.feature_extractor.sampling_rate
audio = load_audio(
    "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama.mp3",
    sampling_rate=sampling_rate,
)

first_chunk_inputs = processor(
    audio[: processor.num_samples_first_audio_chunk],
    sampling_rate=sampling_rate,
    is_streaming=True,
    is_first_audio_chunk=True,
    language=language,
    return_tensors="pt",
)
first_chunk_inputs = first_chunk_inputs.to(model.device, dtype=model.dtype)


def input_features_generator():
    yield first_chunk_inputs.input_features[:, : processor.num_mel_frames_first_audio_chunk, :]

    mel_frame_idx = processor.num_mel_frames_first_audio_chunk
    hop_length = processor.feature_extractor.hop_length
    n_fft = processor.feature_extractor.n_fft

    start_idx = mel_frame_idx * hop_length - n_fft // 2
    while (end_idx := start_idx + processor.num_samples_per_audio_chunk) < audio.shape[0]:
        inputs = processor(
            audio[start_idx:end_idx],
            sampling_rate=sampling_rate,
            is_streaming=True,
            is_first_audio_chunk=False,
            language=language,
            return_tensors="pt",
        )
        inputs = inputs.to(model.device, dtype=model.dtype)
        yield inputs.input_features

        mel_frame_idx += processor.num_mel_frames_per_audio_chunk
        start_idx = mel_frame_idx * hop_length - n_fft // 2


streamer = TextIteratorStreamer(processor.tokenizer, skip_special_tokens=True)
generate_kwargs = {
    **first_chunk_inputs,
    "input_features": input_features_generator(),
    "streamer": streamer,
}
thread = Thread(target=model.generate, kwargs=generate_kwargs)
thread.start()

# Iterate over the streamer to get text chunks as they are generated
print("Model output (streaming):", end=" ", flush=True)
for text_chunk in streamer:
    print(text_chunk, end="", flush=True)
thread.join()

Akış gecikmesi

Gecikme, her parçanın yayımlanmadan önce beklediği doğru dikkat bağlamını (alt örneklenmiş kodlayıcı karelerinde ileriye bakma) belirleyen num_lookahead_tokens ile ayarlanır. Daha büyük bir değer, her parçanın daha fazla gelecekteki sesi görmesini sağlar: daha yüksek gecikme bedeli karşılığında daha iyi doğruluk. Desteklenen ödünleşimleri inceleyin, birini seçin ve sonuçlanan gecikmeyi okuyun:

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("nvidia/nemotron-3.5-asr-streaming-0.6b")

# Each supported `num_lookahead_tokens` mapped to its streaming latency in milliseconds:
print(processor.supported_streaming_latencies_ms)
# {3: 320, 0: 80, 6: 560, 13: 1120}

# Select a right attention context (this also re-derives the streaming chunk sizes used above):
processor.set_num_lookahead_tokens(6)

# Latency of the current selection:
print(processor.streaming_latency_ms)
# 560

set_num_lookahead_tokens, işleyicinin ürettiği parçacıkların boyutunu belirler ve eşleşen num_lookahead_tokens değeri generate fonksiyonuna iletilmelidir (yukarıdaki kod parçasında bu değer, num_lookahead_tokens içeren **inputs/**first_chunk_inputs üzerinden taşınır). Akış (streaming) generate çağrısında bu değer atlanırsa bir hata fırlatılır.

Nemotron3_5AsrConfig

sınıf transformers.Nemotron3_5AsrConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truevocab_size: int = 13088decoder_hidden_size: int = 640num_decoder_layers: int = 2hidden_act: str = 'relu'max_symbols_per_step: int = 10encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonepad_token_id: int = 0blank_token_id: int = 13087num_prompts: int = 128prompt_intermediate_size: int = 2048default_prompt_id: int = 101 )

Parametreler

is_encoder_decoder (bool, isteğe bağlı, varsayılan True) — Modelin bir kodlayıcı/çözücü olarak kullanılıp kullanılmadığı.
vocab_size (int, isteğe bağlı, varsayılan 13088) — Birleşik ağ çıktısının sözlük boyutu (boş token dahil).
decoder_hidden_size (int, isteğe bağlı, varsayılan 640) — LSTM tahmin ağı gizli boyutu (NeMo'nun pred_hidden değeri).
num_decoder_layers (int, isteğe bağlı, varsayılan 2) — Tahmin ağındaki LSTM katmanlarının sayısı.
hidden_act (str, isteğe bağlı, varsayılan "relu") — Ortak ağdaki aktivasyon.
max_symbols_per_step (int, isteğe bağlı, varsayılan 10) — Açgözlü çözümleme sırasında her kodlayıcı zaman adımında üretilen en fazla boş olmayan sembol sayısı.
encoder_config (Union[dict, NemotronAsrStreamingEncoderConfig], isteğe bağlı) — Encoder'ın yapılandırma nesnesi veya sözlüğü. Encoder, NemotronAsrStreaming'in encoder'ı ile aynı olduğu için NemotronAsrStreamingEncoderConfig doğrudan yeniden kullanılır.
pad_token_id (int, isteğe bağlı, varsayılan 0) — Sözlükte dolgu için kullanılan token kimliği.
blank_token_id (int, isteğe bağlı, varsayılan 13087) — RNN-T çözümleme için boş token kimliği.
num_prompts (int, isteğe bağlı, varsayılan 128) — Dil istemi yuvalarının sayısı. Hedef dil, bu boyutta tek-sıcak (one-hot) bir vektör olarak kodlanır, kodlayıcı zaman ekseni boyunca yayılır ve prompt_kernel füzyon MLP'si öncesinde kodlayıcı çıktısıyla birleştirilir.
prompt_intermediate_size (int, isteğe bağlı, varsayılan 2048) — prompt_kernel füzyon MLP'sinin gizli boyutu (Linear(hidden + num_prompts -> intermediate) -> ReLU -> Linear(intermediate -> hidden)).
default_prompt_id (int, isteğe bağlı, varsayılan 101) — prompt_ids sağlanmadığında modeli koşullandırmak için kullanılan prompt indeksi. NeMo prompt sözlüğünde auto dil algılama yuvasına (indeks 101) karşılık gelir ve NeMo’nun target_lang="auto" varsayılanıyla uyumludur: model dili kendisi algılar ve bir <xx-XX> etiketi üretir.

Bu, bir Nemotron3_5AsrForRNNT yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Nemotron3 5 Asr modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, nvidia/nemotron-3.5-asr-streaming-0.6b modelinin yapılandırmasına benzer bir yapılandırma üretir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import Nemotron3_5AsrForRNNT, Nemotron3_5AsrConfig

>>> configuration = Nemotron3_5AsrConfig()
>>> model = Nemotron3_5AsrForRNNT(configuration)
>>> configuration = model.config

Nemotron3_5AsrProcessor

sınıf transformers.Nemotron3_5AsrProcessor

< source >

( feature_extractortokenizerblank_token = '<blank>'decoder_type = Nonesupported_num_lookahead_tokens = Nonedefault_num_lookahead_tokens = Noneprompt_dictionary = Nonenum_prompts = 128 )

Parametreler

feature_extractor (NemotronAsrStreamingFeatureExtractor) — Özellik çıkarıcı zorunlu bir girdidir.
tokenizer (ParakeetTokenizer) — Tokenizer zorunlu bir girdidir.
blank_token (str, isteğe bağlı, varsayılan "<blank>") — RNN-T çözümleme için boşluk belirteci.
decoder_type (str, isteğe bağlı) — Çözme/zaman damgası çıkarma modu (ör. "ctc", "rnnt", "tdt"). None ise geriye dönük uyumluluk için decoder tipi otomatik olarak çıkarılır.
supported_num_lookahead_tokens (list[int], isteğe bağlı) — NemotronAsrStreamingEncoderConfig.supported_num_lookahead_tokens ile uyumlu olarak, alt örneklenmiş kodlayıcı karelerindeki sağ dikkat bağlamlarını (lookahead'leri) yansıtır. streaming_latency_ms değerini doğrulamak ve döndürülen num_lookahead_tokens değerini türetmek için kullanılır.
default_num_lookahead_tokens (int, isteğe bağlı) — streaming_latency_ms sağlanmadığında kullanılan sağ bağlam. Varsayılan olarak supported_num_lookahead_tokens'un ilk girdisidir.
prompt_dictionary (dict[str, int], isteğe bağlı) — Hedef dil dizgesinden (ör. "en-US", "de-DE", yalnızca kod "de" veya "auto") prompt dizinine eşleme. Varsayılan olarak NeMo checkpoint'inin prompt sözlüğünü kullanır.
num_prompts (int, isteğe bağlı, varsayılan 128) — Dil-istemi yuvalarının sayısı (one-hot istemi vektörünün boyutu), Nemotron3_5AsrConfig.num_prompts ile aynıdır.

Bir özellik çıkarıcıyı ve bir belirteçleyiciyi tek bir işlemciye saran bir Nemotron3_5AsrProcessor oluşturur.

Nemotron3_5AsrProcessor, NemotronAsrStreamingFeatureExtractor ve ParakeetTokenizer sınıflarının tüm işlevlerini sunar. Daha fazla bilgi için ~NemotronAsrStreamingFeatureExtractor ve ~ParakeetTokenizer belgelerini inceleyin.

decode

< source >

( *argsdurations = None**kwargs )

Argümanları decode() fonksiyonuna iletin ve (NeMo kütüphanesindeki gibi) durations sağlanırsa token düzeyindeki zaman damgalarını son işlemeye tabi tutun.

set_num_lookahead_tokens

< source >

( num_lookahead_tokens: int )

Akış için kullanılan doğru dikkat bağlamını (ön izleme, alt örneklenmiş kodlayıcı karelerinde) seçin.

default_num_lookahead_tokens değerini ayarlar; böylece türetilen tüm akış özellikleri (num_mel_frames_first_audio_chunk, num_mel_frames_per_audio_chunk, num_samples_first_audio_chunk, num_samples_per_audio_chunk) yeni değerden yeniden türetilir. num_lookahead_tokens, supported_num_lookahead_tokens içindeki değerlerden biri olmalıdır.

Dikkat sağ bağlamının, ileri yönde kullanılan değerle burada üretilen parça boyutlarıyla eşleşmesini sağlamak için model.generate çağrısına aynı num_lookahead_tokens değerini geçirin; aksi takdirde akış generate bir hata fırlatır.

Nemotron3_5AsrRNNTOutput

sınıf transformers.Nemotron3_5AsrRNNTOutput

< source >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonepooler_output: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = Noneloss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonedecoder_cache: transformers.models.nemotron3_5_asr.generation_nemotron3_5_asr.Nemotron3_5AsrRNNTDecoderCache | None = Noneencoder_past_key_values: transformers.cache_utils.Cache | None = Nonepadding_cache: NemotronAsrStreamingEncoderCausalConvPaddingCache | None = None )

Parametreler

last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.
pooler_output (torch.Tensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, ek ön eğitim görevi için kullanılan katmanlardan geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katmandan ve tanh aktivasyon fonksiyonundan geçirildikten sonraki halini döndürür. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.
hidden_states (tuple(torch.Tensor), isteğe bağlı, geri döndürülür output_hidden_states=True geçildiğinde veya config.output_hidden_states=True) — şu türden bir demet: torch.Tensor (gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için bir tane) ve şekli (batch_size, sequence_length, hidden_size).
Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
attentions (tuple(torch.Tensor), isteğe bağlı, geri döndürülür output_attentions=True geçildiğinde veya config.output_attentions=True) — şu türden bir demet torch.Tensor (şeklinde, her katman için bir adet) (batch_size, num_heads, sequence_length, sequence_length).
Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.
loss (torch.Tensor, isteğe bağlı, labels sağlandığında döndürülür) — RNN-T transducer kaybı.
logits (torch.Tensor, şekli (batch_size, encoder_length, decoder_length, vocab_size + 1)) — Her encoder/decoder çerçeve çifti için, boş sembol dahil sözlük üzerindeki ortak ağ puanları.
decoder_cache (Nemotron3_5AsrRNNTDecoderCache, opsiyonel) — Güncellenmiş decoder LSTM önbelleği. Boş tahminlerde LSTM adımını atlamak için yeniden kullanılır.
encoder_past_key_values (Cache, isteğe bağlı) — Sesin use_cache=True ile kodlanması sırasında (cache duyarlı akış) döndürülen, güncellenmiş encoder dikkat K/V kayan pencere önbelleği. Bir sonraki parçanın forward işlemine iletin.
padding_cache (NemotronAsrStreamingEncoderCausalConvPaddingCache, opsiyonel) — Sesin use_cache=True ile kodlanmasında döndürülen, güncellenmiş birleşik akışlama conv önbelleği (alt örneklemeli Conv2d + conformer derinlik içi Conv1d). Bir sonraki parçanın ileri geçişine iletin.

Nemotron3_5AsrForRNNT

sınıf transformers.Nemotron3_5AsrForRNNT

< source >

( config: Nemotron3_5AsrConfig )

Parametreler

config (Nemotron3_5AsrConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

RNN-T (Recurrent Neural Network Transducer) başlığına ve dil kimliği (language-ID) istemci koşullandırmasına sahip Nemotron3_5Asr Encoder.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< source >

( input_features: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_cache: transformers.models.nemotron3_5_asr.generation_nemotron3_5_asr.Nemotron3_5AsrRNNTDecoderCache | None = Noneuse_decoder_cache: bool | None = Noneencoder_outputs: transformers.modeling_outputs.BaseModelOutputWithPooling | None = Nonelabels: typing.Optional[torch.Tensor] = Nonenum_lookahead_tokens: int | None = Noneprompt_ids: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Nemotron3_5AsrRNNTOutput or tuple(torch.Tensor)

Parametreler

input_features (torch.Tensor, şekli (batch_size, sequence_length, feature_dim), isteğe bağlı) — Giriş ses özelliklerine karşılık gelen tensörler. Ses özellikleri feature_extractor_class kullanılarak elde edilebilir. Ayrıntılar için feature_extractor_class.__call__ bölümüne bakın (processor_class, sesleri işlemek için feature_extractor_class kullanır).
attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
Dikkat maskeleri nedir?
decoder_input_ids (torch.LongTensor, şekli (batch_size, 1), opsiyonel) — Tek adımlı çıkarım için decoder giriş token kimlikleri.
decoder_cache (Nemotron3_5AsrRNNTDecoderCache, opsiyonel) — Decoder LSTM önbelleği. Boş (blank) tahminlerde LSTM adımını atlamak için yeniden kullanılır.
use_decoder_cache (bool, isteğe bağlı) — Hiçbiri sağlanmadığında bir decoder önbelleği ayırmak ve kullanmak için.
encoder_outputs (tuple(torch.Tensor), isteğe bağlı) — Önceden hesaplanmış kodlayıcı çıktıları (last_hidden_state, pooler_output, …).
labels (torch.Tensor, şekli (batch_size, sequence_length), isteğe bağlı) — Maskeli dil modelleme kaybını hesaplamak için etiketler. Endeksler [0, ..., config.vocab_size] aralığında olmalı ya da -100 olmalı (input_ids docstring'ine bakın). Endeksleri -100 olarak ayarlanan tokenlar yok sayılır (maskelenir), kayıp yalnızca etiketleri [0, ..., config.vocab_size] aralığında olan tokenlar için hesaplanır.
num_lookahead_tokens (int, isteğe bağlı) — Kodlayıcıya iletilen sağ dikkat bağlamı (alt örneklenmiş kodlayıcı çerçevelerinde ileriye bakış). Varsayılan değeri config.encoder_config.default_num_lookahead_tokens'tür.
prompt_ids (torch.LongTensor, şekli (batch_size,), isteğe bağlı) — Dil kimliği koşullandırması için dil-istemi dizinleri. İşleyici tarafından language parametresinden üretilir. prompt_projector tarafından tüketilen yayınlanmış tek-sıcak (one-hot) vektöre dönüştürülür.

Dönüş değeri

Nemotron3_5AsrRNNTOutput veya tuple(torch.Tensor)

Bir Nemotron3_5AsrRNNTOutput veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (None) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

Nemotron3_5AsrForRNNT forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.
pooler_output (torch.Tensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.
hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.
loss (torch.Tensor, isteğe bağlı, labels sağlandığında döndürülür) — RNN-T transducer kaybı.
logits (torch.Tensor, şekli (batch_size, encoder_length, decoder_length, vocab_size + 1)) — Her kodlayıcı/kod çözücü çerçeve çifti için, boş sembol dahil sözlük üzerindeki ortak ağ puanları.
decoder_cache (Nemotron3_5AsrRNNTDecoderCache, opsiyonel) — Güncellenmiş decoder LSTM önbelleği. Boş tahminlerde LSTM adımını atlamak için yeniden kullanılır.
encoder_past_key_values (Cache, isteğe bağlı) — Ses kodlanırken use_cache=True kullanıldığında (önbellek duyarlı akış) döndürülen, güncellenmiş kodlayıcı dikkat K/V kayan pencere önbelleği. Bir sonraki parçanın ileri geçişine iletin.
padding_cache (NemotronAsrStreamingEncoderCausalConvPaddingCache, opsiyonel) — Sesin use_cache=True ile kodlanmasında döndürülen, güncellenmiş birleşik akış convolution önbelleği (alt örneklemeli Conv2d + conformer derinlik içi Conv1d). Bir sonraki parçanın ileri geçişine iletin.

Örnek:

>>> from transformers import AutoProcessor, Nemotron3_5AsrForRNNT
>>> from datasets import load_dataset, Audio

>>> model_id = "nvidia/nemotron-3.5-asr-streaming-0.6b"
>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = Nemotron3_5AsrForRNNT.from_pretrained(model_id)

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))

>>> inputs = processor(ds[0]["audio"]["array"], language="en-US")
>>> outputs = model(**inputs)

generate

< source >

( inputs = Nonegeneration_config = None**kwargs )

Update on GitHub

←Nemotron 3 Konuşmacı Ayrıştırma Nemotron 3.5 Transcribe→