Hugging Face's logo

Transformers documentation

PE Audio

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

نُشر هذا النموذج في أوراق HF في 17 أبريل 2025، وأُضيف إلى مكتبة Hugging Face Transformers في 16 ديسمبر 2025. أُطلق هذا النموذج في 17 أبريل 2025، وأُضيف إلى مكتبة Hugging Face Transformers في 16 ديسمبر 2025.

PE Audio

PE Audio هو الفرع الصوتي من عائلة Meta Perception Encoder. يقوم بمحاذاة موجات الصوت الخام مع النص بشكل تبايني في مساحة تضمين مشتركة، وقد تم تدريبه على بيانات صوتية–وصفية مزدوجة لأغراض الاسترجاع بين الوسائط والتصنيف الصوتي بدون تدريب مسبق.

يُعرَّض رأسان على قمة المُشفِّر نفسه. يُرجع PeAudioModel تضمينًا مجمَّعًا واحدًا لكل مقطع لاسترجاع على مستوى المقطع، بينما يُرجع PeAudioFrameLevelModel تضمينًا واحدًا كل 40 مللي ثانية لتحديد الأحداث والتحليل الزمني الدقيق.

يمكنك العثور على جميع نقاط التفتيش الرسمية لـ PE Audio ضمن مجموعة perception-encoder-audio-visual.

البدء السريع

import torch
from datasets import load_dataset
from transformers import AutoProcessor, PeAudioModel

processor = AutoProcessor.from_pretrained("facebook/pe-av-large")
model = PeAudioModel.from_pretrained(
    "facebook/pe-av-large",
    device_map="auto",
)

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio = ds[0]["audio"]["array"]
labels = ["a dog barking", "a person speaking", "music playing"]

audio_inputs = processor.feature_extractor(audio, sampling_rate=48_000, return_tensors="pt").to(model.device)
text_inputs = processor.tokenizer(labels, padding=True, return_tensors="pt").to(model.device)
inputs = {**audio_inputs, **text_inputs}

with torch.no_grad():
    outputs = model(**inputs)

probs = outputs.logits_audio_text.sigmoid()
print({label: p.item() for label, p in zip(labels, probs[0])})

نصائح وملاحظات حول الاستخدام

  • يجب أن يكون الصوت أحادي القناة (feature_size=1) وأن يُعاد أخذ عيناته بمعدل 48 كيلوهرتز — حيث يُصدر مستخرج الميزات تحذيراً لكنه لا يعيد أخذ العينات نيابةً عنك. ولا يُدعم إدخال الصوت المجسم.
  • يتم التعامل مع الصوت ذي الطول المتغير باستخدام padding_mask (وليس attention_mask المعتاد). يتم تقليل دقة القناع داخلياً بواسطة dac_config.hop_length قبل وصوله إلى المُشفِّر، لذا مرّر قناع الدقة الخام لمستوى الموجة الذي يعيده مستخرج الميزات.
  • يعيد PeAudioModel قيم logits بأبعاد (n_audio, n_text). ويعيد PeAudioFrameLevelModel قيمًا بأبعاد (n_audio, n_text, n_frames) مع إطار واحد كل 40 مللي ثانية. اختر الفئة التي تتناسب مع المهمة — فهي تشترك في الأوزان، لذا فإن التبديل بينهما عملية رخيصة.
  • برج النص هو مُشفِّر مشترك يُحمَّل عبر AutoModel من config.text_config. يتم إرفاق مُجزِّئ الرموز بالمعالج عبر AutoTokenizer، وليس عبر فئة مخصصة.

PeAudioConfig

فئة transformers.PeAudioConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

المعاملات

  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig]، اختياري) — كائن الإعدادات أو قاموس العمود الفقري النصي.
  • audio_config (Union[dict, ~configuration_utils.PreTrainedConfig], اختياري) — كائن الإعداد أو قاموس العمود الفقري الصوتي.

هذه فئة الإعدادات المخزنة لإعدادات نموذج PeAudioModel. تُستخدم لتوليد نموذج Pe Audio وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن إنشاء إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ facebook/pe-av-large

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

مثال:

>>> from transformers import PeAudioModel, PeAudioConfig

>>> # Initializing a PeAudioModel style configuration
>>> configuration = PeAudioConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeAudioEncoderConfig

فئة transformers.PeAudioEncoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonedac_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonehidden_size: int = 1792intermediate_size: int = 4800num_hidden_layers: int = 6num_attention_heads: int = 14num_key_value_heads: int | None = Nonehead_dim: int = 128hidden_act: str = 'silu'max_position_embeddings: int = 10000initializer_range: float = 0.02rms_norm_eps: float = 1e-05rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0 )

المعاملات

  • dac_config (Union[PreTrainedConfig, dict], اختياري) — إعدادات مُشفِّر DAC الصوتي المستخدم لتجزئة مدخلات الصوت الخام. إذا تم تمرير قاموس، فسيتم استخدامه لإنشاء DacConfig باستخدام معاملات DAC الافتراضية.
  • hidden_size (int، اختياري، القيمة الافتراضية 1792) — أبعاد التمثيلات المخفية.
  • intermediate_size (int، اختياري، القيمة الافتراضية 4800) — أبعاد تمثيلات MLP.
  • num_hidden_layers (int، اختياري، القيمة الافتراضية 6) — عدد الطبقات المخفية في مُفكِّك Transformer.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 14) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
  • num_key_value_heads (int, اختياري) — هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان num_key_value_heads=num_attention_heads، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان num_key_value_heads=1 فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع هذا الورقة. إذا لم يتم تحديد القيمة، فسيتم افتراض num_attention_heads.
  • head_dim (int، اختياري، القيمة الافتراضية 128) — بعد رأس الانتباه. إذا كانت القيمة None، فستكون القيمة الافتراضية هي hidden_size // num_attention_heads
  • hidden_act (str، اختياري، القيمة الافتراضية silu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وغيرها.
  • max_position_embeddings (int، اختياري، القيمة الافتراضية 10000) — أقصى طول تسلسل قد يُستخدم معه هذا النموذج.
  • initializer_range (float، اختياري، القيمة الافتراضية 0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
  • rms_norm_eps (float، اختياري، القيمة الافتراضية 1e-05) — قيمة الإيبسلون المستخدمة في طبقات تطبيع rms.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], اختياري) — قائمة تحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن تحتوي القائمة على قيمة لـ rope_theta، ومعاملات اختيارية تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع max_position_embeddings أطول.
  • attention_bias (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام انحياز في طبقات الإسقاط للاستعلام والمفتاح والقيمة والمخرجات أثناء الانتباه الذاتي.
  • attention_dropout (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — نسبة إسقاط (dropout) لاحتمالات الانتباه.

هذه فئة الإعدادات المخزنة لإعدادات نموذج PeAudioModel. تُستخدم لاستحداث نموذج Pe Audio وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ facebook/pe-av-large

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

>>> from transformers import PeAudioEncoder, PeAudioEncoderConfig

>>> # Initializing a PeAudioEncoder style configuration
>>> configuration = PeAudioEncoderConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioEncoder(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeAudioFeatureExtractor

فئة transformers.PeAudioFeatureExtractor

< >

( feature_size: int = 1sampling_rate: int = 48000padding_value: float = 0.0hop_length: int = 1920**kwargs )

المعاملات

  • feature_size (int، اختياري، القيمة الافتراضية 1) — أبعاد الميزة للميزات المستخرجة. استخدم 1 للمono و2 لـ stereo.
  • sampling_rate (int, اختياري، القيمة الافتراضية 48000) — معدل أخذ العينات الذي يجب أن تُرقَم به الموجة الصوتية، ويُعبَّر عنه بالهرتز (Hz).
  • padding_value (float، اختياري، القيمة الافتراضية 0.0) — القيمة المستخدمة للتعبئة.
  • hop_length (int، اختياري، القيمة الافتراضية 1920) — طول التداخل بين النوافذ المتتالية.

ينشئ مستخرج ميزات PeAudioFeatureExtractor.

يرث مستخرج الميزات هذا من SequenceFeatureExtractor الذي يحتوي على معظم الطرق الرئيسية. ينبغي للمستخدمين الرجوع إلى هذه الفئة الأصلية لمزيد من المعلومات حول تلك الطرق.

__call__

< >

( raw_audio: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | str | list[str]padding: bool | str | transformers.utils.generic.PaddingStrategy | None = Nonetruncation: bool | None = Falsemax_length: int | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = None )

PeAudioProcessor

فئة transformers.PeAudioProcessor

< >

( *args**kwargs )

PeAudioEncoder

فئة transformers.PeAudioEncoder

< >

( config: PeAudioEncoderConfig )

المعاملات

  • config (PeAudioEncoderConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج PeAudio Encoder.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

المعاملات

  • input_values (torch.Tensor من الشكل (batch_size, sequence_length)) — قيم عشرية لموجة الصوت الخام المُدخلة. يمكن الحصول على هذه القيم عن طريق تحميل ملف صوتي من نوع .flac أو .wav في مصفوفة من النوع list[float] أو numpy.ndarray أو torch.Tensor، على سبيل المثال باستخدام مكتبة torchcodec (pip install torchcodec) أو مكتبة soundfile (pip install soundfile). لتجهيز المصفوفة إلى input_values، يجب استخدام AutoProcessor لإضافة الحشو والتحويل إلى متجه من النوع torch.Tensor. راجع PeAudioProcessor.call() للتفاصيل.
  • padding_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على عينات الحشو في input_values. قيم القناع المختارة من [0, 1]:
    • 1 للعينات التي لم يتم إخفاؤها،
    • 0 للعينات التي تم إخفاؤها.

يعيد

BaseModelOutputWithPooling أو tuple(torch.Tensor)

BaseModelOutputWithPooling أو مجموعة مرتبة من torch.Tensor (في حال تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (PeAudioConfig) والمدخلات.

تتجاوز طريقة PeAudioEncoder الخاصة بالتقديم (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • last_hidden_state (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.

  • pooler_output (torch.Tensor من الشكل (batch_size, hidden_size)) — حالة الطبقة المخفية الأخيرة للرمز الأول من التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. تُدرَّب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب.

  • hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

    حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.

  • attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

    أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

PeAudioModel

فئة transformers.PeAudioModel

< >

( config: PeAudioConfig )

forward

< >

( input_ids: Tensorinput_values: Tensorattention_mask: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonereturn_loss: bool | None = None**kwargs ) → PeAudioOutput or tuple(torch.Tensor)

المعاملات

  • input_ids (torch.Tensor بشكل (batch_size, sequence_length)) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على المؤشرات باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل. ما هي معرّفات الإدخال؟

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • input_values (torch.Tensor من الشكل (batch_size, sequence_length)) — قيم عشرية لموجة الصوت الخام المُدخلة. يمكن الحصول على هذه القيم عن طريق تحميل ملف صوتي من نوع .flac أو .wav في مصفوفة من النوع list[float] أو numpy.ndarray أو torch.Tensor، على سبيل المثال باستخدام مكتبة torchcodec (pip install torchcodec) أو مكتبة soundfile (pip install soundfile). لتجهيز المصفوفة إلى input_values، يجب استخدام AutoProcessor لإضافة الحشو والتحويل إلى متجه من النوع torch.Tensor. راجع PeAudioProcessor.call() للتفاصيل.
  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • padding_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على عينات الحشو في input_values. قيم القناع المختارة من [0, 1]:
    • 1 للعينات التي لم يتم إخفاؤها،
    • 0 للعينات التي تم إخفاؤها.
  • return_loss (bool، اختياري) — ما إذا كان يجب إرجاع الخسارة أم لا.

يعيد

PeAudioOutput أو tuple(torch.Tensor)

PeAudioOutput أو مجموعة (tuple) من torch.Tensor (في حال تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعدادات (PeAudioConfig) والمدخلات.

تتجاوز طريقة PeAudioModel الخاصة بـ forward الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • loss (torch.Tensor of shape (1,), اختياري) — خسارة تباينية محسوبة بين تمثيلات الصوت والنص.
  • logits_audio_text (torch.Tensor من الشكل (batch_size, batch_size)، اختياري) — قيم التماثل (logits) بين تمثيلات الصوت والنص. تُرجع PeAudioFrameLevelModel قيم التماثل (logits) لكل إطار على حدة من الشكل (batch_size, batch_size, sequence_length) بدلاً من ذلك.
  • text_audio_embeds (torch.Tensor of shape (batch_size, hidden_size), اختياري) — تمثيلات النص المُسقطَة إلى فضاء الصوت والنص.
  • audio_embeds (torch.Tensor of shape (batch_size, hidden_size), اختياري) — تمثيلات صوتية مُسقطَة إلى فضاء النص والصوت. تُرجع PeAudioFrameLevelModel بدلاً من ذلك تمثيلات لكل إطار على شكل (batch_size, sequence_length, hidden_size).
  • text_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات النموذج لمُشفِّر النص، وتشمل حالة الإخفاء الأخيرة والمخرَج المُجمَّع.
  • audio_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات النموذج لمشفّر الصوت، وتشمل الحالة المخفية الأخيرة والمخرجات المجمّعة.

PeAudioFrameLevelModel

فئة transformers.PeAudioFrameLevelModel

< >

( config: PeAudioConfig )

forward

< >

( input_ids: Tensorinput_values: Tensorattention_mask: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonereturn_loss: bool | None = None**kwargs ) → PeAudioOutput or tuple(torch.Tensor)

المعاملات

  • input_ids (torch.Tensor بشكل (batch_size, sequence_length)) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على المؤشرات باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل. ما هي معرّفات الإدخال؟

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • input_values (torch.Tensor من الشكل (batch_size, sequence_length)) — قيم عشرية لموجة الصوت الخام المُدخلة. يمكن الحصول على هذه القيم عن طريق تحميل ملف صوتي من نوع .flac أو .wav في مصفوفة من النوع list[float] أو numpy.ndarray أو torch.Tensor، على سبيل المثال باستخدام مكتبة torchcodec (pip install torchcodec) أو مكتبة soundfile (pip install soundfile). لتجهيز المصفوفة إلى input_values، يجب استخدام AutoProcessor لإضافة الحشو والتحويل إلى متجه من النوع torch.Tensor. راجع PeAudioProcessor.call() للتفاصيل.
  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • padding_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على عينات الحشو في input_values. قيم القناع المختارة من [0, 1]:
    • 1 للعينات التي لم يتم إخفاؤها،
    • 0 للعينات التي تم إخفاؤها.
  • return_loss (bool، اختياري) — ما إذا كان يجب إرجاع الخسارة أم لا.

يعيد

PeAudioOutput أو tuple(torch.Tensor)

PeAudioOutput أو مجموعة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتكون من عناصر مختلفة تعتمد على الإعدادات (PeAudioConfig) والمدخلات.

تُعيد طريقة PeAudioFrameLevelModel الخاصة بالتقديم (forward) تعريف الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • loss (torch.Tensor of shape (1,), اختياري) — خسارة تباينية محسوبة بين تمثيلات الصوت والنص.
  • logits_audio_text (torch.Tensor من الشكل (batch_size, batch_size)، اختياري) — قيم التماثل (logits) بين تمثيلات الصوت والنص. تُرجع PeAudioFrameLevelModel قيم التماثل (logits) لكل إطار على حدة من الشكل (batch_size, batch_size, sequence_length) بدلاً من ذلك.
  • text_audio_embeds (torch.Tensor of shape (batch_size, hidden_size), اختياري) — تمثيلات النص المُسقطَة إلى فضاء الصوت والنص.
  • audio_embeds (torch.Tensor من الشكل (batch_size, hidden_size)، اختياري) — تمثيلات صوتية مُسقطَة إلى فضاء النص والصوت. تُرجع PeAudioFrameLevelModel بدلاً من ذلك تمثيلات لكل إطار من الشكل (batch_size, sequence_length, hidden_size).
  • text_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات النموذج لمُشفِّر النص، وتشمل حالة الإخفاء الأخيرة والمخرَج المُجمَّع.
  • audio_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات النموذج لمشفّر الصوت، وتشمل الحالة المخفية الأخيرة والمخرجات المجمّعة.
Update on GitHub

←Parakeet Pocket TTS→