# SeamlessM4T

## Обзор

Модель SeamlessM4T была предложена в работе [SeamlessM4T — Massively Multilingual & Multimodal Machine Translation](https://huggingface.co/papers/2308.11596) командой Seamless Communication из Meta AI.

Это релиз модели **version 1**. Для обновлённого релиза **version 2** обратитесь к [документации Seamless M4T v2](./seamless_m4t_v2).

SeamlessM4T — это набор моделей, разработанных для обеспечения высококачественного перевода, что позволяет людям из разных языковых сообществ легко общаться посредством речи и текста.

SeamlessM4T позволяет выполнять несколько задач без использования отдельных моделей:

- Перевод речи в речь (S2ST)
- Перевод с распознаванием речи (S2TT)
- Перевод текста в речь (T2ST)
- Перевод текста в текст (T2TT)
- Автоматическое распознавание речи (ASR)

[SeamlessM4TModel](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TModel) может выполнять все перечисленные выше задачи, однако для каждой из них предусмотрена отдельная подмодель.

Аннотация из статьи следующая:

*Что необходимо для создания Babel Fish — инструмента, который помогает людям переводить речь между любыми двумя языками? Хотя недавние прорывы в текстовых моделях расширили охват машинного перевода более чем на 200 языков, единые модели перевода речи в речь пока не достигли аналогичных успехов. Более конкретно, традиционные системы перевода речи в речь полагаются на каскадные системы, выполняющие перевод последовательно, что делает высокопроизводительные единые системы недостижимыми. Чтобы устранить эти пробелы, мы представляем SeamlessM4T — единую модель, которая поддерживает перевод речи в речь, перевод речи в текст, перевод текста в речь, перевод текста в текст и автоматическое распознавание речи для до 100 языков. Для её создания мы использовали 1 миллион часов открытых аудиоданных речи, чтобы обучить самообучаемые представления речи с помощью w2v-BERT 2.0. Затем мы создали мультимодальный корпус автоматически выровненных переводов речи. Отфильтрованный и объединённый с данными, размеченными людьми и псевдо-размеченными данными, мы разработали первую многоязычную систему, способную переводить с английского и на английский как для речи, так и для текста. На FLEURS SeamlessM4T устанавливает новый стандарт для переводов на несколько целевых языков, достигнув улучшения на 20% BLEU по сравнению с предыдущим SOTA в прямом переводе речи в текст. По сравнению с сильными каскадными моделями, SeamlessM4T улучшает качество перевода на английский на 1.3 балла BLEU в переводе речи в текст и на 2.6 балла ASR-BLEU в переводе речи в речь. При тестировании на устойчивость наша система показывает лучшие результаты в задачах перевода речи в текст в условиях фонового шума и вариаций говорящих по сравнению с текущей моделью SOTA. Принципиально важно, что мы оценили SeamlessM4T на гендерные предубеждения и добавили токсичность для оценки безопасности перевода. Наконец, все вклады в этой работе открыты и доступны по адресу https://github.com/facebookresearch/seamless_communication*

## Использование

Сначала загрузите процессор и контрольную точку модели:

```python
from transformers import AutoProcessor, SeamlessM4TModel

processor = AutoProcessor.from_pretrained("facebook/hf-seamless-m4t-medium")
model = SeamlessM4TModel.from_pretrained("facebook/hf-seamless-m4t-medium", device_map="auto")
```

Вы можете бесшовно использовать эту модель для работы с текстом или аудио, чтобы получить переведенный текст или переведенное аудио.

Вот как использовать процессор для обработки текста и аудио:

```python
# let's load an audio sample from an Arabic speech corpus
from datasets import load_dataset

dataset = load_dataset("halabi2016/arabic_speech_corpus", split="test", streaming=True)
audio_sample = next(iter(dataset))["audio"]

# now, process it
audio_inputs = processor(audio=audio_sample["array"], return_tensors="pt").to(model.device)

# now, process some English test as well
text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt").to(model.device)
```

### Речь

[SeamlessM4TModel](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TModel) может *бесшовно* генерировать текст или речь с минимальными изменениями или без них. Давайте настроим перевод на голосовой русский:

```python
audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()
audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()
```

По сути, с тем же кодом я перевёл английский текст и арабскую речь в образцы русской речи.

### Текст

Аналогично, вы можете генерировать переведенный текст из аудиофайлов или из текста с помощью той же модели. Для этого достаточно передать `generate_speech=False` в [SeamlessM4TModel.generate()](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TModel.generate). На этот раз переведем на французский.

```python
# from audio
output_tokens = model.generate(**audio_inputs, tgt_lang="fra", generate_speech=False)
translated_text_from_audio = processor.decode(output_tokens[0].tolist()[0], skip_special_tokens=True)

# from text
output_tokens = model.generate(**text_inputs, tgt_lang="fra", generate_speech=False)
translated_text_from_text = processor.decode(output_tokens[0].tolist()[0], skip_special_tokens=True)
```

### Советы

#### 1. Используйте специализированные модели

[SeamlessM4TModel](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TModel) — это модель верхнего уровня в transformers для генерации речи и текста, но вы также можете использовать специализированные модели, выполняющие задачу без дополнительных компонентов, что снижает потребление памяти. Например, фрагмент кода для генерации аудио-в-аудио можно заменить моделью, предназначенной для задачи S2ST, остальной код остаётся полностью тем же:

```python
from transformers import SeamlessM4TForSpeechToSpeech

model = SeamlessM4TForSpeechToSpeech.from_pretrained("facebook/hf-seamless-m4t-medium", device_map="auto")
```

Или вы можете заменить фрагмент кода для генерации текста в текст на модель, предназначенную для задачи T2TT, — достаточно просто удалить `generate_speech=False`.

```python
from transformers import SeamlessM4TForTextToText

model = SeamlessM4TForTextToText.from_pretrained("facebook/hf-seamless-m4t-medium", device_map="auto")
```

Вы также можете попробовать [SeamlessM4TForSpeechToText](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForSpeechToText) и [SeamlessM4TForTextToSpeech](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForTextToSpeech).

#### 2. Измените личность говорящего

Вы можете изменить голос, используемый для синтеза речи, с помощью аргумента `spkr_id`. Для некоторых языков одни значения `spkr_id` работают лучше, чем другие!

#### 3. Измените стратегию генерации

Вы можете использовать различные [стратегии генерации](../generation_strategies) для речевого и текстового вывода, например `.generate(input_ids=input_ids, text_num_beams=4, speech_do_sample=True)`, которая последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и мультиномиальную выборку в речевой модели.

#### 4. Генерация речи и текста одновременно

Используйте `return_intermediate_token_ids=True` вместе с [SeamlessM4TModel](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TModel), чтобы возвращать и речь, и текст!

## Архитектура модели

SeamlessM4T обладает универсальной архитектурой, которая обеспечивает плавную последовательную генерацию текста и речи. Эта конфигурация включает две последовательные модели (seq2seq). Первая модель переводит входную модальность в переведённый текст, а вторая генерирует токены речи, известные как «unit tokens», на основе переведённого текста.

Каждая модальность имеет собственный специализированный энкодер с уникальной архитектурой. Кроме того, для речевого вывода поверх второй seq2seq-модели размещается вокодер, вдохновлённый архитектурой [HiFi-GAN](https://huggingface.co/papers/2010.05646).

Вот как работает процесс генерации:

- Входной текст или речь обрабатывается с помощью соответствующего кодировщика.
- Декодер создаёт токены текста на нужном языке.
- Если требуется генерация речи, вторая модель seq2seq, построенная по стандартной архитектуре «кодировщик-декодировщик», генерирует токены юнитов.
- Затем эти токены единиц передаются в финальный вокодер для генерации фактической речи.

Эта модель была предоставлена пользователем [ylacombe](https://huggingface.co/ylacombe). Исходный код можно найти [здесь](https://github.com/facebookresearch/seamless_communication).

## SeamlessM4TModel[[transformers.SeamlessM4TModel]]

#### transformers.SeamlessM4TModel[[transformers.SeamlessM4TModel]]

```python
transformers.SeamlessM4TModel(config: SeamlessM4TConfig, current_modality = 'text')
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L3361)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

current_modality (`str`, *необязательный*, по умолчанию `"text"`) : Модальность по умолчанию. Используется для инициализации модели.

Исходный трансформер модели SeamlessM4T, который можно использовать для всех доступных задач (S2ST, S2TT, T2TT, T2ST).

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### generate[[transformers.SeamlessM4TModel.generate]]

```python
generate(input_ids: typing.Optional[torch.Tensor] = None, input_features: typing.Optional[torch.Tensor] = None, return_intermediate_token_ids: bool | None = None, tgt_lang: str | None = None, spkr_id: int | None = 0, generate_speech: bool | None = True, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L3549)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. Индексы можно получить с помощью [SeamlessM4TTokenizer](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTokenizer) или [SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

input_features (`torch.Tensor` формы `(batch_size, sequence_length, num_banks)`, *необязательный*) : Входные аудиопризнаки. Они должны возвращаться классом [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) или классом [SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor). Подробности см. в [SeamlessM4TFeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor.__call__).

return_intermediate_token_ids (`bool`, *необязательный*) : Если `True`, также возвращает промежуточный сгенерированный текст и токены единиц. Установите `True`, если вы также хотите получить переведённый текст вместе с аудио. Обратите внимание, что если `generate_speech=False`, этот параметр будет проигнорирован, и будут возвращены токены текста.

tgt_lang (`str`, *необязательный*) : Язык, который следует использовать в качестве целевого языка для перевода.

spkr_id (`int`, *optional*, по умолчанию 0) : Идентификатор говорящего, используемый для синтеза речи. Должен быть меньше `config.vocoder_num_spkrs`.

generate_speech (`bool`, *необязательный*, по умолчанию `True`) : Если `False`, возвращает только токены текста и не генерирует речь.

kwargs (*необязательный*) : Оставшийся словарь аргументов по имени, которые будут переданы в [GenerationMixin.generate()](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationMixin.generate). Аргументы по имени бывают двух типов:  - Без префикса они будут переданы как `**kwargs` для метода `generate` каждой подмодели, за исключением `decoder_input_ids`, который будет передаваться только через текстовые компоненты. - С префиксом *text_* или *speech_* они будут переданы в метод `generate` текстовой модели и речевой модели соответственно. Они имеют приоритет над аргументами без префикса.  Это означает, что, например, можно указать стратегию генерации для одной генерации, но не для другой.

**Возвращает:** `Union[SeamlessM4TGenerationOutput, tuple[Tensor], ModelOutput]`

- Если указаны `generate_speech` и `return_intermediate_token_ids`, возвращается `SeamlessM4TGenerationOutput`.
- Если `generate_speech` и не `return_intermediate_token_ids`, возвращает кортеж, состоящий из волновых форм с формой `(batch_size, sequence_length)` и `waveform_lengths`, который указывает длину каждого образца.
- Если `generate_speech=False`, возвращается `ModelOutput`.

Генерирует идентификаторы токенов перевода и/или аудиосигналы перевода.

Этот метод последовательно вызывает функцию `.generate` двух различных подмоделей. Вы можете указать аргументы с ключевыми словами на двух разных уровнях: общие аргументы, которые будут переданы обеим моделям, или аргументы с префиксом, которые будут переданы одной из них.

Например, вызов `.generate(input_ids=input_ids, num_beams=4, speech_do_sample=True)` последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и выборку с поиском лучей (multinomial beam-search sampling) в речевой модели.

Для обзора стратегий генерации и примеров кода см. [следующее руководство](./generation_strategies).

## SeamlessM4TForTextToSpeech[[transformers.SeamlessM4TForTextToSpeech]]

#### transformers.SeamlessM4TForTextToSpeech[[transformers.SeamlessM4TForTextToSpeech]]

```python
transformers.SeamlessM4TForTextToSpeech(config: SeamlessM4TConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2753)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель-трансформер SeamlessM4T для синтеза речи из текста, которую можно использовать для T2ST.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### generate[[transformers.SeamlessM4TForTextToSpeech.generate]]

```python
generate(input_ids: typing.Optional[torch.Tensor] = None, return_intermediate_token_ids: bool | None = None, tgt_lang: str | None = None, spkr_id: int | None = 0, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2881)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`) : Индексы токенов входной последовательности в словаре. Индексы можно получить с помощью [SeamlessM4TTokenizer](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTokenizer) или [SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

return_intermediate_token_ids (`bool`, *необязательный*) : Если `True`, также возвращает промежуточный сгенерированный текст и токены единиц. Установите `True`, если вы также хотите получить переведённый текст вместе с аудио.

tgt_lang (`str`, *необязательный*) : Язык, который следует использовать в качестве целевого языка для перевода.

spkr_id (`int`, *optional*, по умолчанию 0) : Идентификатор говорящего, используемый для синтеза речи. Должен быть меньше `config.vocoder_num_spkrs`.

kwargs (*необязательный*) : Оставшийся словарь аргументов по имени, которые будут переданы в [GenerationMixin.generate()](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationMixin.generate). Аргументы по имени бывают двух типов:  - Без префикса они будут переданы как `**kwargs` для метода `generate` каждой подмодели, за исключением `decoder_input_ids`, который будет передаваться только через текстовые компоненты. - С префиксом *text_* или *speech_* они будут переданы в метод `generate` текстовой модели и речевой модели соответственно. Они имеют приоритет над аргументами без префикса.  Это означает, что, например, можно указать стратегию генерации для одной генерации, но не для другой.

**Возвращает:** `Union[SeamlessM4TGenerationOutput, tuple[Tensor]]`

- Если `return_intermediate_token_ids`, возвращает `SeamlessM4TGenerationOutput`.
- Если `return_intermediate_token_ids` не задано, возвращает кортеж, состоящий из волновых форм с формой `(batch_size, sequence_length)` и `waveform_lengths`, который указывает длину каждого образца.

Генерирует аудиосигналы, полученные в результате перевода.

Этот метод последовательно вызывает функцию `.generate` двух различных подмоделей. Вы можете указать аргументы с ключевыми словами на двух разных уровнях: общие аргументы, которые будут переданы обеим моделям, или аргументы с префиксом, которые будут переданы одной из них.

Например, вызов `.generate(input_ids, num_beams=4, speech_do_sample=True)` последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и выборку с поиском лучей (multinomial beam-search sampling) в речевой модели.

Для обзора стратегий генерации и примеров кода см. [следующее руководство](./generation_strategies).

## SeamlessM4TForSpeechToSpeech[[transformers.SeamlessM4TForSpeechToSpeech]]

#### transformers.SeamlessM4TForSpeechToSpeech[[transformers.SeamlessM4TForSpeechToSpeech]]

```python
transformers.SeamlessM4TForSpeechToSpeech(config: SeamlessM4TConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L3054)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Трансформер модели SeamlessM4T для преобразования речи в речь, который можно использовать для S2ST.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### generate[[transformers.SeamlessM4TForSpeechToSpeech.generate]]

```python
generate(input_features: typing.Optional[torch.Tensor] = None, return_intermediate_token_ids: bool | None = None, tgt_lang: str | None = None, spkr_id: int | None = 0, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L3181)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, num_banks)`) : Входные аудиопризнаки. Они должны возвращаться классом [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) или классом [SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor). Подробности см. в [SeamlessM4TFeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor.__call__).

return_intermediate_token_ids (`bool`, *необязательный*) : Если `True`, также возвращает промежуточный сгенерированный текст и токены единиц. Установите `True`, если вы также хотите получить переведённый текст вместе с аудио.

tgt_lang (`str`, *необязательный*) : Язык, который следует использовать в качестве целевого языка для перевода.

spkr_id (`int`, *optional*, по умолчанию 0) : Идентификатор говорящего, используемый для синтеза речи. Должен быть меньше `config.vocoder_num_spkrs`.

kwargs (*необязательный*) : Оставшийся словарь аргументов по имени, которые будут переданы в [GenerationMixin.generate()](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationMixin.generate). Аргументы по имени бывают двух типов:  - Без префикса они будут переданы как `**kwargs` для метода `generate` каждой подмодели, за исключением `decoder_input_ids`, который будет передаваться только через текстовые компоненты. - С префиксом *text_* или *speech_* они будут переданы в метод `generate` текстовой модели и речевой модели соответственно. Они имеют приоритет над аргументами без префикса.  Это означает, что, например, можно указать стратегию генерации для одной генерации, но не для другой.

**Возвращает:** `Union[SeamlessM4TGenerationOutput, tuple[Tensor]]`

- Если `return_intermediate_token_ids`, возвращает `SeamlessM4TGenerationOutput`.
- Если `return_intermediate_token_ids` не задано, возвращает кортеж, состоящий из волновых форм с формой `(batch_size, sequence_length)` и `waveform_lengths`, который указывает длину каждого образца.

Генерирует аудиосигналы, полученные в результате перевода.

Этот метод последовательно вызывает функцию `.generate` двух различных подмоделей. Вы можете указать аргументы с ключевыми словами на двух разных уровнях: общие аргументы, которые будут переданы обеим моделям, или аргументы с префиксом, которые будут переданы одной из них.

Например, вызов `.generate(input_features, num_beams=4, speech_do_sample=True)` последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и выборку с поиском лучей (multinomial beam-search sampling) в речевой модели.

Для обзора стратегий генерации и примеров кода см. [следующее руководство](./generation_strategies).

## SeamlessM4TForTextToText[[transformers.SeamlessM4TForTextToText]]

#### transformers.SeamlessM4TForTextToText[[transformers.SeamlessM4TForTextToText]]

```python
transformers.SeamlessM4TForTextToText(config: SeamlessM4TConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2277)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Трансформер модели text-to-text SeamlessM4T, который можно использовать для T2TT.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.SeamlessM4TForTextToText.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, decoder_inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2313)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

decoder_input_ids (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательно*) : Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы декодера?](../glossary#decoder-input-ids) Bart использует `eos_token_id` в качестве начального токена для генерации `decoder_input_ids`. Если используется `past_key_values`, необязательно вводить только последние `decoder_input_ids` (см. `past_key_values`). Для обучения переводу и суммаризации необходимо предоставлять `decoder_input_ids`. Если `decoder_input_ids` не предоставлены, модель создаст этот тензор, сдвинув `input_ids` вправо для предобучения с шумоподавлением в соответствии со статьёй.

decoder_attention_mask (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательный*) : Поведение по умолчанию: генерирует тензор, игнорирующий токены заполнения в `decoder_input_ids`. Маска причинности также будет использоваться по умолчанию. Если вы хотите изменить поведение при заполнении, прочитайте `modeling_bart._prepare_decoder_attention_mask` и измените его под свои нужды. Подробнее о стратегии по умолчанию см. на схеме 1 в [статье](https://huggingface.co/papers/1910.13461).

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *необязательный*) : Кортеж состоит из (`last_hidden_state`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `last_hidden_state` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) представляет собой последовательность скрытых состояний на выходе последнего слоя кодировщика. Используется в кросс-внимании декодера.

past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` формы`(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска встраиваний модели.  labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*): Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[-100, 0, ..., config.vocab_size]` (см. строку документации `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`

decoder_inputs_embeds (`torch.Tensor` формы `(batch_size, target_sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `decoder_input_ids` можно напрямую передать встроенное представление. Если используется `past_key_values`, по желанию на вход нужно передавать только последние `decoder_inputs_embeds` (см. `past_key_values`). Это полезно, если требуется больший контроль над тем, как индексы `decoder_input_ids` преобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска встраиваний модели. Если `decoder_input_ids` и `decoder_inputs_embeds` не заданы, `decoder_inputs_embeds` принимает значение `inputs_embeds`.

labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[0, ..., config.vocab_size]` или равняться -100 (см. docstring `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`.

use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`).

**Возвращает:** [Seq2SeqLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) или `tuple(torch.Tensor)`

Объект [Seq2SeqLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) и входных данных.

Метод forward класса [SeamlessM4TForTextToText](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForTextToText) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели.
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
- **past_key_values** (`EncoderDecoderCache`, *необязательный*, возвращается при передаче `use_cache=True` или при `config.use_cache=True`) -- это экземпляр [EncoderDecoderCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.EncoderDecoderCache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache).

  Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
- **decoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
- **cross_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) — Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания кросс-внимания декодера, после применения softmax к вниманию, используемые для вычисления взвешенного среднего в головах кросс-внимания.
- **encoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) -- Последовательность скрытых состояний на выходе последнего слоя энкодера модели.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **encoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

#### generate[[transformers.SeamlessM4TForTextToText.generate]]

```python
generate(input_ids = None, tgt_lang = None, generation_config = None, logits_processor = None, stopping_criteria = None, prefix_allowed_tokens_fn = None, synced_gpus = False, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2395)

**Параметры:**

input_ids (`torch.Tensor` с изменяющейся формой в зависимости от модальности, *необязательный*) : Индексы токенов входной последовательности в словаре. Индексы можно получить с помощью [SeamlessM4TTokenizer](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTokenizer) или [SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

tgt_lang (`str`, *необязательный*) : Язык, который следует использовать в качестве целевого языка для перевода.

generation_config (`~generation.GenerationConfig`, *optional*) : Конфигурация генерации, используемая в качестве базовой параметризации для вызова генерации. Аргументы `**kwargs`, переданные в generate и совпадающие с атрибутами `generation_config`, переопределяют их. Если `generation_config` не предоставлен, будет использован вариант по умолчанию, который имеет следующий приоритет загрузки: 1) из файла модели `generation_config.json`, если он существует; 2) из конфигурации модели. Обратите внимание, что не указанные параметры наследуют значения по умолчанию [GenerationConfig](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationConfig), документация по которым должна быть проверена для параметризации генерации.

logits_processor (`LogitsProcessorList`, *необязательный*) : Пользовательские обработчики логитов, дополняющие стандартные обработчики логитов, создаваемые на основе аргументов и конфигурации генерации. Если передан обработчик логитов, который уже был создан с использованием аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей.

stopping_criteria (`StoppingCriteriaList`, *необязательный*) : Пользовательские критерии остановки, дополняющие критерии остановки по умолчанию, созданные на основе аргументов и конфигурации генерации. Если передан критерий остановки, который уже был создан с использованием аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей.

prefix_allowed_tokens_fn (`Callable[[int, torch.Tensor], list[int]]`, *необязательный*) : Если указан, эта функция ограничивает поиск луча (beam search) только разрешёнными токенами на каждом шаге. Если не указан, ограничения не применяются. Эта функция принимает 2 аргумента: идентификатор батча `batch_id` и `input_ids`. Она должна возвращать список разрешённых токенов для следующего шага генерации, обусловленный идентификатором батча `batch_id` и ранее сгенерированными токенами `inputs_ids`. Этот аргумент полезен для ограниченной генерации, обусловленной префиксом, как описано в [Autoregressive Entity Retrieval](https://huggingface.co/papers/2010.00904).

synced_gpus (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли продолжать выполнение цикла while до достижения max_length (необходимо для предотвращения блокировок при использовании `FullyShardedDataParallel` и DeepSpeed ZeRO Stage 3).

kwargs (`dict[str, Any]`, *необязательный*) : Произвольная параметризация `generate_config` и/или дополнительные модельно-специфичные kwargs, которые будут переданы в функцию `forward` модели.

**Возвращает:** [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) или `torch.LongTensor`

[ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) (если `return_dict_in_generate=True` или когда `config.return_dict_in_generate=True`) или `torch.Tensor`. Возможные типы [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput):
- [GenerateEncoderDecoderOutput](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.generation.GenerateEncoderDecoderOutput),
- [GenerateBeamEncoderDecoderOutput](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.generation.GenerateBeamEncoderDecoderOutput)

Генерирует последовательности идентификаторов токенов.

Большинство параметров, управляющих генерацией, задаются в `generation_config`, который, если не передан явно, принимает значение конфигурации генерации по умолчанию для модели. Вы можете переопределить любые параметры `generation_config`, передав соответствующие аргументы в generate(), например, `.generate(inputs, num_beams=4, do_sample=True)`.

Для обзора стратегий генерации и примеров кода см. [следующее руководство](./generation_strategies).

## SeamlessM4TForSpeechToText[[transformers.SeamlessM4TForSpeechToText]]

#### transformers.SeamlessM4TForSpeechToText[[transformers.SeamlessM4TForSpeechToText]]

```python
transformers.SeamlessM4TForSpeechToText(config: SeamlessM4TConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2512)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Трансформер модели SeamlessM4T для распознавания речи, который можно использовать для S2TT.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.SeamlessM4TForSpeechToText.forward]]

```python
forward(input_features: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, decoder_inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2545)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, num_banks)`) : Входные аудиопризнаки. Они должны возвращаться классом [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) или классом [SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor). Подробности см. в [SeamlessM4TFeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor.__call__).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

decoder_input_ids (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательно*) : Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы декодера?](../glossary#decoder-input-ids) Bart использует `eos_token_id` в качестве начального токена для генерации `decoder_input_ids`. Если используется `past_key_values`, необязательно вводить только последние `decoder_input_ids` (см. `past_key_values`). Для обучения переводу и суммаризации необходимо предоставлять `decoder_input_ids`. Если `decoder_input_ids` не предоставлены, модель создаст этот тензор, сдвинув `input_ids` вправо для предобучения с шумоподавлением в соответствии со статьёй.

decoder_attention_mask (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательный*) : Поведение по умолчанию: генерирует тензор, игнорирующий токены заполнения в `decoder_input_ids`. Маска причинности также будет использоваться по умолчанию. Если вы хотите изменить поведение при заполнении, прочитайте `modeling_bart._prepare_decoder_attention_mask` и измените его под свои нужды. Подробнее о стратегии по умолчанию см. на схеме 1 в [статье](https://huggingface.co/papers/1910.13461).

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *необязательный*) : Кортеж состоит из (`last_hidden_state`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `last_hidden_state` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) представляет собой последовательность скрытых состояний на выходе последнего слоя кодировщика. Используется в кросс-внимании декодера.

past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` формы`(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска встраиваний модели.  labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*): Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[-100, 0, ..., config.vocab_size]` (см. строку документации `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`

decoder_inputs_embeds (`torch.Tensor` формы `(batch_size, target_sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `decoder_input_ids` можно напрямую передать встроенное представление. Если используется `past_key_values`, по желанию на вход нужно передавать только последние `decoder_inputs_embeds` (см. `past_key_values`). Это полезно, если требуется больший контроль над тем, как индексы `decoder_input_ids` преобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска встраиваний модели. Если `decoder_input_ids` и `decoder_inputs_embeds` не заданы, `decoder_inputs_embeds` принимает значение `inputs_embeds`.

labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[0, ..., config.vocab_size]` или равняться -100 (см. docstring `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`.

use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`).

**Возвращает:** [Seq2SeqLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) или `tuple(torch.Tensor)`

Объект [Seq2SeqLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) и входных данных.

Метод forward класса [SeamlessM4TForSpeechToText](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForSpeechToText) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели.
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
- **past_key_values** (`EncoderDecoderCache`, *необязательный*, возвращается при передаче `use_cache=True` или при `config.use_cache=True`) -- это экземпляр [EncoderDecoderCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.EncoderDecoderCache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache).

  Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
- **decoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
- **cross_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) — Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания кросс-внимания декодера, после применения softmax к вниманию, используемые для вычисления взвешенного среднего в головах кросс-внимания.
- **encoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) -- Последовательность скрытых состояний на выходе последнего слоя энкодера модели.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **encoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoProcessor, SeamlessM4TForSpeechToText
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("facebook/hf-seamless-m4t-medium")
>>> model = SeamlessM4TForSpeechToText.from_pretrained("facebook/hf-seamless-m4t-medium")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...
```

#### generate[[transformers.SeamlessM4TForSpeechToText.generate]]

```python
generate(input_features = None, tgt_lang = None, generation_config = None, logits_processor = None, stopping_criteria = None, prefix_allowed_tokens_fn = None, synced_gpus = False, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2634)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, num_banks)`) : Входные аудиопризнаки. Они должны возвращаться классом [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) или классом [SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor). Подробности см. в [SeamlessM4TFeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor.__call__).

tgt_lang (`str`, *необязательный*) : Язык, который следует использовать в качестве целевого языка для перевода.

generation_config (`~generation.GenerationConfig`, *optional*) : Конфигурация генерации, используемая в качестве базовой параметризации для вызова генерации. Аргументы `**kwargs`, переданные в generate и совпадающие с атрибутами `generation_config`, переопределяют их. Если `generation_config` не предоставлен, будет использован вариант по умолчанию, который имеет следующий приоритет загрузки: 1) из файла модели `generation_config.json`, если он существует; 2) из конфигурации модели. Обратите внимание, что не указанные параметры наследуют значения по умолчанию [GenerationConfig](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationConfig), документация по которым должна быть проверена для параметризации генерации.

logits_processor (`LogitsProcessorList`, *необязательный*) : Пользовательские обработчики логитов, дополняющие стандартные обработчики логитов, создаваемые на основе аргументов и конфигурации генерации. Если передан обработчик логитов, который уже был создан с использованием аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей.

stopping_criteria (`StoppingCriteriaList`, *необязательный*) : Пользовательские критерии остановки, дополняющие критерии остановки по умолчанию, созданные на основе аргументов и конфигурации генерации. Если передан критерий остановки, который уже был создан с использованием аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей.

prefix_allowed_tokens_fn (`Callable[[int, torch.Tensor], list[int]]`, *необязательный*) : Если указан, эта функция ограничивает поиск луча (beam search) только разрешёнными токенами на каждом шаге. Если не указан, ограничения не применяются. Эта функция принимает 2 аргумента: идентификатор батча `batch_id` и `input_ids`. Она должна возвращать список разрешённых токенов для следующего шага генерации, обусловленный идентификатором батча `batch_id` и ранее сгенерированными токенами `inputs_ids`. Этот аргумент полезен для ограниченной генерации, обусловленной префиксом, как описано в [Autoregressive Entity Retrieval](https://huggingface.co/papers/2010.00904).

synced_gpus (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли продолжать выполнение цикла while до достижения max_length (необходимо для предотвращения блокировок при использовании `FullyShardedDataParallel` и DeepSpeed ZeRO Stage 3).

kwargs (`dict[str, Any]`, *необязательный*) : Произвольная параметризация `generate_config` и/или дополнительные модельно-специфичные kwargs, которые будут переданы в функцию `forward` модели.

**Возвращает:** [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) или `torch.LongTensor`

[ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) (если `return_dict_in_generate=True` или когда `config.return_dict_in_generate=True`) или `torch.Tensor`. Возможные типы [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput):
- [GenerateEncoderDecoderOutput](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.generation.GenerateEncoderDecoderOutput),
- [GenerateBeamEncoderDecoderOutput](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.generation.GenerateBeamEncoderDecoderOutput)

Генерирует последовательности идентификаторов токенов.

Большинство параметров, управляющих генерацией, задаются в `generation_config`, который, если не передан явно, принимает значение конфигурации генерации по умолчанию для модели. Вы можете переопределить любые параметры `generation_config`, передав соответствующие аргументы в generate(), например, `.generate(inputs, num_beams=4, do_sample=True)`.

Для обзора стратегий генерации и примеров кода см. [следующее руководство](./generation_strategies).

## SeamlessM4TConfig[[transformers.SeamlessM4TConfig]]

#### transformers.SeamlessM4TConfig[[transformers.SeamlessM4TConfig]]

```python
transformers.SeamlessM4TConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, vocab_size: int = 256102, t2u_vocab_size: int = 10082, hidden_size: int = 1024, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, use_cache: bool = True, max_position_embeddings: int = 1024, encoder_layerdrop: float | int = 0.05, decoder_layerdrop: float | int = 0.05, activation_function: str = 'relu', dropout: float | int = 0.1, attention_dropout: float | int = 0.1, activation_dropout: float | int = 0.0, scale_embedding: bool = True, encoder_layers: int = 24, encoder_ffn_dim: int = 8192, encoder_attention_heads: int = 16, decoder_layers: int = 24, decoder_ffn_dim: int = 8192, decoder_attention_heads: int = 16, decoder_start_token_id: int = 3, max_new_tokens: int | None = 256, pad_token_id: int | None = 0, bos_token_id: int | None = 2, eos_token_id: int | list[int] | None = 3, speech_encoder_layers: int = 24, speech_encoder_attention_heads: int = 16, speech_encoder_intermediate_size: int = 4096, speech_encoder_hidden_act: str = 'swish', speech_encoder_dropout: float | int = 0.0, add_adapter: bool = True, speech_encoder_layerdrop: float | int = 0.1, feature_projection_input_dim: int = 160, num_conv_pos_embeddings: int = 128, num_conv_pos_embedding_groups: int = 16, adaptor_kernel_size: int = 8, adaptor_stride: int = 8, adaptor_dropout: float | int = 0.1, num_adapter_layers: int = 1, position_embeddings_type: str = 'relative', rotary_embedding_base: int = 10000, max_source_positions: int = 4096, conv_depthwise_kernel_size: int = 31, t2u_bos_token_id: int | None = 0, t2u_pad_token_id: int | None = 1, t2u_eos_token_id: int | list[int] | None = 2, t2u_decoder_start_token_id: int = 2, t2u_max_new_tokens: int = 1024, t2u_encoder_layers: int = 6, t2u_encoder_ffn_dim: int = 8192, t2u_encoder_attention_heads: int = 16, t2u_decoder_layers: int = 6, t2u_decoder_ffn_dim: int = 8192, t2u_decoder_attention_heads: int = 16, t2u_max_position_embeddings: int = 2048, sampling_rate: int = 16000, upsample_initial_channel: int = 512, upsample_rates: list[int] | tuple[int, ...] = (5, 4, 4, 2, 2), upsample_kernel_sizes: list[int] | tuple[int, ...] = (11, 8, 8, 4, 4), resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5)), leaky_relu_slope: float = 0.1, unit_hifi_gan_vocab_size: int = 10000, unit_embed_dim: int = 1280, lang_embed_dim: int = 256, spkr_embed_dim: int = 256, vocoder_num_langs: int = 36, vocoder_num_spkrs: int = 200, variance_predictor_kernel_size: int = 3, var_pred_dropout: float | int = 0.5, vocoder_offset: int = 4, tie_word_embeddings: bool = True)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/configuration_seamless_m4t.py#L24)

**Параметры:**

is_encoder_decoder (`bool`, *необязательный*, по умолчанию `True`) : Используется ли модель в качестве энкодера/декодера.

vocab_size (`int`, *необязательный*, по умолчанию `256102`) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`.

t2u_vocab_size (`int`, *необязательный*, по умолчанию 10082) : Размер словаря юнитов модели SeamlessM4T. Определяет количество различных токенов юнитов, которые могут быть представлены в `inputs_ids`, передаваемых при вызове подмодели Text-To-Units в [~SeamlessM4TModel](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TModel), [~SeamlessM4TForSpeechToSpeech](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForSpeechToSpeech) или [~SeamlessM4TForTextToSpeech](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForTextToSpeech).

hidden_size (`int`, *необязательный*, по умолчанию `1024`) : Размерность скрытых представлений.

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

layer_norm_eps (`float`, *необязательный*, по умолчанию `1e-05`) : Значение epsilon, используемое слоями нормализации.

use_cache (`bool`, *необязательный*, по умолчанию `True`) : Следует ли модели возвращать последние значения внимания key/values (не используется во всех моделях). Актуально только при `config.is_decoder=True` или если модель является генеративной моделью только с декодером.

max_position_embeddings (`int`, *необязательный*, по умолчанию `1024`) : Максимальная длина последовательности, с которой может использоваться данная модель.

encoder_layerdrop (`Union[float, int]`, *необязательный*, по умолчанию `0.05`) : Вероятность LayerDrop для энкодера. Подробнее см. в [статье о LayerDrop](see https://huggingface.co/papers/1909.11556).

decoder_layerdrop (`Union[float, int]`, *необязательный*, по умолчанию `0.05`) : Вероятность LayerDrop для декодера. Подробнее см. в [статье о LayerDrop](see https://huggingface.co/papers/1909.11556).

activation_function (`str`, *необязательный*, по умолчанию `relu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Доля для всех слоёв dropout.

attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Доля dropout для вероятностей внимания.

activation_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для активаций внутри полносвязного слоя.

scale_embedding (`bool`, *необязательный*, по умолчанию `True`) : Указывает, следует ли масштабировать эмбеддинги, деля их на sqrt(d_model).

encoder_layers (`int`, *необязательный*, по умолчанию `24`) : Количество скрытых слоев в кодере Transformer. Если не задано, будет использовано то же значение, что и у `num_layers`.

encoder_ffn_dim (`int`, *optional*, по умолчанию `8192`) : Размерность «промежуточного» (часто называемого feed-forward) слоя в энкодере.

encoder_attention_heads (`int`, *необязательный*, по умолчанию `16`) : Количество головок внимания для каждого слоя внимания в кодере Transformer.

decoder_layers (`int`, *необязательный*, по умолчанию `24`) : Количество скрытых слоев в декодере Transformer. Если не задано, будет использовано то же значение, что и у `num_layers`.

decoder_ffn_dim (`int`, *необязательный*, по умолчанию `8192`) : Размерность «промежуточного» (часто называемого feed-forward) слоя в декодере.

decoder_attention_heads (`int`, *необязательный*, по умолчанию `16`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

decoder_start_token_id (`int`, *optional*, по умолчанию `3`) : Если модель с кодировщиком-декодировщиком начинает декодирование с токена, отличного от `bos`, идентификатор этого токена.

max_new_tokens (`int`, *optional*, по умолчанию 256) : Максимальное количество токенов текста для генерации, не учитывая количество токенов в подсказке.

pad_token_id (`int`, *необязательный*, по умолчанию `0`) : Идентификатор токена, используемый для выравнивания в словаре.

bos_token_id (`int`, *необязательный*, по умолчанию `2`) : Идентификатор токена, используемый для обозначения начала потока в словаре.

eos_token_id (`Union[int, list[int]]`, *необязательный*, по умолчанию `3`) : Идентификатор токена, используемого для обозначения конца потока в словаре.

speech_encoder_layers (`int`, *optional*, по умолчанию 24) : Количество скрытых слоев в речевом кодере Transformer.

speech_encoder_attention_heads (`int`, *optional*, по умолчанию 16) : Количество головок внимания для каждого слоя внимания в речевом кодере Transformer.

speech_encoder_intermediate_size (`int`, *optional*, по умолчанию 4096) : Размерность «промежуточного» (т.е. полносвязного) слоя в речевом кодере Transformer.

speech_encoder_hidden_act (`str` или `function`, *необязательный*, по умолчанию `"swish"`) : Нелинейная функция активации (функция или строка) в речевом кодировщике. Если передана строка, поддерживаются `"gelu"`, `"relu"`, `"selu"`, `"swish"` и `"gelu_new"`.

speech_encoder_dropout (`float`, *необязательный*, по умолчанию 0.0) : Вероятность dropout для всех слоев речевого энкодера.

add_adapter (`bool`, *необязательный*, по умолчанию `True`) : Добавляет адаптерный слой поверх речевого энкодера.

speech_encoder_layerdrop (`float`, *optional*, по умолчанию 0.1) : Вероятность LayerDrop для речевого энкодера. Подробнее см. в [статье о LayerDrop](see https://huggingface.co/papers/1909.11556).

feature_projection_input_dim (`int`, *optional*, по умолчанию 160) : Входное измерение проекции входных признаков речевого энкодера, то есть размерность после обработки входных аудиоданных с помощью [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor).

num_conv_pos_embeddings (`int`, *optional*, по умолчанию 128) : Количество сверточных позиционных эмбеддингов. Определяет размер ядра слоя 1D сверточных позиционных эмбеддингов речевого энкодера.

num_conv_pos_embedding_groups (`int`, *optional*, по умолчанию 16) : Количество групп в слое одномерных свёрточных позиционных эмбеддингов речевого энкодера.

adaptor_kernel_size (`int`, *optional*, по умолчанию 8) : Размер ядра свёрточных слоёв в сети адаптера. Актуально только если `add_adapter is True`.

adaptor_stride (`int`, *optional*, по умолчанию 8) : Шаг свёрточных слоёв в сети адаптера. Актуально только если `add_adapter is True`.

adaptor_dropout (`float`, *необязательный*, по умолчанию 0.1) : Вероятность dropout для всех слоёв речевого адаптера.

num_adapter_layers (`int`, *optional*, по умолчанию 1) : Количество свёрточных слоёв, которые должны использоваться в сети адаптера. Актуально только если `add_adapter is True`.

position_embeddings_type (`str`, *необязательный*, по умолчанию `"relative"`) : Может быть задан как `relative` или `rotary` для относительных или ротационных векторов позиций соответственно. Если оставить `None`, относительные векторы позиций не применяются. Применяется только к аудио-энкодеру.

rotary_embedding_base (`int`, *optional*, по умолчанию 10000) : Если используются позиционные эмбеддинги `"rotary"`, определяет размер базы эмбеддингов. Применяется только к аудио-энкодеру.

max_source_positions (`int`, *optional*, по умолчанию 4096) : если используются позиционные эмбеддинги `"relative"`, определяет максимальные позиции входных данных источника. Применяется только к аудио-энкодеру.

conv_depthwise_kernel_size (`int`, *optional*, по умолчанию 31) : Размер ядра свёрточного depthwise 1D слоя в блоках Conformer. Применяется только к аудио-энкодеру.

t2u_bos_token_id (`int`, *необязательный*, по умолчанию 0) : Идентификатор токена _beginning-of-stream_. Применяется только к текстовым seq2seq-моделям для генерации единиц.

t2u_pad_token_id (`int`, *необязательный*, по умолчанию 1) : Идентификатор токена _padding_. Применяется только к текстовым seq2seq-моделям с выводом в единицы.

t2u_eos_token_id (`int`, *необязательный*, по умолчанию 2) : Идентификатор токена _end-of-stream_. Применяется только к модели seq2seq для преобразования текста в последовательность единиц.

t2u_decoder_start_token_id (`int`, *необязательный*, по умолчанию 2) : Если модель с кодировщиком-декодировщиком начинает декодирование с токена, отличным от _bos_, идентификатор этого токена. Применяется только к модели seq2seq «текст в единицы».

t2u_max_new_tokens (`int`, *optional*, по умолчанию 1024) : Максимальное количество токенов unit, которые нужно сгенерировать, без учёта количества токенов в промпте. Применяется только к текстовым seq2seq-моделям text-to-unit.

t2u_encoder_layers (`int`, *optional*, по умолчанию 6) : Количество скрытых слоев в кодере «текст в юниты» на основе Transformer.

t2u_encoder_ffn_dim (`int`, *optional*, по умолчанию 8192) : Размерность «промежуточного» (т.е. полносвязного) слоя в Transformer-кодере «текст в единицы».

t2u_encoder_attention_heads (`int`, *optional*, по умолчанию 16) : Количество головок внимания для каждого слоя внимания в кодере «текст в единицы» Transformer.

t2u_decoder_layers (`int`, *optional*, по умолчанию 6) : Количество скрытых слоёв в декодере «текст в юниты» на основе Transformer.

t2u_decoder_ffn_dim (`int`, *optional*, по умолчанию 8192) : Размерность «промежуточного» (т.е. полносвязного) слоя в декодере Transformer text-to-unit.

t2u_decoder_attention_heads (`int`, *optional*, по умолчанию 16) : Количество головок внимания для каждого слоя внимания в декодере «текст в единицы» трансформера.

t2u_max_position_embeddings (`int`, *optional*, по умолчанию 2048) : Максимальная длина последовательности, с которой может использоваться данный компонент модели text-to-unit. Как правило, стоит задать достаточно большое значение на всякий случай (например, 512, 1024 или 2048).

sampling_rate (`int`, *optional*, по умолчанию `16000`) : Частота дискретизации, с которой аудиофайлы должны быть оцифрованы, выраженная в герцах (Гц).

upsample_initial_channel (`int`, *optional*, по умолчанию 512) : Количество входных каналов в сети повышения разрешения hifi-gan. Применяется только к вокодеру.

upsample_rates (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `[5, 4, 4, 2, 2]`) : Кортеж целых чисел, определяющий шаг каждого одномерного свёрточного слоя в сети апсемплинга вокодера. Длина *upsample_rates* определяет количество свёрточных слоев и должна совпадать с длиной *upsample_kernel_sizes*. Применяется только к вокодеру.

upsample_kernel_sizes (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `[11, 8, 8, 4, 4]`) : Кортеж целых чисел, определяющий размер ядра каждого слоя одномерной свёртки в сети апсемплинга вокодера. Длина *upsample_kernel_sizes* определяет количество свёрточных слоёв и должна совпадать с длиной *upsample_rates*. Применяется только к вокодеру.

resblock_kernel_sizes (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `[3, 7, 11]`) : Кортеж целых чисел, определяющий размеры ядер 1D-свёрточных слоёв вокодера в модуле многоприёмного поля (MRF). Применяется только к вокодеру.

resblock_dilation_sizes (`tuple[tuple[int]]` или `list[list[int]]`, *необязательный*, по умолчанию `[[1, 3, 5], [1, 3, 5], [1, 3, 5]]`) : Вложенный кортеж целых чисел, определяющий коэффициенты дилатации для развёрнутых одномерных свёрточных слоёв вокодера в модуле многоприёмного поля (MRF). Применяется только к вокодеру.

leaky_relu_slope (`float`, *optional*, по умолчанию 0.1) : Угол отрицательного наклона, используемого активацией leaky ReLU в вокодер. Применяется только к вокодеру.

unit_hifi_gan_vocab_size (`int`, *необязательный*, по умолчанию 10000) : Размер словаря вокодера SeamlessM4T. Определяет количество различных токенов единиц, которые могут быть представлены в `inputs_ids`, передаваемых при вызове вокодера [~SeamlessM4TModel](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TModel), [~SeamlessM4TForSpeechToSpeech](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForSpeechToSpeech) или [~SeamlessM4TForTextToSpeech](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TForTextToSpeech).

unit_embed_dim (`int`, *optional*, по умолчанию 1280) : Размер проекции входных идентификаторов, передаваемых вокодеру hifi-gan. Применяется только к вокодеру.

lang_embed_dim (`int`, *optional*, по умолчанию 256) : Размер проекции целевого языка, передаваемый вокодеру hifi-gan. Применяется только к вокодеру.

spkr_embed_dim (`int`, *optional*, по умолчанию 256) : Размер проекции идентификатора говорящего, передаваемого вокодеру hifi-gan. Применяется только к вокодеру.

vocoder_num_langs (`int`, *optional*, по умолчанию 36) : Количество языков, поддерживаемых вокодером. Может отличаться от `t2u_num_langs`.

vocoder_num_spkrs (`int`, *optional*, по умолчанию 200) : Количество спикеров, поддерживаемых вокодером.

variance_predictor_kernel_size (`int`, *optional*, по умолчанию 3) : Размер ядра предиктора длительности. Применяется только к вокодеру.

var_pred_dropout (`float`, *optional*, по умолчанию 0.5) : Вероятность dropout для предиктора длительности. Применяется только к вокодеру.

vocoder_offset (`int`, *optional*, по умолчанию 4) : Смещение идентификаторов токенов единиц на это значение для учёта токенов символов. Применяется только к вокодеру.

tie_word_embeddings (`bool`, *необязательный*, по умолчанию `True`) : Связывать ли веса эмбеддингов согласно отображению `tied_weights_keys` модели.

Это класс конфигурации для хранения настроек модели SeamlessM4TModel. Он используется для создания модели Seamless M4T в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [facebook/hf-seamless-m4t-medium](https://huggingface.co/facebook/hf-seamless-m4t-medium)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

```python
>>> from transformers import SeamlessM4TModel, SeamlessM4TConfig

>>> # Initializing a SeamlessM4T "facebook/hf-seamless-m4t-medium" style configuration
>>> configuration = SeamlessM4TConfig()

>>> # Initializing a model from the "facebook/hf-seamless-m4t-medium" style configuration
>>> model = SeamlessM4TModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## SeamlessM4TTokenizer[[transformers.SeamlessM4TTokenizer]]

#### transformers.SeamlessM4TTokenizer[[transformers.SeamlessM4TTokenizer]]

```python
transformers.SeamlessM4TTokenizer(vocab: str | dict[str, int] | None = None, merges: str | list[str] | None = None, bos_token = '<s>', eos_token = '</s>', sep_token = '</s>', cls_token = '<s>', unk_token = '<unk>', pad_token = '<pad>', src_lang = 'eng', tgt_lang = 'fra', additional_special_tokens = None, keep_accents = None, vocab_file = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/tokenization_seamless_m4t.py#L33)

**Параметры:**

vocab (`list` или `dict`, *необязательный*) : Список кортежей (токен, оценка) или словарь, сопоставляющий токены с индексами. Если не указан, используется словарь по умолчанию.

merges (`str` или `list`, *необязательный*) : Список правил слияния для модели BPE. Если не указан, используется пустой список.

bos_token (`str`, *optional*, по умолчанию `"<s>"`) : Токен начала последовательности, использовавшийся во время предварительного обучения. Может использоваться в качестве токена классификатора последовательности. При построении последовательности с использованием специальных токенов этот токен не используется для обозначения начала последовательности. Для этой цели применяется токен `cls_token`.

eos_token (`str`, *необязательный*, по умолчанию `"</s>"`) : Токен конца последовательности. При построении последовательности с использованием специальных токенов этот токен не используется для обозначения конца последовательности. Вместо него применяется токен `sep_token`.

sep_token (`str`, *необязательный*, по умолчанию `"</s>"`) : Токен-разделитель, который используется при построении последовательности из нескольких последовательностей, например, двух последовательностей для классификации последовательностей или текста и вопроса для ответа на вопросы. Он также используется в качестве последнего токена последовательности, построенной с помощью специальных токенов.

cls_token (`str`, *необязательный*, по умолчанию `"<s>"`) : Токен классификатора, используемый при классификации последовательности (классификация всей последовательности, а не посимвольная классификация). Это первый токен последовательности, если она построена с использованием специальных токенов.

unk_token (`str`, *необязательный*, по умолчанию `"<unk>"`) : Неизвестный токен. Токен, отсутствующий в словаре, не может быть преобразован в ID, вместо этого ему присваивается данный токен.

pad_token (`str`, *необязательный*, по умолчанию `"<pad>"`) : токен, используемый для выравнивания, например, при пакетной обработке последовательностей разной длины.

src_lang (`str`, *необязательный*, по умолчанию `"eng"`) : Язык, используемый в качестве исходного языка для перевода.

tgt_lang (`str`, *необязательный*, по умолчанию `"fra"`) : Язык, который будет использоваться в качестве целевого языка для перевода.

additional_special_tokens (tuple или list из `str` или `tokenizers.AddedToken`, *optional*) : Кортеж или список дополнительных специальных токенов.

Создайте токенизатор SeamlessM4T (на базе библиотеки *tokenizers* от HuggingFace). Основан на [BPE](https://huggingface.co/docs/tokenizers/python/latest/components.html?highlight=bpe#models).

Этот токенизатор наследуется от [TokenizersBackend](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.TokenizersBackend), который содержит большинство основных методов. За дополнительной информацией об этих методах следует обращаться к этому суперклассу.

Метод токенизации для документов на исходном языке — `<language code> <tokens> <eos>`, а для документов на целевом языке — ` <language code>  `.

Примеры:

```python
>>> from transformers import SeamlessM4TTokenizer

>>> tokenizer = SeamlessM4TTokenizer.from_pretrained(
...     "facebook/hf-seamless-m4t-medium", src_lang="eng", tgt_lang="fra"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")
```

#### __call__[[transformers.SeamlessM4TTokenizer.__call__]]

```python
__call__(text: str | list[str] | list[list[str]] | None = None, text_pair: str | list[str] | list[list[str]] | None = None, text_target: str | list[str] | list[list[str]] | None = None, text_pair_target: str | list[str] | list[list[str]] | None = None, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, pad_to_multiple_of: int | None = None, src_lang: str | None = None, tgt_lang: str | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/tokenization_seamless_m4t.py#L355)

**Параметры:**

text (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

text_pair (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

text_target (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей, которые нужно закодировать в качестве целевых текстов. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

text_pair_target (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей, которые нужно закодировать в качестве целевых текстов. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

padding (`bool`, `str` или [PaddingStrategy](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.utils.PaddingStrategy), *необязательный*, по умолчанию `False`) : Выберите стратегию выравнивания возвращаемых последовательностей (с учётом стороны выравнивания и индекса выравнивания модели) из следующих:  - `True` или `'longest'`: Выровнять до самой длинной последовательности в батче (или не выравнивать, если предоставлена только одна последовательность). - `'max_length'`: Выровнять до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. - `False` или `'do_not_pad'` (по умолчанию): Без выравнивания (т. е. может быть выведен батч с последовательностями разной длины).

pad_to_multiple_of (`int`, *optional*, по умолчанию `None`) : Если задано, последовательность будет дополнена до кратного указанного значения. Это особенно полезно для использования Tensor Cores на оборудовании NVIDIA с вычислительной способностью `>= 7.5` (Volta).

src_lang (`str`, *необязательный*) : строка, представляющая исходный язык. Если не указано, будет использовано последнее значение `src_lang` (заданное при инициализации или при вызове данного токенизатора).

tgt_lang (`str`, *необязательный*) : строка, представляющая целевой язык. Если не указано, будет использовано последнее значение `tgt_lang` (заданное при инициализации или при вызове данного токенизатора).

kwargs (*необязательный*) : Оставшийся словарь аргументов по имени, который будет передан в [TokenizersBackend.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__).

#### get_special_tokens_mask[[transformers.SeamlessM4TTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1337)

**Параметры:**

token_ids_0 : список идентификаторов для (возможно, уже отформатированной) последовательности.

token_ids_1 : Не используется, если `already_has_special_tokens=True`. В этом случае должно быть None.

already_has_special_tokens : Указывает, уже ли последовательность отформатирована со специальными токенами.

**Возвращаемое значение:** список целых чисел в диапазоне [0, 1]

1 для специального токена, 0 для токена последовательности.

Получить идентификаторы последовательностей из списка токенов, в который не добавлены специальные токены.

Для быстрых токенизаторов коллабораторы данных вызывают этот метод с `already_has_special_tokens=True`, чтобы построить маску для уже отформатированной последовательности. В этом случае маска вычисляется путём проверки принадлежности элементов `all_special_ids`.

#### save_vocabulary[[transformers.SeamlessM4TTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L547)

## SeamlessM4TFeatureExtractor[[transformers.SeamlessM4TFeatureExtractor]]

#### transformers.SeamlessM4TFeatureExtractor[[transformers.SeamlessM4TFeatureExtractor]]

```python
transformers.SeamlessM4TFeatureExtractor(feature_size = 80, sampling_rate = 16000, num_mel_bins = 80, padding_value = 0.0, stride = 2, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/feature_extraction_seamless_m4t.py#L35)

**Параметры:**

feature_size (`int`, *optional*, по умолчанию 80) : Размерность признаков извлекаемых фич.

sampling_rate (`int`, *optional*, по умолчанию 16000) : Частота дискретизации, с которой аудиофайлы должны быть оцифрованы, выраженная в герцах (Гц).

num_mel_bins (`int`, *optional*, по умолчанию 80) : Количество частотных бинов Мель-шкалы.

padding_value (`float`, *необязательный*, по умолчанию 0.0) : Значение, используемое для заполнения векторов отступов.

stride (`int`, *optional*, по умолчанию 2) : Шаг, используемый для изменения формы аудио с (batch_size,num_frames,num_mel_bins) до (batch_size,num_frames//stride,num_mel_bins*stride).

Создаёт экстрактор признаков SeamlessM4T.

Этот экстрактор признаков наследуется от [SequenceFeatureExtractor](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.SequenceFeatureExtractor), который содержит большинство основных методов. За дополнительной информацией о них следует обращаться к этому суперклассу.

Этот класс извлекает характеристики банка мел-фильтров из необработанной речи.

#### __call__[[transformers.SeamlessM4TFeatureExtractor.__call__]]

```python
__call__(raw_speech: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]], padding: bool | str | transformers.utils.generic.PaddingStrategy = True, pad_to_multiple_of: int | None = 2, max_length: int | None = None, truncation: bool = False, return_tensors: str | transformers.utils.generic.TensorType | None = None, sampling_rate: int | None = None, return_attention_mask: bool | None = None, do_normalize_per_mel_bins: bool | None = True, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/feature_extraction_seamless_m4t.py#L140)

**Параметры:**

raw_speech (`np.ndarray`, `torch.Tensor`, `list[float]`, `list[np.ndarray]`, `list[torch.Tensor]`, --

`list[list[float]]`, `list[list[list[float]]]`) : Последовательность или батч последовательностей, для которых выполняется выравнивание. Каждая последовательность может быть массивом numpy, тензором torch, списком значений float, списком массивов numpy, списком тензоров torch, списком списков значений float или списком списков списков значений float. Если `raw_speech` является одномерным `np.ndarray`, `torch.Tensor` или `list[float]`, то `raw_speech` считается звуком с одним каналом и одним сэмплом. Во всех остальных случаях первое измерение `raw_speech`, будь то из `np.ndarray`, `torch.Tensor` или `list[...]`, соответствует количеству сэмплов в батче, а количество каналов (т. е. моно- или стерео-характер) выводится из остальных измерений (1D -> батчи одноканальных волновых форм; 2D-> батчи стерео-канальных волновых форм).

padding (`bool`, `str` или [PaddingStrategy](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.utils.PaddingStrategy), *необязательный*, по умолчанию `True`) : Выбор стратегии выравнивания возвращаемых последовательностей (с учётом стороны выравнивания и индекса padding модели) из следующих вариантов:  - `True` или `'longest'`: Выравнивание до самой длинной последовательности в батче (или без выравнивания, если предоставлена только одна последовательность). - `'max_length'`: Выравнивание до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. - `False` или `'do_not_pad'` (по умолчанию): Без выравнивания (т. е. на выходе может быть батч с последовательностями разной длины).

pad_to_multiple_of (`int`, *optional*, по умолчанию 2) : Если задано, последовательность будет дополнена нулями до кратного указанного значения. Это особенно полезно для использования Tensor Cores на оборудовании NVIDIA с вычислительной способностью `>= 7.5` (Volta) или на TPU, где производительность повышается при длине последовательности, кратной 128.

max_length (`int`, *optional*) : Максимальная длина возвращаемого списка и, при необходимости, длина отступов (см. выше).

truncation (`bool`) : Включает усечение, чтобы обрезать входные последовательности длиннее *max_length* до *max_length*.

return_attention_mask (`bool`, *необязательный*) : Нужно ли возвращать маску внимания. Если оставить значение по умолчанию, маска внимания будет возвращена согласно настройкам по умолчанию конкретного feature_extractor.  [Что такое маски внимания?](../glossary#attention-mask)    Для моделей SeamlessM4T `attention_mask` следует всегда передавать при пакетном выводе, чтобы избежать тонких ошибок.

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры вместо списка целых чисел Python. Допустимые значения:  - `'pt'`: Возвращает объекты `torch.Tensor` PyTorch. - `'np'`: Возвращает объекты `np.ndarray` Numpy.

sampling_rate (`int`, *optional*) : Частота дискретизации, с которой вход `raw_speech` был оцифрован. Настоятельно рекомендуется передавать `sampling_rate` при вызове forward, чтобы избежать скрытых ошибок.

do_normalize_per_mel_bins (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли нормализовать входные данные по каждому mel-каналу до нулевого среднего и единичной дисперсии.

kwargs (*необязательный*) : Оставшийся словарь аргументов по имени, который будет передан в токенизатор или извлекатель признаков.

Основной метод для создания признаков и подготовки одной или нескольких последовательностей для модели.

## SeamlessM4TProcessor[[transformers.SeamlessM4TProcessor]]

#### transformers.SeamlessM4TProcessor[[transformers.SeamlessM4TProcessor]]

```python
transformers.SeamlessM4TProcessor(feature_extractor, tokenizer)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/processing_seamless_m4t.py#L48)

**Параметры:**

feature_extractor (`SeamlessM4TFeatureExtractor`) : Извлекатель признаков является обязательным входом.

tokenizer (`SeamlessM4TTokenizer`) : Токенизатор является обязательным входным параметром.

Создаёт SeamlessM4TProcessor, который объединяет экстрактор признаков и токенизатор в единый процессор.

[SeamlessM4TProcessor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TProcessor) предоставляет все возможности [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) и [SeamlessM4TTokenizer](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTokenizer). Подробнее см. в [~SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) и [~SeamlessM4TTokenizer](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTokenizer).

#### __call__[[transformers.SeamlessM4TProcessor.__call__]]

```python
__call__(text: str | list[str] | list[list[str]] | None = None, audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None, **kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/processing_seamless_m4t.py#L52)

**Параметры:**

text (`Union[str, list[str], list[list[str]]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если вы передаёте предтокенизированный вход, установите `is_split_into_words=True`, чтобы избежать неоднозначности с батчированными входами.

audio (`Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]]`, *необязательный*) : Аудио или пакет аудио для подготовки. Каждое аудио может быть массивом NumPy или тензором PyTorch. В случае массива NumPy/тензора PyTorch каждое аудио должно иметь форму (C, T), где C — количество каналов, а T — длина выборки аудио.

return_mm_token_type_ids (`bool`, *kwargs*) : Нужно ли возвращать идентификаторы типов мультимодальных токенов, указывающие на позиции мультимодальных плейсхолдер-токенов.

return_text_replacement_offsets (`bool`, *kwargs*) : Нужно ли возвращать смещения символов для каждого мультимодального плейсхолдера и его замены.

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:  - `'pt'`: возвращает объекты `torch.Tensor` PyTorch. - `'np'`: возвращает объекты `np.ndarray` NumPy.

- ****kwargs** ([ProcessingKwargs](/docs/transformers/v5.23.0/ru/main_classes/processors#transformers.ProcessingKwargs), *optional*) : Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict.

**Возвращает:** [BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding)

[BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding) со следующими полями:

- **input_ids** -- Список идентификаторов токенов, передаваемых в модель. Возвращается, если `text` не равен `None`.
- **attention_mask** -- Список индексов, указывающих, на какие токены модель должна обращать внимание (когда `return_attention_mask=True` или если *"attention_mask"* входит в `self.model_input_names` и если `text` не равно `None`).
- **input_features** -- Аудиовходные признаки, передаваемые в модель. Возвращается, если `audios` не равно `None`.

## SeamlessM4TCodeHifiGan[[transformers.SeamlessM4TCodeHifiGan]]

#### transformers.SeamlessM4TCodeHifiGan[[transformers.SeamlessM4TCodeHifiGan]]

```python
transformers.SeamlessM4TCodeHifiGan(config: SeamlessM4TConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2123)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Код вокодера HiFi-GAN, описанного в этом [репозитории](https://github.com/facebookresearch/speech-resynthesis).

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.SeamlessM4TCodeHifiGan.forward]]

```python
forward(input_ids: LongTensor, spkr_id: Tensor, lang_id: Tensor, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2199)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`) : Индексы токенов входной последовательности в словаре. Индексы можно получить с помощью [SeamlessM4TTextToUnitForConditionalGeneration](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTextToUnitForConditionalGeneration). [Что такое входные идентификаторы?](../glossary#input-ids)

spkr_id (`int`, *optional*) : Идентификатор говорящего, используемый для синтеза речи. Должен быть меньше `config.vocoder_num_spkrs`.

tgt_lang (`str`, *необязательный*) : Идентификатор языка, который следует использовать в качестве целевого языка для перевода.

## SeamlessM4THifiGan[[transformers.SeamlessM4THifiGan]]

#### transformers.SeamlessM4THifiGan[[transformers.SeamlessM4THifiGan]]

```python
transformers.SeamlessM4THifiGan(config: SeamlessM4TConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2046)

#### forward[[transformers.SeamlessM4THifiGan.forward]]

```python
forward(inputs_embeds: Tensor)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L2081)

**Параметры:**

spectrogram (`torch.Tensor`) : тензор, содержащий лог-мел-спектрограммы. Может быть батчевым с формой `(batch_size, sequence_length, model_in_dim)` или небатчевым с формой `(sequence_length, model_in_dim)`. Обратите внимание, что `model_in_dim` является суммой `config.unit_embed_dim`, `config.lang_embed_dim` и `config.spkr_embed_dim`.

**Возвращает:** `torch.Tensor`

Тензор, содержащий звуковую волну речи. Если входная спектрограмма имеет батч, форма будет `(batch_size, num_frames,)`. Если без батча, форма будет `(num_frames,)`.

Преобразует лог-мел-спектрограмму в речевую волну. Передача батча лог-мел-спектрограмм возвращает батч речевых волн. Передача одной небатчевой лог-мел-спектрограммы возвращает одну небатчевую речевую волну.

## SeamlessM4TTextToUnitModel[[transformers.SeamlessM4TTextToUnitModel]]

#### transformers.SeamlessM4TTextToUnitModel[[transformers.SeamlessM4TTextToUnitModel]]

```python
transformers.SeamlessM4TTextToUnitModel(config: SeamlessM4TConfig, embed_tokens_decoder: typing.Optional[torch.nn.Embedding] = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L1753)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

embed_tokens_decoder (`nn.Embedding`, *необязательный*) : входное вложение декодера.

Базовый энкодер-декодер «текст в единицы» на основе Transformer. Энкодер — это `SeamlessM4TEncoder` без эмбеддингов, а декодер — `SeamlessM4TDecoder`.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.SeamlessM4TTextToUnitModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, decoder_inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L1771)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

decoder_input_ids (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательный*) : Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные ID декодера?](../glossary#decoder-input-ids)

decoder_attention_mask (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательный*) : Маска для исключения внимания к определённым индексам токенов. По умолчанию используется каузальная маска, чтобы модель могла учитывать только предыдущие входные данные при прогнозировании будущих.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *необязательный*) : Кортеж состоит из (`last_hidden_state`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `last_hidden_state` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) представляет собой последовательность скрытых состояний на выходе последнего слоя кодировщика. Используется в кросс-внимании декодера.

past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.

decoder_inputs_embeds (`torch.Tensor` формы `(batch_size, target_sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `decoder_input_ids` можно напрямую передать встроенное представление. Если используется `past_key_values`, по желанию на вход нужно передавать только последние `decoder_inputs_embeds` (см. `past_key_values`). Это полезно, если требуется больший контроль над тем, как индексы `decoder_input_ids` преобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска встраиваний модели. Если `decoder_input_ids` и `decoder_inputs_embeds` не заданы, `decoder_inputs_embeds` принимает значение `inputs_embeds`.

use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`).

**Возвращает:** [Seq2SeqModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) или `tuple(torch.Tensor)`

Объект [Seq2SeqModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) и входных данных.

Метод forward модели [SeamlessM4TTextToUnitModel](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTextToUnitModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя декодера модели.

  Если используется `past_key_values`, выводится только последнее скрытое состояние последовательностей формы `(batch_size, 1, hidden_size)`.
- **past_key_values** (`EncoderDecoderCache`, *необязательный*, возвращается при передаче `use_cache=True` или при `config.use_cache=True`) -- это экземпляр [EncoderDecoderCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.EncoderDecoderCache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache).

  Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния декодера на выходе каждого слоя, а также необязательные выходные значения начального эмбеддинга.
- **decoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
- **cross_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) — Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания кросс-внимания декодера, после применения softmax к вниманию, используемые для вычисления взвешенного среднего в головах кросс-внимания.
- **encoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) -- Последовательность скрытых состояний на выходе последнего слоя энкодера модели.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния энкодера на выходе каждого слоя, а также необязательные выходные значения начального эмбеддинга.
- **encoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

## SeamlessM4TTextToUnitForConditionalGeneration[[transformers.SeamlessM4TTextToUnitForConditionalGeneration]]

#### transformers.SeamlessM4TTextToUnitForConditionalGeneration[[transformers.SeamlessM4TTextToUnitForConditionalGeneration]]

```python
transformers.SeamlessM4TTextToUnitForConditionalGeneration(config: SeamlessM4TConfig, embed_tokens_decoder: typing.Optional[torch.nn.Embedding] = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L1832)

**Параметры:**

config ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

embed_tokens_decoder (`nn.Embedding`, *необязательный*) : входное вложение декодера.

Кодер-декодер для преобразования текста в юниты на основе трансформера с головой языковой модели. Базовая модель кодер-декодера — это `SeamlessM4TTextToUnit`.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.SeamlessM4TTextToUnitForConditionalGeneration.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, decoder_inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/seamless_m4t/modeling_seamless_m4t.py#L1876)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

decoder_input_ids (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательно*) : Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы декодера?](../glossary#decoder-input-ids) Bart использует `eos_token_id` в качестве начального токена для генерации `decoder_input_ids`. Если используется `past_key_values`, необязательно вводить только последние `decoder_input_ids` (см. `past_key_values`). Для обучения переводу и суммаризации необходимо предоставлять `decoder_input_ids`. Если `decoder_input_ids` не предоставлены, модель создаст этот тензор, сдвинув `input_ids` вправо для предобучения с шумоподавлением в соответствии со статьёй.

decoder_attention_mask (`torch.LongTensor` формы `(batch_size, target_sequence_length)`, *необязательный*) : Поведение по умолчанию: генерирует тензор, игнорирующий токены заполнения в `decoder_input_ids`. Маска причинности также будет использоваться по умолчанию. Если вы хотите изменить поведение при заполнении, прочитайте `modeling_bart._prepare_decoder_attention_mask` и измените его под свои нужды. Подробнее о стратегии по умолчанию см. на схеме 1 в [статье](https://huggingface.co/papers/1910.13461).

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *необязательный*) : Кортеж состоит из (`last_hidden_state`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `last_hidden_state` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) представляет собой последовательность скрытых состояний на выходе последнего слоя кодировщика. Используется в кросс-внимании декодера.

past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` формы`(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска встраиваний модели.  labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*): Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[-100, 0, ..., config.vocab_size]` (см. строку документации `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`

decoder_inputs_embeds (`torch.Tensor` формы `(batch_size, target_sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `decoder_input_ids` можно напрямую передать встроенное представление. Если используется `past_key_values`, по желанию на вход нужно передавать только последние `decoder_inputs_embeds` (см. `past_key_values`). Это полезно, если требуется больший контроль над тем, как индексы `decoder_input_ids` преобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска встраиваний модели. Если `decoder_input_ids` и `decoder_inputs_embeds` не заданы, `decoder_inputs_embeds` принимает значение `inputs_embeds`.

labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[0, ..., config.vocab_size]` или равняться -100 (см. docstring `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`.

use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`).

**Возвращает:** [Seq2SeqLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) или `tuple(torch.Tensor)`

Объект [Seq2SeqLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([SeamlessM4TConfig](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TConfig)) и входных данных.

Метод forward класса [SeamlessM4TTextToUnitForConditionalGeneration](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TTextToUnitForConditionalGeneration) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели.
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
- **past_key_values** (`EncoderDecoderCache`, *необязательный*, возвращается при передаче `use_cache=True` или при `config.use_cache=True`) -- это экземпляр [EncoderDecoderCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.EncoderDecoderCache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache).

  Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
- **decoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
- **cross_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) — Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания кросс-внимания декодера, после применения softmax к вниманию, используемые для вычисления взвешенного среднего в головах кросс-внимания.
- **encoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) -- Последовательность скрытых состояний на выходе последнего слоя энкодера модели.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **encoder_attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

