Hugging Face's logo

Diffusers documentation

MiniMaxMusic3Transformer1DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MiniMaxMusic3Transformer1DModel

Flow-matching Diffusion Transformer объёмом 2,4B из MiniMax Music 3. Он выполняет денойзинг 128-канальных латентов аудио Flow-VAE, используя в качестве условия скрытые состояния на каждый кадр из авто-регрессивной языковой модели, при этом timestep flow-matching добавляется как дополнительный токен последовательности (непрерывный трансформер линейки Stable-Audio с частичным rotary attention и GLU feedforwards).

MiniMaxMusic3Transformer1DModel

класс diffusers.MiniMaxMusic3Transformer1DModel

< >

( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )

Диффузионный трансформер с потоковым согласованием (flow-matching) из MiniMax Music 3. Он выполняет удаление шума из латентных представлений аудио Flow-VAE, используя в качестве условия скрытые состояния, сгенерированные на этапе авторегрессионной языковой модели для каждого кадра.

Входные данные представляют собой одномерные латентные последовательности формы (batch, in_channels, length). Условный сигнал (encoder_hidden_states, форма (batch, length, condition_dim)) должен уже быть выровнен по временной шкале латентных данных — см. MiniMaxMusic3ConditionEncoder. Шаг времени timestep для flow-matching изменяется от 0 (шум) до 1 (данные).

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )

Параметры

  • hidden_states (torch.Tensor формы (batch, in_channels, length)) — Зашиумленные латенты Flow-VAE.
  • timestep (torch.Tensor формы (batch,)) — Время flow-matching в диапазоне [0, 1], где 0 — это чистый шум, а 1 — данные.
  • encoder_hidden_states (torch.Tensor формы (batch, length, condition_dim)) — Условие, выровненное по кадрам, от MiniMaxMusic3ConditionEncoder. Передайте нули для безусловной ветви classifier-free guidance.
  • return_dict (bool, по умолчанию True) — Определяет, следует ли возвращать Transformer2DModelOutput вместо обычного кортежа.
Update on GitHub

←MiniMaxH3Transformer3DModel MochiTransformer3DModel→