Hugging Face's logo

Transformers documentation

Pocket TTS ses belirteçleyicisi

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model, 2026-10-20 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

Pocket TTS ses belirteçleyicisi

Genel Bakış

Pocket TTS ses tokenizörü: Mimi mimarisine (her iki tarafta SEANet konvolüsyonları ve küçük bir nedensel transformer) sahip, artıksal vektör kuantizörü Continuous Audio Language Models'deki VAE-GAN ile değiştirilen, sürekli 32 boyutlu bir boğaza sahip bir codec. 24 kHz sesleri 12.5 Hz'de latentlere ve geriye dönüştürür. Kodlayıcısı ve çözücüleri tek başına yüklenebilir (PocketTTSAudioTokenizerEncoderModel, PocketTTSAudioTokenizerDecoderModel). PocketTTSProcessor'un audio_tokenizer'ıdır ve tüm Pocket TTS checkpoint'leri tarafından paylaşılmaktadır: işlemci, ses istemlerini bununla kodlar ve üretilen latentleri çözer.

Bu model Eustache Le Bihan tarafından katkıda bulunmuştur. Orijinal kod kyutai-labs/pocket-tts'tir.

Kullanım

from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel

model = AutoModel.from_pretrained("eustlb/pocket-tts-audio-tokenizer", device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained("eustlb/pocket-tts-audio-tokenizer")

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=24000))
inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=24000, return_tensors="pt").to(model.device)

latents = model.encode(**inputs).latents
audio_values = model.decode(latents).audio_values

PocketTTSAudioTokenizerConfig

sınıf transformers.PocketTTSAudioTokenizerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1hidden_size: int = 512num_filters: int = 64num_residual_layers: int = 1upsampling_ratios: list[int] | None = Nonekernel_size: int = 7last_kernel_size: int = 3residual_kernel_size: int = 3dilation_growth_rate: int = 2use_causal_conv: bool = Truepad_mode: str = 'constant'compress: int = 2trim_right_ratio: float = 1.0use_conv_shortcut: bool = Falseupsample_groups: int = 512num_hidden_layers: int = 2intermediate_size: int = 2048num_attention_heads: int = 8num_key_value_heads: int = 8head_dim: int | None = Nonehidden_act: str = 'gelu_pytorch_tanh'max_position_embeddings: int = 8000initializer_range: float = 0.02norm_eps: float = 1e-05use_cache: bool = Falseuse_streaming: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonesliding_window: int = 250attention_dropout: float | int = 0.0layer_scale_initial_scale: float = 0.01attention_bias: bool = Falselatent_stride: int = 16latent_dim: int = 32 )

Parametreler

  • sampling_rate (int, isteğe bağlı, varsayılan 24000) — Ses dosyalarının dijitalleştirileceği örnekleme hızı, hertz (Hz) cinsinden ifade edilir.
  • audio_channels (int, isteğe bağlı, varsayılan 1) — Ses verisindeki kanal sayısı; yayınlanan kontrol noktaları ve bu uygulama mono'dur.
  • hidden_size (int, isteğe bağlı, varsayılan 512) — Gizli temsillerin boyutu.
  • num_filters (int, isteğe bağlı, varsayılan 64) — Encoder'ın ilk PocketTTSAudioTokenizerConv1d katmanındaki konvolüsyon çekirdeklerinin sayısı.
  • num_residual_layers (int, isteğe bağlı, varsayılan 1) — Kalan katman sayısı.
  • upsampling_ratios (list[int], isteğe bağlı) — Çözücünün transpoze konvolüsyonlarının çekirdek boyutu ve adım oranları; kodlayıcı bunları ters sırada kullanır. Belirtilmezse, varsayılan değer [6, 5, 4] olur.
  • kernel_size (int, isteğe bağlı, varsayılan 7) — Konvolüsyon çekirdeğinin boyutu.
  • last_kernel_size (int, isteğe bağlı, varsayılan 3) — Son konvolüsyon katmanı için çekirdek boyutu.
  • residual_kernel_size (int, isteğe bağlı, varsayılan 3) — Residual katmanlar için çekirdek boyutu.
  • dilation_growth_rate (int, isteğe bağlı, varsayılan 2) — Her katmanda dilasyonun ne kadar artırılacağını belirtir.
  • use_causal_conv (bool, isteğe bağlı, varsayılan True) — Tamamen nedensel konvolüsyonun kullanılıp kullanılmayacağı.
  • pad_mode (str, isteğe bağlı, varsayılan "constant") — Kovülasyonlar için dolgu modu.
  • compress (int, isteğe bağlı, varsayılan 2) — Artık dallarındaki azaltılmış boyut.
  • trim_right_ratio (float, isteğe bağlı, varsayılan 1.0) — use_causal_conv = True yapılandırmasında, transpoze konvolüsyonun sağ tarafında kırpma için kullanılan oran. 1.0'a eşitse, tüm kırpmanın sağ tarafta yapıldığı anlamına gelir.
  • use_conv_shortcut (bool, isteğe bağlı, varsayılan False) — SEANet artımsal bloklarında atlamalı bağlantı olarak konvolüsyon kullanılıp kullanılmayacağı; yayınlanan kontrol noktaları bunu kullanmaz.
  • upsample_groups (int, isteğe bağlı, varsayılan 512) — Latentleri SEANet hızına yükseltmek için kullanılan transpoze konvolüsyonun grup sayısı.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 2) — Transformer decoder'ındaki gizli katman sayısı.
  • intermediate_size (int, isteğe bağlı, varsayılan 2048) — MLP temsillerinin boyutu.
  • num_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • num_key_value_heads (int, isteğe bağlı, varsayılan 8) — Bu, Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır. num_key_value_heads=num_attention_heads ise model Multi Head Attention (MHA) kullanır, num_key_value_heads=1 ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için bu makaleye göz atın. Belirtilmezse, varsayılan olarak num_attention_heads kullanılır.
  • head_dim (int, isteğe bağlı) — Dikkat başı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır.
  • hidden_act (str, isteğe bağlı, varsayılan gelu_pytorch_tanh) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • max_position_embeddings (int, isteğe bağlı, varsayılan 8000) — Bu modelin kullanılabileceği en uzun dizi uzunluğu.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • norm_eps (float, isteğe bağlı, varsayılan 1e-05) — Katman normalizasyonu katmanlarında kullanılan epsilon.
  • use_cache (bool, isteğe bağlı, varsayılan False) — Modelin son anahtar/değer dikkatlerini döndürüp döndürmeyeceğini belirtir (tüm modellerde kullanılmaz). Yalnızca config.is_decoder=True olduğunda veya model yalnızca decoder tabanlı üretken bir model olduğunda geçerlidir.
  • use_streaming (bool, isteğe bağlı, varsayılan False) — Kodlayıcının varsayılan olarak akış (streaming) kullanıp kullanmadığı: bu durumda, sonraki çağrıya aktarılacak dolgu (padding) önbelleğini ve anahtar-değer (key-value) önbelleğini döndürür.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], isteğe bağlı) — RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, rope_theta için bir değer ve daha uzun max_position_embeddings ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan isteğe bağlı parametreleri içermelidir.
  • sliding_window (int, isteğe bağlı, varsayılan 250) — Kayan pencere dikkat penceresi boyutu. None ise kayan pencere uygulanmaz.
  • attention_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • layer_scale_initial_scale (float, isteğe bağlı, varsayılan 0.01) — Öz-dikkat katmanlarında kullanılacak ölçek. Baz modeller için 0.1, büyük modeller için 1e-6. Katman ölçeklemeyi devre dışı bırakmak için 0 olarak ayarlayın.
  • attention_bias (bool, isteğe bağlı, varsayılan False) — Öz-dikkat sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında önyargı (bias) kullanılıp kullanılmayacağı.
  • latent_stride (int, isteğe bağlı, varsayılan 16) — Her latent çerçeve başına SEANet çerçevesi sayısı: SEANet çıktısını latentlere indirgeyen kodlayıcı konvolüsyonunun ve onları geri yükselten çözücü transpoze konvolüsyonunun stride değeri. Bir latent çerçeve, prod(upsampling_ratios) * latent_stride ses örneğini kapsar (frame_size, yayınlanan checkpoint'ler için 1920).
  • latent_dim (int, isteğe bağlı, varsayılan 32) — Sürekli latentlerin boyutu. Mimi’nin artıksal vektör kuantizleyicisi bu darboğazla değiştirilir: kodlayıcının örnekleme azaltma konvolüsyonu latent_dim kanal üretir ve kodlayıcı, örnekleme artırmadan önce bunları hidden_size değerine geri yansıtır.

Bu, bir PocketTTSAudioTokenizerModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pocket Tts Audio Tokenizer modelinin örneklenmesinde, model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, eustlb/pocket-tts-audio-tokenizer ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import PocketTTSAudioTokenizerConfig, PocketTTSAudioTokenizerModel

>>> # a full codec, and its decoder alone
>>> model = PocketTTSAudioTokenizerModel(PocketTTSAudioTokenizerConfig())
>>> decoder_only = PocketTTSAudioTokenizerModel(PocketTTSAudioTokenizerConfig(encoder_config=None))

PocketTTSAudioTokenizerEncoderConfig

sınıf transformers.PocketTTSAudioTokenizerEncoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1hidden_size: int = 512num_filters: int = 64num_residual_layers: int = 1upsampling_ratios: list[int] | None = Nonekernel_size: int = 7last_kernel_size: int = 3residual_kernel_size: int = 3dilation_growth_rate: int = 2use_causal_conv: bool = Truepad_mode: str = 'constant'compress: int = 2trim_right_ratio: float = 1.0use_conv_shortcut: bool = Falseupsample_groups: int = 512num_hidden_layers: int = 2intermediate_size: int = 2048num_attention_heads: int = 8num_key_value_heads: int = 8head_dim: int | None = Nonehidden_act: str = 'gelu_pytorch_tanh'max_position_embeddings: int = 8000initializer_range: float = 0.02norm_eps: float = 1e-05use_cache: bool = Falseuse_streaming: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonesliding_window: int = 250attention_dropout: float | int = 0.0layer_scale_initial_scale: float = 0.01attention_bias: bool = Falselatent_stride: int = 16latent_dim: int = 32 )

PocketTTSAudioTokenizer'ın kodlayıcı yarısının (SEANet kodlayıcı, kodlayıcı transformer ve örnekleme azaltma) yapılandırması. PocketTTSAudioTokenizerConfig ile her alanı paylaşır (argümanlar için belgesine bakın), bu nedenle tam bir PocketTTSAudioTokenizer kontrol noktasından doğrudan yüklenebilir.

PocketTTSAudioTokenizerDecoderConfig

sınıf transformers.PocketTTSAudioTokenizerDecoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1hidden_size: int = 512num_filters: int = 64num_residual_layers: int = 1upsampling_ratios: list[int] | None = Nonekernel_size: int = 7last_kernel_size: int = 3residual_kernel_size: int = 3dilation_growth_rate: int = 2use_causal_conv: bool = Truepad_mode: str = 'constant'compress: int = 2trim_right_ratio: float = 1.0use_conv_shortcut: bool = Falseupsample_groups: int = 512num_hidden_layers: int = 2intermediate_size: int = 2048num_attention_heads: int = 8num_key_value_heads: int = 8head_dim: int | None = Nonehidden_act: str = 'gelu_pytorch_tanh'max_position_embeddings: int = 8000initializer_range: float = 0.02norm_eps: float = 1e-05use_cache: bool = Falseuse_streaming: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonesliding_window: int = 250attention_dropout: float | int = 0.0layer_scale_initial_scale: float = 0.01attention_bias: bool = Falselatent_stride: int = 16latent_dim: int = 32 )

PocketTTSAudioTokenizer'ın decoder yarısının (upsampling, decoder transformer ve SEANet decoder) yapılandırması. PocketTTSAudioTokenizerConfig ile her alanı paylaşır (argümanlar için belgelerini inceleyin), bu nedenle tam bir PocketTTSAudioTokenizer checkpoint'inden doğrudan yüklenebilir.

PocketTTSAudioTokenizerModel

sınıf transformers.PocketTTSAudioTokenizerModel

< >

( config: PocketTTSAudioTokenizerConfig )

Parametreler

  • config (PocketTTSAudioTokenizerConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Pocket TTS ses tokenizasyonu: 12,5 Hz'de sürekli 32 boyutlu bir gizli katmana sahip Mimi mimarili bir codec (Continuous Audio Language Models'un VAE-GAN'ı), 24 kHz sesleri gizli katmanlara dönüştürüp geri çevirir.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

encode

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = Noneencoder_past_key_values: transformers.cache_utils.Cache | None = Nonepadding_cache: transformers.models.pocket_tts_audio_tokenizer.modeling_pocket_tts_audio_tokenizer.PocketTTSAudioTokenizerConv1dPaddingCache | None = Noneuse_streaming: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> )

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, audio_channels, num_samples)) — Orijinalinde olduğu gibi, config.frame_size örneğinin katına sıfır dolgusu ekleyerek EncodecFeatureExtractor tarafından döndürülen ses dalgası.
  • padding_mask (torch.Tensor, şekli (batch_size, num_samples), isteğe bağlı) — Ses örneklerinin (1) dolgu (0) ile karşılaştırıldığında maskesi; latents_mask bu maskeden hesaplanır.
  • encoder_past_key_values (Cache, isteğe bağlı) — Akış sırasında önceki çağrıda döndürülen, encoder transformer'ın anahtar-değer önbelleği.
  • padding_cache (PocketTTSAudioTokenizerConv1dPaddingCache, opsiyonel) — Akış sırasında önceki çağrı tarafından döndürülen, kodlayıcının nedensel konvolüsyonları için dolgu önbelleği.
  • use_streaming (bool, isteğe bağlı) — Akış modunda kodlamayı yapıp bir sonraki çağrıya aktarılacak önbellekleri döndürüp döndürmeyeceğini belirtir.

(batch_size, num_frames, latent_dim) biçiminde sürekli latentlere ses kodlar: PocketTTSAudioTokenizerEncoderModel.forward() latentleri, kareler önce.

decode

< >

( latents: Tensordecoder_past_key_values: transformers.cache_utils.Cache | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> )

Parametreler

  • latents (torch.Tensor, şekli (batch_size, num_frames, latent_dim)) — Çözümlenecek sürekli latentler, her config.frame_size ses örneği için bir kare.
  • decoder_past_key_values (Cache, isteğe bağlı) — Parça parça çözümleme sırasında önceki çağrı tarafından döndürülen, decoder transformer'ın anahtar-değer önbelleği.

Sürekli latentleri sese dönüştürür: latentler hidden_size'e projekte edilir, ardından PocketTTSAudioTokenizerDecoderModel.forward() tarafından çözümlenir.

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PocketTTSAudioTokenizerOutput or tuple(torch.Tensor)

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, audio_channels, num_samples)) — EncodecFeatureExtractor tarafından döndürülen ses dalgası.
  • padding_mask (torch.Tensor, şekli (batch_size, num_samples), isteğe bağlı) — Ses örneklerinin (1) dolgu (0) ile karşılaştırıldığında maskesi.

Dönüş değeri

PocketTTSAudioTokenizerOutput veya tuple(torch.Tensor)

PocketTTSAudioTokenizerOutput veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (PocketTTSAudioTokenizerConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

PocketTTSAudioTokenizerModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • latents (torch.Tensor, şekli (batch_size, num_frames, latent_dim)) — Sesin sürekli latentleri.
  • latents_mask (torch.LongTensor, şekli (batch_size, num_frames), isteğe bağlı) — Dolgudan (0) değil, ses örneklerinden (1) hesaplanan gizli karelerin maskesi.
  • audio_values (torch.Tensor, şekli (batch_size, audio_channels, num_samples)) — Latentlerden yeniden oluşturulan ses dalgası.
  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True olduğunda döndürülür) — Her katmanın çıktısında ve girdisinde, encoder transformer'ın gizli durumları.
  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True olduğunda döndürülür) — Her encoder transformer katmanının dikkat ağırlıkları.

PocketTTSAudioTokenizerEncoderModel

sınıf transformers.PocketTTSAudioTokenizerEncoderModel

< >

( config: PocketTTSAudioTokenizerEncoderConfig )

Parametreler

  • config (PocketTTSAudioTokenizerEncoderConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

PocketTTSAudioTokenizer'ın kodlayıcı yarısı: SEANet kodlayıcı, kodlayıcı transformer ve örneklem azaltma; sesin sürekli gizli değişkenlere dönüştürülmesi.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonepadding_cache: transformers.models.pocket_tts_audio_tokenizer.modeling_pocket_tts_audio_tokenizer.PocketTTSAudioTokenizerConv1dPaddingCache | None = Noneuse_streaming: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PocketTTSAudioTokenizerEncoderModelOutput or tuple(torch.Tensor)

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, channels, sequence_length)) — Giriş ses dalgasının ondalık sayı değerleri.
  • padding_mask (torch.Tensor, şekli (batch_size, channels, sequence_length), isteğe bağlı) — Dolgu nedeniyle yok sayılacak girişleri belirtir; öğeler maskelememiş için 1 veya maskelemiş için 0 değerini alır.
  • past_key_values (Cache, isteğe bağlı) — Encoder transformer'ın önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler), akışkan kodlamayı hızlandırmak için kullanılır.
  • padding_cache (PocketTTSAudioTokenizerConv1dPaddingCache, opsiyonel) — Akış kodlamada kullanılan nedensel konvolüsyonların dolgu önbelleği.
  • use_streaming (bool, isteğe bağlı) — Akış modunda kodlamayı yapıp bir sonraki çağrıya aktarılacak önbellekleri döndürüp döndürmeyeceğini belirtir.
  • Encodes, girdi ses dalgasını (batch_size, latent_dim, frames) biçiminde sürekli latentlere dönüştürür. —

Dönüş değeri

PocketTTSAudioTokenizerEncoderModelOutput veya tuple(torch.Tensor)

PocketTTSAudioTokenizerEncoderModelOutput veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (PocketTTSAudioTokenizerConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

PocketTTSAudioTokenizerEncoderModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • latents (torch.Tensor, şekli (batch_size, latent_dim, frames)) — Sesin sürekli latantları, her config.frame_size ses örneğine bir kare.
  • past_key_values (Cache, isteğe bağlı) — Akış sırasında döndürülen, encoder transformer'ın önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler).
  • padding_cache (PocketTTSAudioTokenizerConv1dPaddingCache, opsiyonel) — PocketTTSAudioTokenizerConv1d nedensel konvolüsyonları için, önbellek dolgusu aracılığıyla akışı desteklemek amacıyla kullanılan dolgu önbelleği.
  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True olduğunda döndürülür) — Her katmanın çıktısında ve girdisinde, encoder transformer'ın gizli durumları.
  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True olduğunda döndürülür) — Her encoder transformer katmanının dikkat ağırlıkları.

PocketTTSAudioTokenizerDecoderModel

sınıf transformers.PocketTTSAudioTokenizerDecoderModel

< >

( config: PocketTTSAudioTokenizerDecoderConfig )

Parametreler

  • config (PocketTTSAudioTokenizerDecoderConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

PocketTTSAudioTokenizer'ın decoder yarısı: sürekli latentlerden ses verisine dönüşüm için upsampling, decoder transformer ve SEANet decoder.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( latents: Tensorpadding_mask: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PocketTTSAudioTokenizerDecoderOutput or tuple(torch.Tensor)

Parametreler

  • latents (torch.Tensor, şekli (batch_size, hidden_size, frames)) — PocketTTSAudioTokenizerModel.decode() tarafından hesaplanan, çözümlenecek sürekli latents.
  • padding_mask (torch.Tensor, şekli (batch_size, channels, sequence_length), isteğe bağlı) — Dolgu nedeniyle yok sayılacak girişleri belirtir; öğeler maskelememiş için 1 veya maskelemiş için 0 değerini alır.
  • past_key_values (Cache, opsiyonel) — Akış çözümlemesini hızlandırmak için kullanılan, decoder transformer'ın önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler).
  • Decodes, verilen kareleri bir çıkış ses dalgası biçiminde çözer. Çıktının biraz daha büyük olabileceğine dikkat edin —
  • input. Bu durumda, sonundaki gereksiz adımlar kırpılabilir. —

Dönüş değeri

PocketTTSAudioTokenizerDecoderOutput veya tuple(torch.Tensor)

PocketTTSAudioTokenizerDecoderOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (PocketTTSAudioTokenizerConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

PocketTTSAudioTokenizerDecoderModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • audio_values (torch.Tensor, şekli (batch_size, audio_channels, num_samples), isteğe bağlı) — PocketTTSAudioTokenizer'ın decoder kısmı kullanılarak elde edilen çözümlenmiş ses değerleri.

  • decoder_past_key_values (Cache, isteğe bağlı) — Ardışık decoder transformer çözümlemesini hızlandırmak için kullanılabilen, önceden hesaplanmış gizli durumlar (self-attention bloklarındaki anahtarlar ve değerler). Bu, genellikle use_cache=True veya config.use_cache=True olduğunda, çözümlemenin önceki bir aşamasında modelin döndürdüğü past_key_values değerlerinden oluşur.

    Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.

    past_key_values kullanılıyorsa, kullanıcı yalnızca son audio_values veya `audio_codes` (bu modele geçmiş anahtar değer durumları verilmemiş olanlar) girebilir.

  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True olduğunda döndürülür) — Çıktıdaki her katmanın ve girdisinin çıktısında decoder transformer'ın gizli durumları.

  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True olduğunda döndürülür) — Her decoder transformer katmanının dikkat ağırlıkları.

Update on GitHub

←Pocket TTS Pop2Piano→