Hugging Face's logo

Transformers documentation

VideoPrism

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была опубликована в HF papers 2024-02-20 и добавлена в Hugging Face Transformers 2026-06-19.

FlashAttention

VideoPrism

Модель VideoPrism была предложена в статье VideoPrism: A Foundational Visual Encoder for Video Understanding от Google DeepMind (блог-пост).

VideoPrism — это универсальный видео-энкодер, который решает разнообразные задачи понимания видео с помощью одной замороженной модели. Модель предварительно обучена на крупномасштабном гетерогенном корпусе, содержащем 36 млн высококачественных пар «видео-описание» и 582 млн видеоклипов с зашумлённым параллельным текстом (например, транскриптами ASR). Подход к предварительному обучению улучшает маскированное автокодирование за счёт глобально-локальной дистилляции семантических видео-эмбеддингов и схемы перемешивания токенов, что позволяет модели в первую очередь фокусироваться на видео-модальности, используя при этом текст, связанный с видео. VideoPrism демонстрирует наилучшие результаты на 31 из 33 бенчмарков понимания видео в четырёх широких группах задач — от ответов на вопросы по веб-видео до компьютерного зрения для науки.

drawing

Все исходные контрольные точки VideoPrism можно найти в коллекции VideoPrism.

Примечания:

  • VideoPrism использует архитектуру факторизованного пространственно-временного кодировщика, обрабатывая видео через отдельные пространственные и временные трансформеры.
  • Модель поддерживает контрастивное обучение по видео и тексту с помощью VideoPrismClipModel, который объединяет видео-энкодер и текстовый энкодер. Для работы с этой моделью необходимо использовать VideoPrismConfig.
  • Для задач классификации видео используйте VideoPrismForVideoClassification, который добавляет классификационную голову поверх видео-энкодера. С этой моделью необходимо использовать VideoPrismVisionConfig.
  • Видео-энкодер можно использовать автономно через VideoPrismVisionModel для извлечения признаков из видео. Для работы с этой моделью необходимо использовать VideoPrismVisionConfig.
  • Разрешение входных данных по умолчанию составляет 288x288 пикселей, при этом для базовых моделей используется 16 кадров на видеоклип, а для крупных моделей — 8 кадров. Чтобы использовать модели с произвольным разрешением и количеством кадров на клип, установите interpolate_pos_encoding=True.

Эта модель была предоставлена MHRDYN7 и проверена vasqu и zucchini-nlp. Исходный код можно найти здесь.

Пример использования

Ниже приведён фрагмент кода, показывающий, как загрузить VideoPrismVisionModel для извлечения признаков с помощью класса AutoModel.

import torch
from transformers import AutoModel, AutoVideoProcessor

processor = AutoVideoProcessor.from_pretrained("google/videoprism-base-f16r288", revision="refs/pr/4")
model = AutoModel.from_pretrained(
    "google/videoprism-base-f16r288",
    revision="refs/pr/4",
    device_map="auto",
    # use "flash_attention_2" for faster inference on supported hardware
    # attn_implementation="flash_attention_2" 
)

video_url = "https://huggingface.co/datasets/nateraw/kinetics-mini/resolve/main/val/archery/-Qz25rXdMjE_000014_000024.mp4"

# when do_sample_frames=True, 16/8 frames will be sampled by default depending on the checkpoint size base/large.
processed_video_inputs = processor(videos=[video_url], return_metadata=True, do_sample_frames=True)
video_metadata = processed_video_inputs["video_metadata"]
video_inputs = processed_video_inputs["pixel_values_videos"].to(model.device)
outputs = model(video_inputs)

# VideoPrism encoder outputs
encoder_outputs = outputs.last_hidden_state

VideoPrismVisionConfig

класс transformers.VideoPrismVisionConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_size: int | list[int] | tuple[int, int] = 288num_frames: int = 16tubelet_size: list[int] | tuple[int, ...] = (1, 18, 18)num_channels: int = 3hidden_size: int = 768num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu_python'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06qkv_bias: bool = Truenum_spatial_layers: int = 12num_temporal_layers: int = 4attn_logit_softcapping: float = 50.0num_auxiliary_layers: int = 2apply_l2norm: bool = True )

Параметры

  • image_size (Union[int, list[int], tuple[int, int]], необязательный, по умолчанию 288) — Размер (разрешение) каждого изображения.
  • num_frames (int, необязательный, по умолчанию 16) — Количество кадров во входном видео.
  • tubelet_size (List[int], необязательный, по умолчанию [1, 18, 18]) — Размер патча tubelet.
  • num_channels (int, необязательный, по умолчанию 3) — Количество входных каналов.
  • hidden_size (int, необязательный, по умолчанию 768) — Размерность скрытых представлений.
  • num_attention_heads (int, необязательный, по умолчанию 12) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • intermediate_size (int, необязательный, по умолчанию 3072) — Размерность представлений MLP.
  • hidden_act (str, необязательный, по умолчанию gelu_python) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
  • hidden_dropout_prob (Union[float, int], необязательный, по умолчанию 0.0) — Вероятность dropout для всех полносвязных слоёв в блоках эмбеддингов, энкодера и пуллера.
  • attention_probs_dropout_prob (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
  • initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
  • layer_norm_eps (float, необязательный, по умолчанию 1e-06) — Значение epsilon, используемое слоями нормализации.
  • qkv_bias (bool, необязательный, по умолчанию True) — Добавлять ли смещение к запросам, ключам и значениям.
  • num_spatial_layers (int, необязательный, по умолчанию 12) — Количество пространственных трансформерных блоков.
  • num_temporal_layers (int, необязательный, по умолчанию 4) — Количество временных блоков трансформера.
  • attn_logit_softcapping (float, необязательный, по умолчанию 50.0) — Константа softcapping для логитов внимания.
  • num_auxiliary_layers (int, необязательный, по умолчанию 2) — Количество вспомогательных слоев. Используется в VideoPrismVideoModel, который является частью VideoPrismClipModel.
  • apply_l2norm (bool, необязательный, по умолчанию True) — Определяет, следует ли применять L2-нормализацию к выходным данным. Используется в модели VideoPrismVideoModel, которая является частью VideoPrismClipModel.

Это класс конфигурации для хранения конфигурации модели VideoPrismClipModel. Он используется для создания модели Videoprism в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации google/videoprism-base-f16r288

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

VideoPrismTextConfig

класс transformers.VideoPrismTextConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 32000hidden_size: int = 768intermediate_size: int = 3072num_hidden_layers: int = 12num_attention_heads: int = 12max_position_embeddings: int = 64hidden_act: str = 'relu'layer_norm_eps: float = 1e-06pad_token_id: int | None = 0bos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Noneattention_probs_dropout_prob: float | int = 0.0apply_l2norm: bool = Trueqkv_bias: bool = Truehidden_dropout_prob: float = 0.0initializer_range: float = 0.02attn_logit_softcapping: float = 50.0 )

Параметры

  • vocab_size (int, необязательный, по умолчанию 32000) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
  • hidden_size (int, необязательный, по умолчанию 768) — Размерность скрытых представлений.
  • intermediate_size (int, необязательный, по умолчанию 3072) — Размерность представлений MLP.
  • num_hidden_layers (int, необязательный, по умолчанию 12) — Количество скрытых слоев в декодере Transformer.
  • num_attention_heads (int, необязательный, по умолчанию 12) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • max_position_embeddings (int, необязательный, по умолчанию 64) — Максимальная длина последовательности, с которой может использоваться эта модель.
  • hidden_act (str, необязательный, по умолчанию relu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
  • layer_norm_eps (float, необязательный, по умолчанию 1e-06) — Значение epsilon, используемое слоями нормализации.
  • pad_token_id (int, необязательный, по умолчанию 0) — Идентификатор токена, используемого для дополнения (padding) в словаре.
  • bos_token_id (int, необязательный) — Идентификатор токена, используемого для обозначения начала потока в словаре.
  • eos_token_id (Union[int, list[int]], необязательный) — Идентификатор токена, используемого для обозначения конца потока в словаре.
  • attention_probs_dropout_prob (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
  • apply_l2norm (bool, необязательный, по умолчанию True) — Указывает, следует ли применять L2-нормализацию к выходу VideoPrismTextEncoder.
  • qkv_bias (bool, необязательный, по умолчанию True) — Добавлять ли смещение к запросам, ключам и значениям.
  • hidden_dropout_prob (float, необязательный, по умолчанию 0.0) — Вероятность dropout для всех полносвязных слоев в блоках эмбеддингов, энкодера и пулера.
  • initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
  • attn_logit_softcapping (float, необязательный, по умолчанию 50.0) — Константа softcapping для логитов внимания.

Это класс конфигурации для хранения настроек модели VideoPrismClipModel. Он используется для создания модели Videoprism в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации google/videoprism-lvt-base-f16r288

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

VideoPrismConfig

класс transformers.VideoPrismConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

Параметры

  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Объект конфигурации или словарь конфигурации текстового бэкбона.
  • vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Объект конфигурации или словарь конфигурации визуального бэкбона.

Это класс конфигурации для хранения настроек модели VideoPrismClipModel. Он используется для создания модели Videoprism в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации google/videoprism-lvt-base-f16r288

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Пример:

>>> from transformers import VideoPrismClipModel, VideoPrismConfig

>>> # Initializing a VideoPrismConfig with default values
>>> configuration = VideoPrismConfig()

>>> # Initializing a VideoPrismClipModel with the configuration
>>> model = VideoPrismClipModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

VideoPrismTokenizer

класс transformers.VideoPrismTokenizer

< >

( vocab: str | list[tuple[str, float]] | None = Noneeos_token = '</s>'unk_token = '<unk>'pad_token = '<pad>'_spm_precompiled_charsmap = Noneextra_ids = 100additional_special_tokens = None**kwargs )

Создаёт токенизатор VideoPrism, который по сути является токенизатором T5 без его постпроцессора (добавляющего токен EOS в конец последовательности).

Этот токенизатор наследуется от T5Tokenizer, который содержит большинство основных методов. За дополнительной информацией об этих методах следует обращаться к этому суперклассу.

get_sentinel_token_ids

< >

( )

Получите идентификаторы токенов для sentinel-токенов.

get_sentinel_tokens

< >

( )

Получите список sentinel-токенов (токенов extra_id) из additional_special_tokens.

VideoPrismProcessor

класс transformers.VideoPrismProcessor

< >

( video_processor = Nonetokenizer = None )

Параметры

  • video_processor (LlavaOnevisionVideoProcessor) — Обработчик видео является обязательным входным параметром.
  • tokenizer (VideoPrismTokenizer) — Токенизатор является обязательным входным параметром.

Создаёт VideoPrismProcessor, который объединяет видео-процессор и токенизатор в единый процессор.

VideoPrismProcessor предоставляет все возможности LlavaOnevisionVideoProcessor и VideoPrismTokenizer. Подробнее см. в ~LlavaOnevisionVideoProcessor и ~VideoPrismTokenizer.

VideoPrismVisionModel

класс transformers.VideoPrismVisionModel

< >

( config: VideoPrismVisionConfig )

Параметры

  • config (VideoPrismVisionConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Голый визуальный энкодер VideoPrism, выводящий необработанные скрытые состояния без какого-либо специализированного слоя сверху. Эта модель является базовым энкодером, используемым в VideoPrismVideoModel.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values_videos: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithSpatialAndTemporalStates or tuple(torch.Tensor)

Параметры

  • pixel_values_videos (torch.Tensor формы (batch_size, num_frames, num_channels, frame_size, frame_size), необязательный) — Тензоры, соответствующие входному видео. Пиксельные значения для видео можно получить с помощью LlavaOnevisionVideoProcessor. Подробности см. в LlavaOnevisionVideoProcessor.call() (VideoPrismProcessor использует LlavaOnevisionVideoProcessor для обработки видео).
  • interpolate_pos_encoding (bool, необязательный, по умолчанию False) — Указывает, следует ли интерполировать предобученные позиционные кодировки.

Возвращает

BaseModelOutputWithSpatialAndTemporalStates или tuple(torch.Tensor)

BaseModelOutputWithSpatialAndTemporalStates или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (VideoPrismConfig) и входных данных.

Метод forward модели VideoPrismVisionModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.

  • hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple(torch.Tensor), необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

  • last_temporal_hidden_state (torch.Tensor, необязательный) — последнее скрытое состояние временного кодировщика, как правило, с формой (batch_size * num_patches, num_frames, hidden_size).

  • last_spatial_hidden_state (torch.Tensor, необязательный) — последнее скрытое состояние пространственного кодировщика, как правило, с формой (batch_size * num_frames, num_patches, hidden_size).

Пример:

VideoPrismVideoModel

класс transformers.VideoPrismVideoModel

< >

( config: VideoPrismVisionConfig )

Параметры

  • config (VideoPrismVisionConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Модель VideoPrism, состоящая из базового визуального энкодера с дополнительными слоями энкодера и головой attention pooling. Эта модель используется в VideoPrismClipModel.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values_videos: Tensorinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

Параметры

  • pixel_values_videos (torch.Tensor формы (batch_size, num_frames, num_channels, frame_size, frame_size)) — Тензоры, соответствующие входному видео. Пиксельные значения для видео можно получить с помощью LlavaOnevisionVideoProcessor. Подробности см. в LlavaOnevisionVideoProcessor.call() (VideoPrismProcessor использует LlavaOnevisionVideoProcessor для обработки видео).
  • interpolate_pos_encoding (bool, необязательный, по умолчанию False) — Указывает, следует ли интерполировать предобученные позиционные кодировки.

Возвращает

BaseModelOutputWithPooling или tuple(torch.Tensor)

Объект BaseModelOutputWithPooling или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (VideoPrismConfig) и входных данных.

Метод forward модели VideoPrismVideoModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.

  • pooler_output (torch.Tensor формы (batch_size, hidden_size)) — Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения.

  • hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple(torch.Tensor), необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

VideoPrismTextModel

класс transformers.VideoPrismTextModel

< >

( config: VideoPrismTextConfig )

Параметры

  • config (VideoPrismTextConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Базовый текстовый энкодер VideoPrism, выводящий последние скрытые состояния без какого-либо специализированного слоя сверху. Эта модель используется в VideoPrismClipModel.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

Параметры

  • input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.

    Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

    Что такое входные идентификаторы?

  • attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
    • 1 для токенов, которые не замаскированы,
    • 0 для токенов, которые замаскированы.

    Что такое маски внимания?

  • inputs_embeds (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.
  • position_ids (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].

    Что такое идентификаторы позиций?

Возвращает

BaseModelOutputWithPooling или tuple(torch.Tensor)

Объект BaseModelOutputWithPooling или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (VideoPrismConfig) и входных данных.

Метод forward модели VideoPrismTextModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.

  • pooler_output (torch.Tensor формы (batch_size, hidden_size)) — Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения.

  • hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple(torch.Tensor), необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

VideoPrismClipModel

класс transformers.VideoPrismClipModel

< >

( config: VideoPrismConfig )

Параметры

  • config (VideoPrismConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Модель VideoPrism для контрастного обучения по видео и тексту. Эта модель состоит из VideoPrismVideoModel и VideoPrismTextModel и вычисляет оценки сходства между видеовходом и текстовым входом.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values_videos: Tensorinput_ids: Tensorattention_mask: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = Falsetemperature: float | None = Nonereturn_loss: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → VideoPrismClipOutput or tuple(torch.Tensor)

Параметры

  • pixel_values_videos (torch.Tensor формы (batch_size, num_frames, num_channels, frame_size, frame_size)) — Тензоры, соответствующие входному видео. Пиксельные значения для видео можно получить с помощью LlavaOnevisionVideoProcessor. Подробности см. в LlavaOnevisionVideoProcessor.call() (VideoPrismProcessor использует LlavaOnevisionVideoProcessor для обработки видео).
  • input_ids (torch.Tensor формы (batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре. По умолчанию токены отступов игнорируются. Индексы можно получить с помощью AutoTokenizer. Подробности — в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call(). Что такое входные идентификаторы?

    Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

    Что такое входные идентификаторы?

  • attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
    • 1 для токенов, которые не замаскированы,
    • 0 для токенов, которые замаскированы.

    Что такое маски внимания?

  • interpolate_pos_encoding (bool, необязательный, по умолчанию False) — Указывает, следует ли интерполировать предобученные позиционные кодировки.
  • temperature (float, необязательный) — Скалярная температура для масштабирования оценок сходства. Если не задано, масштабирование не применяется.
  • return_loss (bool, необязательный) — Указывает, следует ли возвращать контрастную потерю.

Возвращает

VideoPrismClipOutput или tuple(torch.Tensor)

VideoPrismClipOutput или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (VideoPrismConfig) и входных данных.

Метод forward модели VideoPrismClipModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • logits_per_video (torch.Tensor формы (video_batch_size, text_batch_size)) — значения масштабированного скалярного произведения между video_embeds и text_embeds. Это представляет собой оценки сходства между видео и текстом.
  • logits_per_text (torch.Tensor формы (text_batch_size, video_batch_size)) — значения масштабированного скалярного произведения между text_embeds и video_embeds. Это представляет собой оценки сходства между текстом и видео.
  • video_embeds (torch.Tensor формы (batch_size, output_dim)) — Векторные представления видео, полученные применением слоя проекции к агрегированному выводу VideoPrismVideoModel.
  • text_embeds (torch.Tensor формы (batch_size, output_dim)) — Векторные представления текста, полученные применением слоя проекции к агрегированному выводу VideoPrismTextModel.
  • video_model_output (~modeling_outputs.BaseModelOutputWithPooling, необязательный) — Выход VideoPrismVideoModel.
  • text_model_output (~modeling_outputs.BaseModelOutputWithPooling, необязательный) — Выход модели VideoPrismTextModel.
  • loss (torch.Tensor формы (1,), необязательный, возвращается, если return_loss равно True) — Контрастивная функция потерь для сходства видео и текста.

Пример:

VideoPrismForVideoClassification

класс transformers.VideoPrismForVideoClassification

< >

( config: VideoPrismVisionConfig )

Параметры

  • config (VideoPrismVisionConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

VideoPrism — модель-трансформер с головкой для классификации видео (линейный слой поверх пуллера внимания).

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values_videos: Tensorlabels: typing.Optional[torch.LongTensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → ImageClassifierOutput or tuple(torch.Tensor)

Параметры

  • pixel_values_videos (torch.Tensor формы (batch_size, num_frames, num_channels, frame_size, frame_size)) — Тензоры, соответствующие входному видео. Пиксельные значения для видео можно получить с помощью LlavaOnevisionVideoProcessor. Подробности см. в LlavaOnevisionVideoProcessor.call() (VideoPrismProcessor использует LlavaOnevisionVideoProcessor для обработки видео).
  • labels (torch.LongTensor формы (batch_size,), необязательный) — Метки для вычисления функции потерь классификации/регрессии изображений. Индексы должны находиться в диапазоне [0, ..., config.num_labels - 1]. Если config.num_labels == 1, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если config.num_labels > 1 — функция потерь классификации (кросс-энтропия).
  • interpolate_pos_encoding (bool, необязательный, по умолчанию False) — Указывает, следует ли интерполировать предобученные позиционные кодировки.

Возвращает

ImageClassifierOutput или tuple(torch.Tensor)

Объект ImageClassifierOutput или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (VideoPrismConfig) и входных данных.

Метод forward класса VideoPrismForVideoClassification переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • loss (torch.Tensor формы (1,), необязательный, возвращается, если задан labels) — Потери классификации (или регрессии, если config.num_labels==1).

  • logits (torch.Tensor формы (batch_size, config.num_labels)) — Оценки для классификации (или регрессии, если config.num_labels==1) до применения SoftMax.

  • hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) модели на выходе каждого этапа.

  • attentions (tuple(torch.Tensor), необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, patch_size, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

Update on GitHub

←VideoMAE ViViT→