Transformers documentation

VideoPrism

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

このモデルは2024年2月20日にHF papersで公開され、2026年6月19日にHugging Face Transformersに貢献されました。

FlashAttention

VideoPrism

VideoPrismモデルは、Google DeepMindによる論文VideoPrism: A Foundational Visual Encoder for Video Understanding(ブログ記事)で提案されました。

VideoPrismは、凍結された単一のモデルで多様な動画理解タスクに対応する汎用動画エンコーダーです。このモデルは、3600万組の高品質な動画キャプションペアと、ノイジーな並列テキスト(例:ASR文字起こし)を伴う5億8200万本の動画クリップを含む大規模な異種コーパスで事前学習されています。事前学習のアプローチは、意味的な動画埋め込みのグローバル・ローカル蒸留とトークンシャッフル方式によってマスクオートエンコーディングを改善し、動画に関連するテキストを活用しながらも、モデルが主に動画モダリティに集中できるようにします。VideoPrismは、ウェブ動画の質問応答から科学のためのコンピュータビジョンまで、4つの広範なタスクグループにまたがる33の動画理解ベンチマークのうち31で、最先端の性能を達成しています。

drawing

すべてのオリジナルのVideoPrismチェックポイントは、VideoPrismコレクション内で確認できます。

注:

  • VideoPrism は、因子化された時空間エンコーダーアーキテクチャを使用し、空間トランスフォーマーと時間トランスフォーマーをそれぞれ独立して用いて動画を処理します。
  • このモデルは、VideoPrismClipModel によって動画とテキストの対照的学習をサポートしています。このモデルは、動画エンコーダーとテキストエンコーダーを組み合わせます。VideoPrismConfig をこのモデルと併せて使用する必要があります。
  • 動画分類タスクには、動画エンコーダーの上に分類ヘッドを追加するVideoPrismForVideoClassificationを使用します。このモデルにはVideoPrismVisionConfigを使用する必要があります。
  • ビジョンエンコーダーは、VideoPrismVisionModel を単体で使用することで、動画特徴量の抽出に利用できます。このモデルには VideoPrismVisionConfig を使用する必要があります。
  • ベースモデルのデフォルト入力解像度は288x288ピクセルで、1クリップあたりのフレーム数は16フレーム、大型モデルでは8フレームです。カスタム解像度と1クリップあたりのフレーム数でモデルを使用するには、interpolate_pos_encoding=Trueを設定してください。

このモデルは MHRDYN7 によって提供され、vasqu および zucchini-nlp によってレビューされました。 元のコードは こちら で確認できます。

使用例

以下のスニペットは、AutoModel クラスを使用して VideoPrismVisionModel を特徴抽出用にロードする方法を示しています。

import torch
from transformers import AutoModel, AutoVideoProcessor

processor = AutoVideoProcessor.from_pretrained("google/videoprism-base-f16r288", revision="refs/pr/4")
model = AutoModel.from_pretrained(
    "google/videoprism-base-f16r288",
    revision="refs/pr/4",
    device_map="auto",
    # use "flash_attention_2" for faster inference on supported hardware
    # attn_implementation="flash_attention_2" 
)

video_url = "https://huggingface.co/datasets/nateraw/kinetics-mini/resolve/main/val/archery/-Qz25rXdMjE_000014_000024.mp4"

# when do_sample_frames=True, 16/8 frames will be sampled by default depending on the checkpoint size base/large.
processed_video_inputs = processor(videos=[video_url], return_metadata=True, do_sample_frames=True)
video_metadata = processed_video_inputs["video_metadata"]
video_inputs = processed_video_inputs["pixel_values_videos"].to(model.device)
outputs = model(video_inputs)

# VideoPrism encoder outputs
encoder_outputs = outputs.last_hidden_state

VideoPrismVisionConfig

クラス transformers.VideoPrismVisionConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_size: int | list[int] | tuple[int, int] = 288num_frames: int = 16tubelet_size: list[int] | tuple[int, ...] = (1, 18, 18)num_channels: int = 3hidden_size: int = 768num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu_python'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06qkv_bias: bool = Truenum_spatial_layers: int = 12num_temporal_layers: int = 4attn_logit_softcapping: float = 50.0num_auxiliary_layers: int = 2apply_l2norm: bool = True )

パラメータ

  • image_size (Union[int, list[int], tuple[int, int]]、任意、デフォルトは 288) — 各画像のサイズ(解像度)。
  • num_frames (int、任意、デフォルトは 16)— 入力動画のフレーム数です。
  • tubelet_size (List[int]、任意、デフォルトは [1, 18, 18]) — チューレットパッチのサイズです。
  • num_channels (int、任意、デフォルトは3) — 入力チャネル数。
  • hidden_size (int、任意、デフォルトは 768) — 隠れ表現の次元数。
  • num_attention_heads (int、任意、デフォルトは12) — Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。
  • intermediate_size (int、任意、デフォルトは3072) — MLP 表現の次元数。
  • hidden_act (str、任意、デフォルトは gelu_python) — デコーダーで使用する非線形活性化関数(関数または文字列)です。例えば、"gelu"、"relu"、"silu" などです。
  • hidden_dropout_prob (Union[float, int]、任意、デフォルト値は0.0) — embeddings、encoder、pooler 内のすべての全結合層における dropout 確率です。
  • attention_probs_dropout_prob (Union[float, int]、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
  • initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
  • layer_norm_eps (float、任意、デフォルトは 1e-06) — レイヤーノーマル層で使用する epsilon です。
  • qkv_bias (bool、省略可、デフォルトは True) — クエリ、キー、バリューにバイアスを追加するかどうか。
  • num_spatial_layers (int、任意、デフォルト値は 12)— 空間トランスフォーマーブロックの数です。
  • num_temporal_layers (int、省略可能、デフォルト値は 4) — 時間方向の Transformer ブロックの数。
  • attn_logit_softcapping (float、任意、デフォルト値は 50.0) — アテンション logits の softcapping 定数です。
  • num_auxiliary_layers (int、任意、デフォルト値は 2)— 補助レイヤーの数です。これは、VideoPrismClipModel の一部である VideoPrismVideoModel で使用されます。
  • apply_l2norm (bool、省略可、デフォルトはTrue) — 出力に L2 正規化を適用するかどうか。VideoPrismClipModel の一部である VideoPrismVideoModel で使用されます。

これは VideoPrismClipModel の設定を保存するための設定クラスです。指定された引数に基づいて Videoprism モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、google/videoprism-base-f16r288 と同様の設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

VideoPrismTextConfig

class transformers.VideoPrismTextConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 32000hidden_size: int = 768intermediate_size: int = 3072num_hidden_layers: int = 12num_attention_heads: int = 12max_position_embeddings: int = 64hidden_act: str = 'relu'layer_norm_eps: float = 1e-06pad_token_id: int | None = 0bos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Noneattention_probs_dropout_prob: float | int = 0.0apply_l2norm: bool = Trueqkv_bias: bool = Truehidden_dropout_prob: float = 0.0initializer_range: float = 0.02attn_logit_softcapping: float = 50.0 )

パラメータ

  • vocab_size (int、任意、デフォルトは 32000) — モデルの語彙サイズです。input_ids で表現できるトークンの種類数を定義します。
  • hidden_size (int、任意、デフォルトは 768) — 隠れ表現の次元数。
  • intermediate_size (int、任意、デフォルトは3072) — MLP 表現の次元数。
  • num_hidden_layers (int、任意、デフォルトは 12) — Transformer デコーダーの隠れ層の数。
  • num_attention_heads (int、任意、デフォルトは12) — Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。
  • max_position_embeddings (int、任意、デフォルトは 64) — このモデルが使用される可能性のある最大シーケンス長です。
  • hidden_act (str、任意、デフォルトは relu) — デコーダーで使用する非線形活性化関数(関数または文字列)。例えば、"gelu"、 "relu"、"silu" など。
  • layer_norm_eps (float、任意、デフォルトは 1e-06) — レイヤーノーマル層で使用する epsilon です。
  • pad_token_id (int、任意、デフォルトは 0) — 語彙内でパディングに使用されるトークン ID。
  • bos_token_id (int, 省略可) — 語彙におけるストリーム開始に使用されるトークン ID。
  • eos_token_id (Union[int, list[int]], 省略可) — 語彙内でストリーム終了に使用されるトークン ID。
  • attention_probs_dropout_prob (Union[float, int]、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
  • apply_l2norm (bool、任意、デフォルトはTrue) — VideoPrismTextEncoder の出力に L2 正規化を適用するかどうかを指定します。
  • qkv_bias (bool、省略可、デフォルトは True) — クエリ、キー、バリューにバイアスを追加するかどうか。
  • hidden_dropout_prob (float、任意、デフォルト値は 0.0) — embeddings、encoder、pooler 内のすべての全結合層における dropout の確率。
  • initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
  • attn_logit_softcapping (float、任意、デフォルト値は 50.0) — アテンション logits の softcapping 定数です。

これはVideoPrismClipModelの設定を保存するための設定クラスです。指定された引数に基づいてVideoprismモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、google/videoprism-lvt-base-f16r288と類似した設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

VideoPrismConfig

クラス transformers.VideoPrismConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

パラメータ

  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig]、省略可) — テキストバックボーンの設定オブジェクトまたは辞書。
  • vision_config (Union[dict, ~configuration_utils.PreTrainedConfig]、任意) — ビジョンバックボーンの config オブジェクトまたは辞書です。

これはVideoPrismClipModelの設定を保存するための設定クラスです。指定された引数に基づいてVideoprismモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、google/videoprism-lvt-base-f16r288と類似した設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

例:

>>> from transformers import VideoPrismClipModel, VideoPrismConfig

>>> # Initializing a VideoPrismConfig with default values
>>> configuration = VideoPrismConfig()

>>> # Initializing a VideoPrismClipModel with the configuration
>>> model = VideoPrismClipModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

VideoPrismTokenizer

class transformers.VideoPrismTokenizer

< >

( vocab: str | list[tuple[str, float]] | None = Noneeos_token = '</s>'unk_token = '<unk>'pad_token = '<pad>'_spm_precompiled_charsmap = Noneextra_ids = 100additional_special_tokens = None**kwargs )

VideoPrismのトークナイザーを構築します。これは実質的に、シーケンスの末尾にEOSトークンを付加するpostprocessorを備えないT5のトークナイザーです。

このトークナイザーは、T5Tokenizerを継承しており、主要なメソッドのほとんどが含まれています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。

get_sentinel_token_ids

< >

( )

センチネルトークンのトークンIDを取得します。

get_sentinel_tokens

< >

( )

additional_special_tokens から、sentinel トークン(extra_id トークン)のリストを取得します。

VideoPrismProcessor

class transformers.VideoPrismProcessor

< >

( video_processor = Nonetokenizer = None )

パラメータ

  • video_processor (LlavaOnevisionVideoProcessor) — 動画プロセッサは必須の入力です。
  • tokenizer (VideoPrismTokenizer) — トークナイザーは必須の入力です。

を構築します。このクラスは、ビデオプロセッサーとトークナイザーを単一のプロセッサーとしてラップします。

VideoPrismProcessor は、LlavaOnevisionVideoProcessor と VideoPrismTokenizer のすべての機能を提供します。詳細については、~LlavaOnevisionVideoProcessor および ~VideoPrismTokenizer を参照してください。

VideoPrismVisionModel

class transformers.VideoPrismVisionModel

< >

( config: VideoPrismVisionConfig )

パラメータ

  • config (VideoPrismVisionConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

VideoPrismのビジョンエンコーダー本体で、特定のヘッドを付加せずに生の隠れ状態を出力します。このモデルは、VideoPrismVideoModelで使用されるバックボーンエンコーダーです。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( pixel_values_videos: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithSpatialAndTemporalStates or tuple(torch.Tensor)

パラメータ

  • pixel_values_videos (torch.Tensor、形状 (batch_size, num_frames, num_channels, frame_size, frame_size)、任意) — 入力動画に対応するテンソルです。動画のピクセル値は、LlavaOnevisionVideoProcessor を使用して取得できます。詳細については、LlavaOnevisionVideoProcessor.call() を参照してください(VideoPrismProcessor は、動画の処理に LlavaOnevisionVideoProcessor を使用しています)。
  • interpolate_pos_encoding (bool、省略可、デフォルトはFalse) — 事前学習済みの位置エンコーディングを補間するかどうかを指定します。

戻り値

BaseModelOutputWithSpatialAndTemporalStates または tuple(torch.Tensor)

BaseModelOutputWithSpatialAndTemporalStates、またはtorch.Tensorのタプル(return_dict=Falseが渡された場合、またはconfig.return_dict=Falseの場合)。設定(VideoPrismConfig)と入力に応じて、さまざまな要素で構成されます。

VideoPrismVisionModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • last_temporal_hidden_state (torch.Tensor, オプション) — 時間エンコーダーの最後の隠れ状態です。通常、形状は(batch_size * num_patches, num_frames, hidden_size)です。

  • last_spatial_hidden_state (torch.Tensor、任意) — 空間エンコーダーの最後の隠れ状態です。通常、形状は(batch_size * num_frames, num_patches, hidden_size)です。

例:

VideoPrismVideoModel

クラス transformers.VideoPrismVideoModel

< >

( config: VideoPrismVisionConfig )

パラメータ

  • config (VideoPrismVisionConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

VideoPrismのビジョンモデルです。ビジョンエンコーダーのバックボーンに補助エンコーダー層を備え、その上にアテンションプーリングヘッドを備えています。このモデルはVideoPrismClipModelで使用されます。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( pixel_values_videos: Tensorinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

パラメータ

  • pixel_values_videos (torch.Tensor、形状 (batch_size, num_frames, num_channels, frame_size, frame_size)) — 入力動画に対応するテンソルです。動画のピクセル値は、LlavaOnevisionVideoProcessor を使用して取得できます。詳細については、LlavaOnevisionVideoProcessor.call() を参照してください(VideoPrismProcessor は、動画の処理に LlavaOnevisionVideoProcessor を使用しています)。
  • interpolate_pos_encoding (bool、省略可、デフォルトはFalse) — 事前学習済みの位置エンコーディングを補間するかどうかを指定します。

戻り値

BaseModelOutputWithPooling または tuple(torch.Tensor)

torch.Tensor のタプル(return_dict=False が渡された場合、または config.return_dict=False の場合)または BaseModelOutputWithPooling。設定(VideoPrismConfig)と入力に応じて、さまざまな要素で構成されます。

VideoPrismVideoModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

  • pooler_output (torch.Tensor、shape (batch_size, hidden_size)) — シーケンスの最初のトークン(分類トークン)の最終層の隠れ状態を、補助的な事前学習タスクに使用される層でさらに処理した後の出力。例えば、BERT系のモデルでは、線形層とtanh活性化関数を経て処理された分類トークンを返します。この線形層の重みは、事前学習中の次の文予測(分類)目的から学習されます。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

VideoPrismTextModel

クラス transformers.VideoPrismTextModel

< >

( config: VideoPrismTextConfig )

パラメータ

  • config (VideoPrismTextConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

VideoPrismのテキストエンコーダーの本体で、上部に特定のヘッドを持たず、最後の隠れ状態を出力します。このモデルはVideoPrismClipModelで使用されます。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

パラメータ

  • input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。

    インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

    入力IDとは何ですか?

  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
  • position_ids (torch.Tensor の形状 (batch_size, sequence_length), 、省略可) — 位置埋め込みにおける各入力シーケンスのトークンの位置のインデックス。範囲 [0, config.n_positions - 1].

    ポジションIDとは?

戻り値

BaseModelOutputWithPooling または tuple(torch.Tensor)

torch.Tensor のタプル(return_dict=False が渡された場合、または config.return_dict=False の場合)または BaseModelOutputWithPooling。設定(VideoPrismConfig)と入力に応じて、さまざまな要素で構成されます。

VideoPrismTextModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

  • pooler_output (torch.Tensor、shape (batch_size, hidden_size)) — シーケンスの最初のトークン(分類トークン)の最終層の隠れ状態を、補助的な事前学習タスクに使用される層でさらに処理した後の出力。例えば、BERT系のモデルでは、線形層とtanh活性化関数を経て処理された分類トークンを返します。この線形層の重みは、事前学習中の次の文予測(分類)目的から学習されます。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

VideoPrismClipModel

class transformers.VideoPrismClipModel

< >

( config: VideoPrismConfig )

パラメータ

  • config (VideoPrismConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

VideoPrismは、動画とテキストの対照的学習用のモデルです。このモデルはVideoPrismVideoModelとVideoPrismTextModelで構成され、動画入力とテキスト入力の間の類似度スコアを計算します。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( pixel_values_videos: Tensorinput_ids: Tensorattention_mask: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = Falsetemperature: float | None = Nonereturn_loss: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → VideoPrismClipOutput or tuple(torch.Tensor)

パラメータ

  • pixel_values_videos (torch.Tensor、形状 (batch_size, num_frames, num_channels, frame_size, frame_size)) — 入力動画に対応するテンソルです。動画のピクセル値は、LlavaOnevisionVideoProcessor を使用して取得できます。詳細については、LlavaOnevisionVideoProcessor.call() を参照してください(VideoPrismProcessor は、動画の処理に LlavaOnevisionVideoProcessor を使用しています)。
  • input_ids (torch.Tensor の形状 (batch_size, sequence_length)) — 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。

    インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

    入力IDとは何ですか?

  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • interpolate_pos_encoding (bool、省略可、デフォルトはFalse) — 事前学習済みの位置エンコーディングを補間するかどうかを指定します。
  • temperature (float, 任意) — 類似度スコアをスケーリングするための温度スカラーです。指定しない場合、スケーリングは行われません。
  • return_loss (bool、任意) — 対比損失を返すかどうかを指定します。

戻り値

VideoPrismClipOutput または tuple(torch.Tensor)

VideoPrismClipOutput、またはtorch.Tensorのタプル(return_dict=Falseが渡された場合、またはconfig.return_dict=Falseの場合)。設定(VideoPrismConfig)と入力に応じて、さまざまな要素で構成されます。

VideoPrismClipModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • logits_per_video (torch.Tensor、形状 (video_batch_size, text_batch_size)) — video_embeds と text_embeds 間のスケーリング済みドット積スコアです。これは動画とテキストの類似度スコアを表します。
  • logits_per_text (torch.Tensor、形状 (text_batch_size, video_batch_size)) — text_embeds と video_embeds 間のスケーリングされたドット積スコアです。これはテキストと動画の類似度スコアを表します。
  • video_embeds (torch.Tensor、形状 (batch_size, output_dim)) — VideoPrismVideoModelのプーリング済み出力に投影層を適用して得られた動画埋め込みです。
  • text_embeds (torch.Tensor、形状 (batch_size, output_dim)) — VideoPrismTextModelのプーリング済み出力に投影層を適用して得られたテキスト埋め込みです。
  • video_model_output (~modeling_outputs.BaseModelOutputWithPooling、任意) — VideoPrismVideoModel の出力です。
  • text_model_output (~modeling_outputs.BaseModelOutputWithPooling、任意) — VideoPrismTextModel の出力です。
  • loss (torch.Tensor、shape (1,)、optional、return_loss が True の場合のみ返されます) — 動画とテキストの類似度に対する対比損失。

例:

VideoPrismForVideoClassification

クラス transformers.VideoPrismForVideoClassification

< >

( config: VideoPrismVisionConfig )

パラメータ

  • config (VideoPrismVisionConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

VideoPrism Model は、アテンションプーラーの上に線形層を配置した動画分類ヘッドを備えた transformer です。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( pixel_values_videos: Tensorlabels: typing.Optional[torch.LongTensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → ImageClassifierOutput or tuple(torch.Tensor)

パラメータ

  • pixel_values_videos (torch.Tensor、形状 (batch_size, num_frames, num_channels, frame_size, frame_size)) — 入力動画に対応するテンソルです。動画のピクセル値は、LlavaOnevisionVideoProcessor を使用して取得できます。詳細については、LlavaOnevisionVideoProcessor.call() を参照してください(VideoPrismProcessor は、動画の処理に LlavaOnevisionVideoProcessor を使用しています)。
  • labels (torch.LongTensor、shape (batch_size,)、任意) — 画像分類/回帰の損失を計算するためのラベル。インデックスは [0, ..., config.num_labels - 1] の範囲である必要があります。config.num_labels == 1 の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1 の場合は分類損失(クロスエントロピー)が計算されます。
  • interpolate_pos_encoding (bool、省略可、デフォルトはFalse) — 事前学習済みの位置エンコーディングを補間するかどうかを指定します。

戻り値

ImageClassifierOutput または tuple(torch.Tensor)

torch.Tensor のタプル(return_dict=False が渡された場合、または config.return_dict=False の場合)または ImageClassifierOutput。設定(VideoPrismConfig)と入力に応じて、さまざまな要素で構成されます。

VideoPrismForVideoClassificationのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、shape (1,)、optional、labels が指定された場合に返されます) — 分類損失(config.num_labels==1 の場合は回帰損失)。

  • logits (torch.Tensor、形状 (batch_size, config.num_labels)) — SoftMax 適用前の分類(または config.num_labels==1 の場合は回帰)スコア。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(モデルに埋め込み層がある場合はその出力用 1 つ、各ステージの出力用 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。各ステージの出力におけるモデルの隠れ状態(特徴マップとも呼ばれます)。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, patch_size, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

Update on GitHub