ConvNeXt

カテゴリ: CNN · コード: timm/models/convnext.py · アーキテクチャ: 31 · 事前学習済み重み: 101 (うち ImageNet-1k 結果付き 61)

ConvNeXtは、大きなdepthwiseカーネル、インバーテッドボトルネック、LayerNormといったビジョントランスフォーマーの設計思想を採用した純粋な畳み込みネットワークです。ConvNeXt-V2はGlobal Response Normalization (GRN)を追加し、完全畳み込み型マスクオートエンコーダー（FCMAE）として事前学習されています。

論文

• 2020年代のためのConvNet
• ConvNeXt V2: マスクオートエンコーダーを用いたConvNetの共同設計とスケーリング
• 対照的言語-画像学習における再現可能なスケーリング則
• DINOv3
• 効率的な汎用パーセプションエンコーダー

使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。

>>> import timm
>>> model = timm.create_model('convnext_tiny.in12k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

モデルAPIのサポート

✓ 対応、✓ (square) 正方形サイズのみ動作、✗ 非対応、– 不要（モデルはすでに任意の入力サイズを受け入れる）。ランダム初期化されたモデル（ConvNeXt の convnext_zepto_rms、224）で各機能を実行して確認しています。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細は Model API ページを参照してください。

アーキテクチャ

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。

事前学習済み重み

Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み（例: プリトレーニング用または画像-テキスト用重み）を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。

重みはソースごとにグループ化されます。ソースは、事前学習設定で指定されている論文または出典、それ以外の場合はtimm以外の Hub 組織、さらにそれ以外の場合は事前学習タグの最初の部分（architecture.tag）です。重みが 1 つしかないソースは、other にリストされます。

ConvNeXt V2

事前学習済み設定は、ConvNeXt V2: マスク付きオートエンコーダーを用いたConvNetの共同設計とスケーリングを参照しています。

クリップタグ

fb タグ

d1 タグ

dinov3 タグ

eupe タグ

d1h タグ

ra4 タグ

その他

引用

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}

@article{Woo2023ConvNeXtV2,
  title={ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders},
  author={Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon and Saining Xie},
  year={2023},
  journal={arXiv preprint arXiv:2301.00808},
}