timm documentation
iFormer
はじめに
チュートリアル
timmのモデルAPIモデルの適応とエクスポート事前学習モデルを特徴抽出器として使用ハイパーパラメータ (HParams)公式トレーニングスクリプトの使用🤗 Hugging Face Hub からモデルを共有して読み込む
モデルページ
モデルファミリー結果
畳み込みネットワーク
Vision Transformers
ハイブリッドな畳み込み / 注意機構ネットワーク
効率的なモバイルネットワーク
CPUBoneEdgeNeXtEfficientFormerEfficientFormer-V2EfficientNetEfficientViMEfficientViT (MIT)EfficientViT (MSRA)FasterNetFastViTGhostNetHardCoRe-NASiFormerLowFormerMobileNet-V3MobileViTPP-LCNetV2RepGhostRepViTReXNetSHViTStarNetSwiftFormer
MLPおよびその他のトークンミキサー
マルチモーダルモデルのビジョンエンコーダー
リファレンス
iFormer
カテゴリ: Efficient/Mobile · コード: timm/models/iformer.py · アーキテクチャ: 9 · 事前学習済み重み: 8 (ImageNet-1kの結果付き: 0)
iFormerは、モバイルアプリケーション向けに、後段のステージで高速な畳み込みネットワークと単一ヘッドモジュレーションアテンション(SHMA)を統合しています。
論文
使用方法
事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。
>>> import timm
>>> model = timm.create_model('iformer_h.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)モデルAPIのサポート
✓ 対応、✓ (square) 正方形サイズのみ対応、✗ 非対応、– 不要(モデルはすでに任意の入力サイズを受け入れる)。各機能をランダムに初期化されたモデル(IFormer、iformer_t、224)で実行して確認しています。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細はModel APIページを参照してください。
アーキテクチャ
| アーキテクチャ | パラメータ数 (M) | GMACs | 入力サイズ | 事前学習済み重み |
|---|---|---|---|---|
iformer_h | 99.60 | - | 224 | 1 |
iformer_l | 14.78 | - | 224 | 1 |
iformer_l2 | 24.52 | - | 224 | 0 |
iformer_l2_distilled | 25.03 | - | 224 | 1 |
iformer_l_distilled | 15.17 | - | 224 | 1 |
iformer_m | 8.91 | - | 224 | 1 |
iformer_m_distilled | 9.29 | - | 224 | 1 |
iformer_s | 6.56 | - | 224 | 1 |
iformer_t | 2.89 | - | 224 | 1 |
GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。
事前学習済み重み
Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み(例: プリトレーニング用または画像-テキスト用重み)を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。
| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---|---|---|---|---|---|
iformer_h.in1k | 224 | - | - | 1000 | mit | timm |
iformer_l.in1k | 224 | - | - | 1000 | mit | timm |
iformer_l2_distilled.in1k | 224 | - | - | 1000 | mit | timm |
iformer_l_distilled.in1k | 224 | - | - | 1000 | mit | timm |
iformer_m.in1k | 224 | - | - | 1000 | mit | timm |
iformer_m_distilled.in1k | 224 | - | - | 1000 | mit | timm |
iformer_s.in1k | 224 | - | - | 1000 | mit | timm |
iformer_t.in1k | 224 | - | - | 1000 | mit | timm |
引用
@inproceedings{zheng2025iformer,
title={iformer: Integrating convnet and transformer for mobile application},
author={Zheng, Chuanyang},
booktitle={International Conference on Learning Representations},
volume={2025},
pages={22947--22961},
year={2025}
}