timm documentation

双胞胎

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.0.31).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

双胞胎

类别: ViT · 代码: timm/models/twins.py · 架构: 6 · 预训练权重: 6(6 个具有 ImageNet-1k 结果)

Twins-PCPVT(带有条件位置编码的金字塔视觉 Transformer)和 Twins-SVT(空间可分离自注意力,局部分组注意力与全局子采样注意力交替进行)。

论文

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调,以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('twins_pcpvt_small.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能Twins
features_only=True 特征图✓(步长 4、8、16、32)
forward_intermediates()✓
prune_intermediate_layers()✓
任意输入尺寸,无需更改✓
set_input_size()–
dynamic_img_size=True–
set_grad_checkpointing()✗
逐层学习率衰减(group_matcher())✓
reset_classifier()✓

✓ 支持,✓ (square) 仅支持方形尺寸,✗ 不支持,– 无需支持(模型本身已接受任意输入尺寸)。通过在每个功能上运行随机初始化的模型(Twins 使用 twins_svt_small,尺寸为 224)进行验证,同一类的其他架构预计表现相同。详情请参阅 Model API 页面。

架构

架构参数(M)GMAC输入大小预训练权重
twins_pcpvt_base43.836.682241
twins_pcpvt_large60.999.842241
twins_pcpvt_small24.113.832241
twins_svt_base56.078.592241
twins_svt_large99.2715.152241
twins_svt_small24.062.942241

GMACs 和参数量对应于每种架构的默认输入大小和分类器,数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率,- 表示该权重没有 ImageNet-1k 结果(例如预训练权重或图文权重)。Classes 是预训练分类器的大小,对于没有分类器的权重则为 none。

权重输入大小Top-1(%)评估大小类许可证Hub
twins_pcpvt_base.in1k22482.7242241000apache-2.0timm
twins_pcpvt_large.in1k22483.1582241000apache-2.0timm
twins_pcpvt_small.in1k22481.1162241000apache-2.0timm
twins_svt_base.in1k22483.1222241000apache-2.0timm
twins_svt_large.in1k22483.7182241000apache-2.0timm
twins_svt_small.in1k22481.6942241000apache-2.0timm
Update on GitHub