FocalNet

类别： 混合 · 代码： timm/models/focalnet.py · 架构： 12 · 预训练权重： 12（其中 6 个包含 ImageNet-1k 结果）

Focal Modulation Networks (FocalNet) 用焦点调制（focal modulation）取代自注意力机制，通过深度可分离卷积在多个粒度上聚合上下文，并将其门控到每个查询 token 中。

论文

焦点调制网络

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调，以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('focalnet_tiny_srf.ms_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能	`FocalNet`
`features_only=True` 特征图	✓（步长 4、8、16、32）
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
任意输入尺寸，无需更改	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✓
逐层学习率衰减（`group_matcher()`）	✓
`reset_classifier()`	✓

✓ 支持，✓ (square) 仅支持方形尺寸，✗ 不支持，– 无需支持（模型本身已接受任意输入尺寸）。通过在每个功能上运行随机初始化的模型（FocalNet 使用 focalnet_tiny_srf，尺寸为 224）进行验证，预期同一类的其他架构表现相同。有关详细信息，请参阅 Model API 页面。

架构

架构	参数（M）	GMAC	输入大小	预训练权重
`focalnet_base_lrf`	88.75	15.43	224	1
`focalnet_base_srf`	88.15	15.28	224	1
`focalnet_huge_fl3`	745.28	118.26	224	1
`focalnet_huge_fl4`	686.46	118.90	224	1
`focalnet_large_fl3`	239.13	105.06	384	1
`focalnet_large_fl4`	239.32	105.20	384	1
`focalnet_small_lrf`	50.34	8.74	224	1
`focalnet_small_srf`	49.89	8.62	224	1
`focalnet_tiny_lrf`	28.65	4.49	224	1
`focalnet_tiny_srf`	28.43	4.42	224	1
`focalnet_xlarge_fl3`	408.79	185.61	384	1
`focalnet_xlarge_fl4`	409.03	185.79	384	1

GMACs 和参数量对应于每种架构的默认输入大小和分类器，数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率，- 表示该权重没有 ImageNet-1k 结果（例如预训练权重或图文权重）。Classes 是预训练分类器的大小，对于没有分类器的权重则为 none。

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`focalnet_base_lrf.ms_in1k`	224	83.828	224	1000	mit	timm
`focalnet_base_srf.ms_in1k`	224	83.808	224	1000	mit	timm
`focalnet_huge_fl3.ms_in22k`	224	-	-	21842	mit	timm
`focalnet_huge_fl4.ms_in22k`	224	-	-	none	mit	timm
`focalnet_large_fl3.ms_in22k`	384	-	-	21842	mit	timm
`focalnet_large_fl4.ms_in22k`	384	-	-	21842	mit	timm
`focalnet_small_lrf.ms_in1k`	224	83.508	224	1000	mit	timm
`focalnet_small_srf.ms_in1k`	224	83.428	224	1000	mit	timm
`focalnet_tiny_lrf.ms_in1k`	224	82.174	224	1000	mit	timm
`focalnet_tiny_srf.ms_in1k`	224	82.146	224	1000	mit	timm
`focalnet_xlarge_fl3.ms_in22k`	384	-	-	21842	mit	timm
`focalnet_xlarge_fl4.ms_in22k`	384	-	-	21842	mit	timm

Update on GitHub