Qwen3 ViT

类别： 编码器 · 代码： timm/models/qwen3_vit.py · 架构： 9 · 预训练权重： 39（0 个具有 ImageNet-1k 结果）

Qwen3-VL / Qwen3.5 / Qwen3.8 多模态模型的视觉编码器，是一种 pre-norm ViT，结合了学习得到的绝对位置网格与轴向 2D RoPE。分类器变体添加了池化和线性头，_enc 变体则保留了原生投影器，用于将 token 映射到语言模型的宽度。

论文

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调，以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('qwen3_vit_88m.qwen3_5_0_8b', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能	`Qwen3VitClassifier`	`Qwen3VitEncoder`
`features_only=True` 特征图	✓（strides 16, 16, 16）	✓（strides 16, 16, 16）
`forward_intermediates()`	✓	✓
`prune_intermediate_layers()`	✓	✓
任意输入尺寸，无需更改	✓	✓
`set_input_size()`	–	–
`dynamic_img_size=True`	–	–
`set_grad_checkpointing()`	✓	✓
逐层学习率衰减（`group_matcher()`）	✓	✓
`reset_classifier()`	✓	✗

✓ 支持，✓ (square) 仅支持方形尺寸，✗ 不支持，– 无需支持（模型本身已接受任意输入尺寸）。通过在每个功能上运行随机初始化的模型（Qwen3VitClassifier 使用 qwen3_vit_88m，尺寸为 256；Qwen3VitEncoder 使用 qwen3_vit_88m_enc，尺寸为 256）进行验证，同一类的其他架构预计表现相同。详情请参阅 Model API 页面。

架构

架构	类	参数（M）	GMAC	输入大小	预训练权重
`qwen3_vit_88m`	`Qwen3VitClassifier`	87.41	-	768	1
`qwen3_vit_88m_enc`	`Qwen3VitEncoder`	100.00	-	768	1
`qwen3_vit_88m_merge`	`Qwen3VitClassifier`	100.00	-	768	1
`qwen3_vit_306m`	`Qwen3VitClassifier`	305.46	-	768	4
`qwen3_vit_306m_enc`	`Qwen3VitEncoder`	330.63	-	768	4
`qwen3_vit_306m_merge`	`Qwen3VitClassifier`	330.63	-	768	4
`qwen3_vit_416m`	`Qwen3VitClassifier`	415.01	-	768	8
`qwen3_vit_416m_enc`	`Qwen3VitEncoder`	459.85	-	768	8
`qwen3_vit_416m_merge`	`Qwen3VitClassifier`	459.85	-	768	8

GMACs 和参数量对应于每种架构的默认输入大小和分类器，数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率，- 表示该权重没有 ImageNet-1k 结果（例如预训练权重或图文权重）。Classes 是预训练分类器的大小，对于没有分类器的权重则为 none。

权重按来源分组：预训练配置中给出的论文或来源，否则为 timm 以外的 Hub 组织，否则为预训练标签的第一部分（architecture.tag）。仅包含单个权重的来源列在 other 下。

Qwen/Qwen-Drive-1.0-4B

来源：huggingface.co/Qwen/Qwen-Drive-1.0-4B

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_306m.qwen_drive_1_0_4b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_enc.qwen_drive_1_0_4b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_merge.qwen_drive_1_0_4b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3-VL-235B-A22B-Instruct

来源：huggingface.co/Qwen/Qwen3-VL-235B-A22B-Instruct

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_vl_235b_a22b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_enc.qwen3_vl_235b_a22b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_merge.qwen3_vl_235b_a22b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3-VL-30B-A3B-Instruct

来源：huggingface.co/Qwen/Qwen3-VL-30B-A3B-Instruct

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_vl_30b_a3b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_enc.qwen3_vl_30b_a3b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_merge.qwen3_vl_30b_a3b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3-VL-32B-Instruct

来源：huggingface.co/Qwen/Qwen3-VL-32B-Instruct

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_vl_32b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_enc.qwen3_vl_32b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_merge.qwen3_vl_32b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3-VL-4B-Instruct

来源：huggingface.co/Qwen/Qwen3-VL-4B-Instruct

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_306m.qwen3_vl_4b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_enc.qwen3_vl_4b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_merge.qwen3_vl_4b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3-VL-8B-Instruct

来源：huggingface.co/Qwen/Qwen3-VL-8B-Instruct

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_vl_8b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_enc.qwen3_vl_8b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_merge.qwen3_vl_8b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3.5-0.8B

来源：huggingface.co/Qwen/Qwen3.5-0.8B

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_88m.qwen3_5_0_8b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_88m_enc.qwen3_5_0_8b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_88m_merge.qwen3_5_0_8b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3.5-27B

来源：huggingface.co/Qwen/Qwen3.5-27B

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_5_27b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_enc.qwen3_5_27b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_merge.qwen3_5_27b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3.5-2B

来源：huggingface.co/Qwen/Qwen3.5-2B

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_306m.qwen3_5_2b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_enc.qwen3_5_2b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_merge.qwen3_5_2b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3.5-4B

来源：huggingface.co/Qwen/Qwen3.5-4B

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_306m.qwen3_5_4b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_enc.qwen3_5_4b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_306m_merge.qwen3_5_4b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3.5-9B

来源：huggingface.co/Qwen/Qwen3.5-9B

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_5_9b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_enc.qwen3_5_9b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_merge.qwen3_5_9b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3.8-27B

来源：huggingface.co/Qwen/Qwen3.8-27B

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_8_27b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_enc.qwen3_8_27b`	768	-	-	none	apache-2.0	timm
`qwen3_vit_416m_merge.qwen3_8_27b`	768	-	-	none	apache-2.0	timm

Qwen/Qwen3.8-Flash-Next

来源：huggingface.co/Qwen/Qwen3.8-Flash-Next

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`qwen3_vit_416m.qwen3_8_flash_next`	768	-	-	none	qwen-community-1.0	timm
`qwen3_vit_416m_enc.qwen3_8_flash_next`	768	-	-	none	qwen-community-1.0	timm
`qwen3_vit_416m_merge.qwen3_8_flash_next`	768	-	-	none	qwen-community-1.0	timm

Update on GitHub