Qwen3 ViT

Категория: Энкодер · Код: timm/models/qwen3_vit.py · Архитектуры: 9 · Предобученные веса: 39 (0 с результатами ImageNet-1k)

Визуальный энкодер мультимодальных моделей Qwen3-VL / Qwen3.5 / Qwen3.8 представляет собой pre-norm ViT с обучаемой абсолютной позиционной сеткой, дополненной осевым 2D RoPE. Варианты с классификатором добавляют пулинг и линейный слой, а варианты _enc сохраняют нативный проектор, который отображает токены в ширину языковой модели.

Статьи

• Технический отчёт Qwen3-VL
• Qwen-Drive-1.0: первый шаг к созданию базовой модели «зрение-язык» для автономного вождения

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('qwen3_vit_88m.qwen3_5_0_8b', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (Qwen3VitClassifier с qwen3_vit_88m при размере 256, Qwen3VitEncoder с qwen3_vit_88m_enc при размере 256); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

Веса группируются по источнику: статья или происхождение, указанные в конфигурации предобученной модели, иначе организация на Hugging Face, отличная от timm, иначе первая часть тега предобученной модели (architecture.tag). Источники с одним весом перечислены в разделе other.

Qwen/Qwen-Drive-1.0-4B

Источник: huggingface.co/Qwen/Qwen-Drive-1.0-4B

Qwen/Qwen3-VL-235B-A22B-Instruct

Источник: huggingface.co/Qwen/Qwen3-VL-235B-A22B-Instruct

Qwen/Qwen3-VL-30B-A3B-Instruct

Источник: huggingface.co/Qwen/Qwen3-VL-30B-A3B-Instruct

Qwen/Qwen3-VL-32B-Instruct

Источник: huggingface.co/Qwen/Qwen3-VL-32B-Instruct

Qwen/Qwen3-VL-4B-Instruct

Источник: huggingface.co/Qwen/Qwen3-VL-4B-Instruct

Qwen/Qwen3-VL-8B-Instruct

Источник: huggingface.co/Qwen/Qwen3-VL-8B-Instruct

Qwen/Qwen3.5-0.8B

Источник: huggingface.co/Qwen/Qwen3.5-0.8B

Qwen/Qwen3.5-27B

Источник: huggingface.co/Qwen/Qwen3.5-27B

Qwen/Qwen3.5-2B

Источник: huggingface.co/Qwen/Qwen3.5-2B

Qwen/Qwen3.5-4B

Источник: huggingface.co/Qwen/Qwen3.5-4B

Qwen/Qwen3.5-9B

Источник: huggingface.co/Qwen/Qwen3.5-9B

Qwen/Qwen3.8-27B

Источник: huggingface.co/Qwen/Qwen3.8-27B

Qwen/Qwen3.8-Flash-Next

Источник: huggingface.co/Qwen/Qwen3.8-Flash-Next