MetaFormer (PoolFormer, ConvFormer, CAFormer)

Категория: Гибридная · Код: timm/models/metaformer.py · Архитектуры: 18 · Предобученные веса: 50 (42 с результатами ImageNet-1k)

Модели MetaFormer имеют общую структуру блока трансформера и различаются по типу миксера токенов: пулинг в PoolFormer / PoolFormerV2, сепарабельные свёртки в ConvFormer, а также свёртки на ранних этапах и внимание на поздних этапах в CAFormer.

Статьи

• MetaFormer — это то, что вам действительно нужно для задач компьютерного зрения
• Базовые модели MetaFormer для компьютерного зрения

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('caformer_s18.sail_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (MetaFormer с poolformerv2_s12 при 224), ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.