MLP-Mixer, ResMLP и gMLP

Категория: MLP · Код: timm/models/mlp_mixer.py · Архитектуры: 15 · Предобученные веса: 19 (14 с результатами на ImageNet-1k)

Архитектуры All-MLP, чередующие смешивание токенов по патчам с смешиванием каналов: MLP-Mixer, ResMLP и gMLP (gating с пространственной проекцией). В docstring модуля указано, что реализация gMLP не проверена.

Статьи

• MLP-Mixer: архитектура на основе MLP для задач компьютерного зрения
• ResMLP: Сетевые структуры с прямой передачей для классификации изображений с обучением, эффективным по данным
• Обращайте внимание на MLP
• Предобучение на ImageNet-21K для всех
• Возникающие свойства в самообучаемых визуальных трансформерах

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('gmixer_24_224.ra3_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (MlpMixer с gmlp_ti16_224 при размере 224); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

Веса группируются по источнику: статья или происхождение, указанные в конфигурации предобученной модели, иначе организация на Hugging Face, отличная от timm, иначе первая часть тега предобученной модели (architecture.tag). Источники с одним весом перечислены в разделе other.

fb tags

goog tags

miil-теги

теги ra3

Цитирование

@article{tolstikhin2021,
  title={MLP-Mixer: An all-MLP Architecture for Vision},
  author={Tolstikhin, Ilya and Houlsby, Neil and Kolesnikov, Alexander and Beyer, Lucas and Zhai, Xiaohua and Unterthiner,
        Thomas and Yung, Jessica and Keysers, Daniel and Uszkoreit, Jakob and Lucic, Mario and Dosovitskiy, Alexey},
  journal={arXiv preprint arXiv:2105.01601},
  year={2021}
}

@misc{touvron2021resmlp,
      title={ResMLP: Feedforward networks for image classification with data-efficient training},
      author={Hugo Touvron and Piotr Bojanowski and Mathilde Caron and Matthieu Cord and Alaaeldin El-Nouby and
        Edouard Grave and Armand Joulin and Gabriel Synnaeve and Jakob Verbeek and Hervé Jégou},
      year={2021},
      eprint={2105.03404},
}

@misc{liu2021pay,
      title={Pay Attention to MLPs},
      author={Hanxiao Liu and Zihang Dai and David R. So and Quoc V. Le},
      year={2021},
      eprint={2105.08050},
}