CrossViT

Categoría: ViT · Código: timm/models/crossvit.py · Arquitecturas: 11 · Pesos preentrenados: 11 (11 con resultados en ImageNet-1k)

CrossViT procesa parches de imagen pequeños y grandes en dos ramas Transformer y los fusiona mediante atención cruzada a través de los tokens de clase. Los nombres de los modelos en timm indican la resolución de entrada real (240 / 408 en lugar de la original 224 / 384).

Papers

• CrossViT: Vision Transformer multi-escala con atención cruzada para clasificación de imágenes

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('crossvit_small_240.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (CrossVit con crossvit_tiny_240 en 240), se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para obtener más detalles.

Arquitecturas

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

Cita

@inproceedings{
    chen2021crossvit,
    title={{CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification}},
    author={Chun-Fu (Richard) Chen and Quanfu Fan and Rameswar Panda},
    booktitle={International Conference on Computer Vision (ICCV)},
    year={2021}
}