timm documentation

VOLO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

VOLO

Categoría: ViT · Código: timm/models/volo.py · Arquitecturas: 11 · Pesos preentrenados: 11 (11 con resultados en ImageNet-1k)

Vision Outlooker (VOLO) añade atención de perspectiva, que codifica características de nivel fino a partir de vecindarios locales, antes de las etapas de transformer que operan sobre tokens más gruesos.

Papers

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('volo_d1_224.sail_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

CaracterísticaVOLO
mapas de características de features_only=True✓ (pasos 16, 16, 16)
forward_intermediates()✓
prune_intermediate_layers()✓
Cualquier tamaño de entrada, no se necesitan cambios✗
set_input_size()✗
dynamic_img_size=True✗
set_grad_checkpointing()✓
Decaimiento del LR por capa (group_matcher())✓
reset_classifier()✓

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (VOLO con volo_d1_224 en 224); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

ArquitecturaParámetros (M)GMACsTamaño de entradaPesos preentrenados
volo_d1_22426.636.942241
volo_d1_38426.7822.753841
volo_d2_22458.6814.342241
volo_d2_38458.8746.173841
volo_d3_22486.3320.782241
volo_d3_44886.6396.334481
volo_d4_224192.9644.342241
volo_d4_448193.41197.134481
volo_d5_224295.4672.402241
volo_d5_448295.91315.064481
volo_d5_512296.09425.095121

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

PesoTamaño de entradaTop-1 (%)Tamaño de evaluaciónClasesLicenciaHub
volo_d1_224.sail_in1k22484.1482241000apache-2.0timm
volo_d1_384.sail_in1k38485.2623841000apache-2.0timm
volo_d2_224.sail_in1k22485.2042241000apache-2.0timm
volo_d2_384.sail_in1k38486.0543841000apache-2.0timm
volo_d3_224.sail_in1k22485.4402241000apache-2.0timm
volo_d3_448.sail_in1k44886.5144481000apache-2.0timm
volo_d4_224.sail_in1k22485.8682241000apache-2.0timm
volo_d4_448.sail_in1k44886.7884481000apache-2.0timm
volo_d5_224.sail_in1k22486.0762241000apache-2.0timm
volo_d5_448.sail_in1k44886.9744481000apache-2.0timm
volo_d5_512.sail_in1k51287.0685121000apache-2.0timm
Update on GitHub