NaFlex ViT

Categoría: ViT · Código: timm/models/naflexvit.py · Arquitecturas: 14 · Pesos preentrenados: 11 (3 con resultados en ImageNet-1k)

Un Vision Transformer con el incrustado de parches y la codificación de posición en un solo módulo, que admite entradas pre-parcheadas con relación de aspecto y resolución variables (NaFlex), tamaño de parche variable de FlexiViT y incrustamientos de posición factorizados de NaViT.

Papers

• Una imagen vale 16x16 palabras: Transformers para el reconocimiento de imágenes a gran escala
• FlexiViT: Un modelo para todos los tamaños de parche
• Patch n’ Pack: NaViT, un Vision Transformer para cualquier relación de aspecto y resolución
• SigLIP 2: codificadores de visión-lenguaje multilingües con una comprensión semántica, localización y características densas mejoradas

Referenciado por pesos preentrenados:

• arXiv:2412.07679
• arXiv:2601.17237

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('naflexvit_base_patch16_parfac_gap.e300_s576_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (NaFlexVit con naflexvit_base_patch16_parfac_gap en 384); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

Los pesos se agrupan por origen: el artículo o procedencia indicado en la configuración preentrenada, en su defecto una organización del Hub distinta de timm, y si no, la primera parte de la etiqueta preentrenada (architecture.tag). Los orígenes con un solo peso se listan bajo other.

arXiv:2412.07679

Las configuraciones preentrenadas hacen referencia a arXiv:2412.07679.

etiquetas v2

arXiv:2601.17237

Las configuraciones preentrenadas hacen referencia a arXiv:2601.17237.

Otros