BEiT

Categoría: ViT · Código: timm/models/beit.py · Arquitecturas: 7 · Pesos preentrenados: 13 (9 con resultados en ImageNet-1k)

Transformers de visión BEiT y BEiT-v2, preentrenados con modelado de imágenes enmascaradas. BEiT predice los tokens visuales discretos de los parches enmascarados, mientras que BEiT-v2 utiliza un tokenizador visual vectorizado para las dianas. Los pesos aquí son pesos de clasificación ajustados finamente.

Papers

• BEiT: Pre-entrenamiento de BERT para transformadores de imágenes
• BEiT v2: Modelado de imágenes enmascaradas con tokenizadores visuales cuantizados por vector

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('beit_base_patch16_224.in22k_ft_in22k_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (Beit con beit_base_patch16_224 en 224), se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para obtener más detalles.

Arquitecturas

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

Cita

@inproceedings{beit,
title={{BEiT}: {BERT} Pre-Training of Image Transformers},
author={Hangbo Bao and Li Dong and Songhao Piao and Furu Wei},
booktitle={International Conference on Learning Representations},
year={2022},
url={https://openreview.net/forum?id=p-BhZSz59o4}
}

@article{beitv2,
title={{BEiT v2}: Masked Image Modeling with Vector-Quantized Visual Tokenizers},
author={Zhiliang Peng and Li Dong and Hangbo Bao and Qixiang Ye and Furu Wei},
year={2022},
eprint={2208.06366},
archivePrefix={arXiv},
primaryClass={cs.CV}
}