CrossViT

Categoria: ViT · Código: timm/models/crossvit.py · Arquiteturas: 11 · Pesos pré-treinados: 11 (11 com resultados no ImageNet-1k)

CrossViT processa patches de imagem pequenos e grandes em dois ramos Transformer e os funde com atenção cruzada por meio dos tokens de classe. Os nomes dos modelos em timm indicam a resolução de entrada real (240 / 408 em vez do original 224 / 384).

Artigos

• CrossViT: Vision Transformer Multi-Escala com Atenção Cruzada para Classificação de Imagens

Uso

Veja o Início rápido para carregar pesos pré-treinados, pré-processar imagens e fazer fine-tuning, e Extração de recursos para usar os modelos como backbones.

>>> import timm
>>> model = timm.create_model('crossvit_small_240.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Suporte à API de modelos

✓ suportado, ✓ (quadrado) funciona apenas para tamanhos quadrados, ✗ não suportado, – não necessário (o modelo já aceita qualquer tamanho de entrada). Verificado executando cada recurso em um modelo inicializado aleatoriamente (CrossVit com crossvit_tiny_240 em 240), espera-se que outras arquiteturas da mesma classe se comportem da mesma forma. Consulte a página Model API para mais detalhes.

Arquiteturas

Os GMACs e as contagens de parâmetros são para o tamanho de entrada e o classificador padrão de cada arquitetura, dos resultados do benchmark.

Pesos pré-treinados

Top-1 é a acurácia de validação no ImageNet-1k de results-imagenet.csv no tamanho de avaliação listado, - se o peso não tiver resultado no ImageNet-1k (por exemplo, pesos de pré-treinamento ou de imagem-texto). Classes é o tamanho do classificador pré-treinado, nenhum para pesos sem um.

Citação

@inproceedings{
    chen2021crossvit,
    title={{CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification}},
    author={Chun-Fu (Richard) Chen and Quanfu Fan and Rameswar Panda},
    booktitle={International Conference on Computer Vision (ICCV)},
    year={2021}
}