Hiera

Kategori: ViT · Kode: timm/models/hiera.py · Arsitektur: 8 · Bobot terlatih: 16 (8 dengan hasil ImageNet-1k)

Hiera adalah vision transformer hierarkis tanpa modul khusus (konvolusi, jendela bergeser, bias posisi relatif), yang mengandalkan pra-pelatihan masked autoencoder (MAE) untuk mempelajari bias spasial.

Makalah

• Hiera: Vision Transformer Hierarkis Tanpa Fitur Tambahan
• Window Attention Buggy: Cara Salah Menginterpolasi Position Embeddings

Penggunaan

Lihat Quickstart untuk memuat bobot terlatih, prapemrosesan gambar, dan penyesuaian halus, serta Ekstraksi Fitur untuk menggunakan model sebagai tulang punggung.

>>> import timm
>>> model = timm.create_model('hiera_tiny_224.mae_in1k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Dukungan API Model

✓ didukung, ✓ (persegi) hanya berfungsi untuk ukuran persegi, ✗ tidak didukung, – tidak diperlukan (model sudah menerima ukuran input apa pun). Diperiksa dengan menjalankan setiap fitur pada model yang diinisialisasi secara acak (Hiera dengan hiera_tiny_224 pada 224), arsitektur lain dari kelas yang sama diharapkan berperilaku sama. Lihat halaman Model API untuk detailnya.

Arsitektur

GMACs dan jumlah parameter adalah untuk ukuran input dan klasifer default dari setiap arsitektur, dari hasil benchmark.

Bobot terlatih

Top-1 adalah akurasi validasi ImageNet-1k dari results-imagenet.csv pada ukuran eval yang tercantum, - jika bobot tidak memiliki hasil ImageNet-1k (misalnya bobot pretraining atau image-text). Classes adalah ukuran dari classifier pretrained, none untuk bobot yang tidak memilikinya.

Bobot dikelompokkan berdasarkan sumber: paper atau asal yang diberikan dalam konfigurasi pretrained, jika tidak ada maka organisasi Hub selain timm, jika tidak ada maka bagian pertama dari tag pretrained (architecture.tag). Sumber dengan satu bobot terdaftar di bawah other.

mae tag

tag sbb2