ConvNeXt

Kategori: CNN · Kode: timm/models/convnext.py · Arsitektur: 31 · Bobot pralatih: 101 (61 dengan hasil ImageNet-1k)

ConvNeXt adalah jaringan konvolusional murni yang mengadopsi pilihan desain dari vision transformer, seperti kernel depthwise besar, inverted bottleneck, dan LayerNorm. ConvNeXt-V2 menambahkan Global Response Normalization (GRN) dan dipretrain sebagai fully convolutional masked autoencoder (FCMAE).

Makalah

• ConvNet untuk 2020-an
• ConvNeXt V2: Merancang dan Mengembangkan ConvNet dengan Masked Autoencoders
• Hukum penskalaan yang dapat direproduksi untuk pembelajaran bahasa-gambar kontrastif
• DINOv3
• Encoder Persepsi Universal yang Efisien

Penggunaan

Lihat Quickstart untuk memuat bobot terlatih, prapemrosesan gambar, dan penyesuaian halus, serta Ekstraksi Fitur untuk menggunakan model sebagai tulang punggung.

>>> import timm
>>> model = timm.create_model('convnext_tiny.in12k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Dukungan API Model

✓ didukung, ✓ (persegi) hanya berfungsi untuk ukuran persegi, ✗ tidak didukung, – tidak diperlukan (model sudah menerima ukuran input apa pun). Diperiksa dengan menjalankan setiap fitur pada model yang diinisialisasi secara acak (ConvNeXt dengan convnext_zepto_rms pada 224), arsitektur lain dari kelas yang sama diharapkan berperilaku sama. Lihat halaman Model API untuk detailnya.

Arsitektur

GMACs dan jumlah parameter adalah untuk ukuran input dan klasifer default dari setiap arsitektur, dari hasil benchmark.

Bobot terlatih

Top-1 adalah akurasi validasi ImageNet-1k dari results-imagenet.csv pada ukuran eval yang tercantum, - jika bobot tidak memiliki hasil ImageNet-1k (misalnya bobot pretraining atau image-text). Classes adalah ukuran dari classifier pretrained, none untuk bobot yang tidak memilikinya.

Bobot dikelompokkan berdasarkan sumber: paper atau asal yang diberikan dalam konfigurasi pretrained, jika tidak ada maka organisasi Hub selain timm, jika tidak ada maka bagian pertama dari tag pretrained (architecture.tag). Sumber dengan satu bobot terdaftar di bawah other.

ConvNeXt V2

Konfigurasi pretrained merujuk pada ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders.

tag klip

tag fb

tag d1

dinov3 tag

eupe tags

tag d1h

tag ra4

Lainnya

Sitasi

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}

@article{Woo2023ConvNeXtV2,
  title={ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders},
  author={Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon and Saining Xie},
  year={2023},
  journal={arXiv preprint arXiv:2301.00808},
}