timm documentation
DeiT
DeiT
الفئة: ViT · الكود: timm/models/deit.py · الهندسات: 16 · الأوزان المُسبقة التدريب: 24 (24 منها بنتائج على ImageNet-1k)
تُدرَّب محولات الرؤية الموفرة للبيانات (DeiT) على مجموعة بيانات ImageNet-1k فقط، مع إمكانية استخدام رمز تقطير يتعلم من معلم CNN. وتُدرَّب نماذج DeiT III باستخدام وصفة محسّنة.
الأوراق البحثية
الاستخدام
راجع البدء السريع لتحميل الأوزان المُسبقة التدريب ومعالجة الصور مسبقًا وضبط الدقة، وراجع استخراج الميزات لاستخدام النماذج كعمود فقري.
>>> import timm
>>> model = timm.create_model('deit_small_distilled_patch16_224.fb_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)دعم واجهة برمجة التطبيقات للنماذج
| ميزة | VisionTransformer | VisionTransformerDistilled |
|---|---|---|
خرائط الميزات features_only=True | ✓ (خطوات 16، 16، 16) | ✓ (خطوات 16، 16، 16) |
forward_intermediates() | ✓ | ✓ |
prune_intermediate_layers() | ✓ | ✓ |
| أي حجم إدخال، دون الحاجة إلى أي تغييرات | ✗ | ✗ |
set_input_size() | ✓ | ✓ |
dynamic_img_size=True | ✓ | ✓ |
set_grad_checkpointing() | ✓ | ✓ |
تلاشي معدل التعلم على مستوى الطبقات (group_matcher()) | ✓ | ✓ |
reset_classifier() | ✓ | ✓ |
✓ مدعوم، ✓ (مربع) يعمل مع الأحجام المربعة فقط، ✗ غير مدعوم، – غير مطلوب (يقبل النموذج بالفعل أي حجم إدخال). تم التحقق من ذلك بتشغيل كل ميزة على نموذج مُهيأ عشوائياً (VisionTransformer مع deit_tiny_patch16_224 عند 224، VisionTransformerDistilled مع deit_tiny_distilled_patch16_224 عند 224)، ومن المتوقع أن تتصرف البنى المعمارية الأخرى من نفس الفئة بنفس الطريقة. راجع صفحة Model API للتفاصيل.
البنى
| البنية | فئة | المعاملات (مليون) | GMACs | حجم الإدخال | الأوزان المُسبقة التدريب |
|---|---|---|---|---|---|
deit3_base_patch16_224 | VisionTransformer | 86.59 | 17.58 | 224 | 2 |
deit3_base_patch16_384 | VisionTransformer | 86.88 | 55.54 | 384 | 2 |
deit3_huge_patch14_224 | VisionTransformer | 632.13 | 167.40 | 224 | 2 |
deit3_large_patch16_224 | VisionTransformer | 304.37 | 61.60 | 224 | 2 |
deit3_large_patch16_384 | VisionTransformer | 304.76 | 191.21 | 384 | 2 |
deit3_medium_patch16_224 | VisionTransformer | 38.85 | 8.00 | 224 | 2 |
deit3_small_patch16_224 | VisionTransformer | 22.06 | 4.61 | 224 | 2 |
deit3_small_patch16_384 | VisionTransformer | 22.21 | 15.52 | 384 | 2 |
deit_base_distilled_patch16_224 | VisionTransformerDistilled | 87.34 | 17.68 | 224 | 1 |
deit_base_distilled_patch16_384 | VisionTransformerDistilled | 87.63 | 55.65 | 384 | 1 |
deit_base_patch16_224 | VisionTransformer | 86.57 | 17.58 | 224 | 1 |
deit_base_patch16_384 | VisionTransformer | 86.86 | 55.54 | 384 | 1 |
deit_small_distilled_patch16_224 | VisionTransformerDistilled | 22.44 | 4.63 | 224 | 1 |
deit_small_patch16_224 | VisionTransformer | 22.05 | 4.61 | 224 | 1 |
deit_tiny_distilled_patch16_224 | VisionTransformerDistilled | 5.91 | 1.27 | 224 | 1 |
deit_tiny_patch16_224 | VisionTransformer | 5.72 | 1.26 | 224 | 1 |
تُحسب قيم GMACs وعدد المعلمات لحجم المدخلات الافتراضي والتصنيف الخاص بكل معمارية، وذلك بناءً على نتائج الاختبارات المرجعية.
الأوزان المُسبقة التدريب
Top-1 هو دقة التحقق على ImageNet-1k من results-imagenet.csv عند حجم التقييم المذكور، - إذا لم يكن للوزن نتيجة على ImageNet-1k (مثل أوزان ما قبل التدريب أو أوزان الصورة-النص). Classes هو حجم المصنِّف المُدرَّب مسبقًا، ولا يوجد شيء للأوزان التي لا تحتوي على مصنِّف.
| الوزن | حجم الإدخال | أعلى 1 (%) | حجم التقييم | فئات | رخصة | المركز |
|---|---|---|---|---|---|---|
deit3_base_patch16_224.fb_in1k | 224 | 83.800 | 224 | 1000 | apache-2.0 | timm |
deit3_base_patch16_224.fb_in22k_ft_in1k | 224 | 85.728 | 224 | 1000 | apache-2.0 | timm |
deit3_base_patch16_384.fb_in1k | 384 | 85.088 | 384 | 1000 | apache-2.0 | timm |
deit3_base_patch16_384.fb_in22k_ft_in1k | 384 | 86.742 | 384 | 1000 | apache-2.0 | timm |
deit3_huge_patch14_224.fb_in1k | 224 | 85.204 | 224 | 1000 | apache-2.0 | timm |
deit3_huge_patch14_224.fb_in22k_ft_in1k | 224 | 87.180 | 224 | 1000 | apache-2.0 | timm |
deit3_large_patch16_224.fb_in1k | 224 | 84.772 | 224 | 1000 | apache-2.0 | timm |
deit3_large_patch16_224.fb_in22k_ft_in1k | 224 | 86.990 | 224 | 1000 | apache-2.0 | timm |
deit3_large_patch16_384.fb_in1k | 384 | 85.820 | 384 | 1000 | apache-2.0 | timm |
deit3_large_patch16_384.fb_in22k_ft_in1k | 384 | 87.736 | 384 | 1000 | apache-2.0 | timm |
deit3_medium_patch16_224.fb_in1k | 224 | 83.090 | 224 | 1000 | apache-2.0 | timm |
deit3_medium_patch16_224.fb_in22k_ft_in1k | 224 | 84.550 | 224 | 1000 | apache-2.0 | timm |
deit3_small_patch16_224.fb_in1k | 224 | 81.382 | 224 | 1000 | apache-2.0 | timm |
deit3_small_patch16_224.fb_in22k_ft_in1k | 224 | 83.082 | 224 | 1000 | apache-2.0 | timm |
deit3_small_patch16_384.fb_in1k | 384 | 83.432 | 384 | 1000 | apache-2.0 | timm |
deit3_small_patch16_384.fb_in22k_ft_in1k | 384 | 84.846 | 384 | 1000 | apache-2.0 | timm |
deit_base_distilled_patch16_224.fb_in1k | 224 | 83.384 | 224 | 1000 | apache-2.0 | timm |
deit_base_distilled_patch16_384.fb_in1k | 384 | 85.438 | 384 | 1000 | apache-2.0 | timm |
deit_base_patch16_224.fb_in1k | 224 | 81.980 | 224 | 1000 | apache-2.0 | timm |
deit_base_patch16_384.fb_in1k | 384 | 83.108 | 384 | 1000 | apache-2.0 | timm |
deit_small_distilled_patch16_224.fb_in1k | 224 | 81.204 | 224 | 1000 | apache-2.0 | timm |
deit_small_patch16_224.fb_in1k | 224 | 79.856 | 224 | 1000 | apache-2.0 | timm |
deit_tiny_distilled_patch16_224.fb_in1k | 224 | 74.538 | 224 | 1000 | apache-2.0 | timm |
deit_tiny_patch16_224.fb_in1k | 224 | 72.190 | 224 | 1000 | apache-2.0 | timm |