VOLO

الفئة: ViT · الكود: timm/models/volo.py · الهندسات: 11 · الأوزان المُسبقة التدريب: 11 (11 منها بنتائج على ImageNet-1k)

تضيف Vision Outlooker (VOLO) انتباه النظرة المستقبلية، الذي يرمّز ميزات المستوى الدقيق من الجوارات المحلية، قبل مراحل الترانسفورمر التي تعمل على رموز أكثر خشونة.

الأوراق البحثية

VOLO: Vision Outlooker للتعرّف البصري

الاستخدام

راجع البدء السريع لتحميل الأوزان المُسبقة التدريب ومعالجة الصور مسبقًا وضبط الدقة، وراجع استخراج الميزات لاستخدام النماذج كعمود فقري.

>>> import timm
>>> model = timm.create_model('volo_d1_224.sail_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

دعم واجهة برمجة التطبيقات للنماذج

ميزة	`VOLO`
خرائط الميزات `features_only=True`	✓ (خطوات 16، 16، 16)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
أي حجم إدخال، دون الحاجة إلى أي تغييرات	✗
`set_input_size()`	✗
`dynamic_img_size=True`	✗
`set_grad_checkpointing()`	✓
تلاشي معدل التعلم على مستوى الطبقات (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ مدعوم، ✓ (مربع) يعمل مع الأحجام المربعة فقط، ✗ غير مدعوم، – غير مطلوب (يقبل النموذج بالفعل أي حجم إدخال). تم التحقق من ذلك بتشغيل كل ميزة على نموذج مُهيأ عشوائياً (VOLO مع volo_d1_224 عند 224)، ومن المتوقع أن تتصرف البنى المعمارية الأخرى من نفس الفئة بنفس الطريقة. راجع صفحة Model API للتفاصيل.

البنى

البنية	المعاملات (مليون)	GMACs	حجم الإدخال	الأوزان المُسبقة التدريب
`volo_d1_224`	26.63	6.94	224	1
`volo_d1_384`	26.78	22.75	384	1
`volo_d2_224`	58.68	14.34	224	1
`volo_d2_384`	58.87	46.17	384	1
`volo_d3_224`	86.33	20.78	224	1
`volo_d3_448`	86.63	96.33	448	1
`volo_d4_224`	192.96	44.34	224	1
`volo_d4_448`	193.41	197.13	448	1
`volo_d5_224`	295.46	72.40	224	1
`volo_d5_448`	295.91	315.06	448	1
`volo_d5_512`	296.09	425.09	512	1

تُحسب قيم GMACs وعدد المعلمات لحجم المدخلات الافتراضي والتصنيف الخاص بكل معمارية، وذلك بناءً على نتائج الاختبارات المرجعية.

الأوزان المُسبقة التدريب

Top-1 هو دقة التحقق على ImageNet-1k من results-imagenet.csv عند حجم التقييم المذكور، - إذا لم يكن للوزن نتيجة على ImageNet-1k (مثل أوزان ما قبل التدريب أو أوزان الصورة-النص). Classes هو حجم المصنِّف المُدرَّب مسبقًا، ولا يوجد شيء للأوزان التي لا تحتوي على مصنِّف.

الوزن	حجم الإدخال	أعلى 1 (%)	حجم التقييم	فئات	رخصة	المركز
`volo_d1_224.sail_in1k`	224	84.148	224	1000	apache-2.0	timm
`volo_d1_384.sail_in1k`	384	85.262	384	1000	apache-2.0	timm
`volo_d2_224.sail_in1k`	224	85.204	224	1000	apache-2.0	timm
`volo_d2_384.sail_in1k`	384	86.054	384	1000	apache-2.0	timm
`volo_d3_224.sail_in1k`	224	85.440	224	1000	apache-2.0	timm
`volo_d3_448.sail_in1k`	448	86.514	448	1000	apache-2.0	timm
`volo_d4_224.sail_in1k`	224	85.868	224	1000	apache-2.0	timm
`volo_d4_448.sail_in1k`	448	86.788	448	1000	apache-2.0	timm
`volo_d5_224.sail_in1k`	224	86.076	224	1000	apache-2.0	timm
`volo_d5_448.sail_in1k`	448	86.974	448	1000	apache-2.0	timm
`volo_d5_512.sail_in1k`	512	87.068	512	1000	apache-2.0	timm

Update on GitHub