MobileViT

카테고리: Efficient/Mobile · 코드: timm/models/mobilevit.py · 아키텍처: 10 · 프리트레이닝 가중치: 16 (ImageNet-1k 결과가 포함된 16개)

MobileViT는 MobileNet-V2의 인버티드 리서idual 블록과 MobileViT 블록을 결합합니다. MobileViT 블록은 언폴드된 패치에 트랜스포머를 적용하여 전역 처리를 수행합니다. MobileViT-V2는 분리 가능한 셀프 어텐션을 사용합니다. ByobNet 클래스를 기반으로 구축되었습니다.

논문

사용

사전 학습된 가중치 로드, 이미지 전처리 및 파인튜닝에 대해서는 Quickstart를, 모델을 백본으로 사용하는 방법에 대해서는 Feature Extraction을 참고하세요.

>>> import timm
>>> model = timm.create_model('mobilevitv2_200.cvnets_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

모델 API 지원

기능	`ByobNet`
`features_only=True` feature map	✓ (strides 2, 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
입력 크기 무관, 변경 불필요	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✓
레이어별 LR 감쇠(`group_matcher()`)	✓
`reset_classifier()`	✓

✓ 지원됨, ✓ (정사각형) 정사각형 크기만 지원됨, ✗ 미지원, – 필요 없음(모델이 이미 모든 입력 크기를 허용함). 무작위로 초기화된 모델(ByobNet의 mobilevit_xxs, 256)에서 각 기능을 실행하여 확인했습니다. 같은 클래스의 다른 아키텍처도 동일한 동작을 하는 것으로 예상됩니다. 자세한 내용은 Model API 페이지를 참조하세요.

아키텍처

아키텍처	매개변수 (M)	GMAC	입력 크기	사전 학습된 가중치
`mobilevit_s`	5.58	2.03	256	1
`mobilevit_xs`	2.32	1.05	256	1
`mobilevit_xxs`	1.27	0.42	256	1
`mobilevitv2_050`	1.37	0.48	256	1
`mobilevitv2_075`	2.87	1.05	256	1
`mobilevitv2_100`	4.90	1.84	256	1
`mobilevitv2_125`	7.48	2.86	256	1
`mobilevitv2_150`	10.59	4.09	256	3
`mobilevitv2_175`	14.25	5.54	256	3
`mobilevitv2_200`	18.45	7.22	256	3

GMACs와 매개변수 수는 각 아키텍처의 기본 입력 크기 및 분류기에 대한 값이며, 벤치마크 결과에서 가져왔습니다.

사전 학습된 가중치

Top-1은 results-imagenet.csv에 나열된 평가 크기에서 측정된 ImageNet-1k 검증 정확도입니다. - 가중치에 ImageNet-1k 결과가 없는 경우(예: 사전 학습 또는 이미지-텍스트 가중치)에는 표시하지 않습니다. Classes는 사전 학습된 분류기의 크기를 나타내며, 분류기가 없는 가중치의 경우 none입니다.

가중치	입력 크기	Top-1(%)	평가 크기	클래스	라이선스	Hub
`mobilevit_s.cvnets_in1k`	256	78.298	256	1000	cvnets-license	timm
`mobilevit_xs.cvnets_in1k`	256	74.618	256	1000	cvnets-license	timm
`mobilevit_xxs.cvnets_in1k`	256	68.936	256	1000	cvnets-license	timm
`mobilevitv2_050.cvnets_in1k`	256	70.156	256	1000	cvnets-license	timm
`mobilevitv2_075.cvnets_in1k`	256	75.612	256	1000	cvnets-license	timm
`mobilevitv2_100.cvnets_in1k`	256	78.088	256	1000	cvnets-license	timm
`mobilevitv2_125.cvnets_in1k`	256	79.682	256	1000	cvnets-license	timm
`mobilevitv2_150.cvnets_in1k`	256	80.380	256	1000	cvnets-license	timm
`mobilevitv2_150.cvnets_in22k_ft_in1k`	256	81.466	256	1000	cvnets-license	timm
`mobilevitv2_150.cvnets_in22k_ft_in1k_384`	384	82.606	384	1000	cvnets-license	timm
`mobilevitv2_175.cvnets_in1k`	256	80.870	256	1000	cvnets-license	timm
`mobilevitv2_175.cvnets_in22k_ft_in1k`	256	81.950	256	1000	cvnets-license	timm
`mobilevitv2_175.cvnets_in22k_ft_in1k_384`	384	82.920	384	1000	cvnets-license	timm
`mobilevitv2_200.cvnets_in1k`	256	81.148	256	1000	cvnets-license	timm
`mobilevitv2_200.cvnets_in22k_ft_in1k`	256	82.320	256	1000	cvnets-license	timm
`mobilevitv2_200.cvnets_in22k_ft_in1k_384`	384	83.430	384	1000	cvnets-license	timm

Update on GitHub