LowFormer

카테고리: Efficient/Mobile · 코드: timm/models/lowformer.py · 아키텍처: 8 · 사전학습된 가중치: 7 (ImageNet-1k 결과가 있는 것은 0개)

LowFormer는 하드웨어 효율성(연산 횟수(MACs)가 아닌 처리량과 지연 시간으로 측정)을 위해 설계된 컨볼루션형 트랜스포머 백본입니다. E1 / E2 / E3 엣지 GPU 변형은 저널 확장판에서 제공됩니다.

논문

사용

사전 학습된 가중치 로드, 이미지 전처리 및 파인튜닝에 대해서는 Quickstart를, 모델을 백본으로 사용하는 방법에 대해서는 Feature Extraction을 참고하세요.

>>> import timm
>>> model = timm.create_model('lowformer_b0.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

모델 API 지원

기능	`LowFormer`
`features_only=True` feature map	✓ (strides 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
입력 크기 무관, 변경 불필요	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✓
레이어별 LR 감쇠(`group_matcher()`)	✓
`reset_classifier()`	✓

✓ 지원됨, ✓ (정사각형) 정사각형 크기만 지원됨, ✗ 미지원, – 필요 없음(모델이 이미 모든 입력 크기를 허용함). 무작위로 초기화된 모델(LowFormer의 lowformer_b0, 224)에서 각 기능을 실행하여 확인했습니다. 같은 클래스의 다른 아키텍처도 동일한 동작을 하는 것으로 예상됩니다. 자세한 내용은 Model API 페이지를 참조하세요.

아키텍처

아키텍처	매개변수 (M)	GMAC	입력 크기	사전 학습된 가중치
`lowformer_b0`	14.10	-	224	1
`lowformer_b1`	17.94	-	224	1
`lowformer_b2`	44.99	-	224	0
`lowformer_b3`	57.09	-	224	1
`lowformer_b15`	33.98	-	224	1
`lowformer_e1`	18.90	-	224	1
`lowformer_e2`	22.75	-	224	1
`lowformer_e3`	41.32	-	224	1

GMACs와 매개변수 수는 각 아키텍처의 기본 입력 크기 및 분류기에 대한 값이며, 벤치마크 결과에서 가져왔습니다.

사전 학습된 가중치

Top-1은 results-imagenet.csv에 나열된 평가 크기에서 측정된 ImageNet-1k 검증 정확도입니다. - 가중치에 ImageNet-1k 결과가 없는 경우(예: 사전 학습 또는 이미지-텍스트 가중치)에는 표시하지 않습니다. Classes는 사전 학습된 분류기의 크기를 나타내며, 분류기가 없는 가중치의 경우 none입니다.

가중치	입력 크기	Top-1(%)	평가 크기	클래스	라이선스	Hub
`lowformer_b0.in1k`	224	-	-	1000	apache-2.0	timm
`lowformer_b1.in1k`	224	-	-	1000	apache-2.0	timm
`lowformer_b3.in1k`	224	-	-	1000	apache-2.0	timm
`lowformer_b15.in1k`	224	-	-	1000	apache-2.0	timm
`lowformer_e1.in1k`	224	-	-	1000	apache-2.0	timm
`lowformer_e2.in1k`	224	-	-	1000	apache-2.0	timm
`lowformer_e3.in1k`	224	-	-	1000	apache-2.0	timm

인용

@article{Nottebaum2024LowFormerHE,
  title={LowFormer: Hardware Efficient Design for Convolutional Transformer Backbones},
  author={Moritz Nottebaum and Matteo Dunnhofer and Christian Micheloni},
  journal={2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)},
  year={2024},
  pages={7008-7018},
}

@article{Nottebaum2026BeyondMACs,
  author  = {Nottebaum, Moritz and Dunnhofer, Matteo and Micheloni, Christian},
  title   = {Beyond {MAC}s: Hardware Efficient Architecture Design for Vision Backbones},
  journal = {International Journal of Computer Vision},
  year    = {2026},
  volume  = {134},
  number  = {6},
  pages   = {295},
  doi     = {10.1007/s11263-026-02873-5},
  url     = {https://doi.org/10.1007/s11263-026-02873-5}
}

Update on GitHub