timm documentation
NaFlex ViT
NaFlex ViT
카테고리: ViT · 코드: timm/models/naflexvit.py · 아키텍처: 14 · 사전학습된 가중치: 11 (ImageNet-1k 결과가 포함된 3개)
패치 임베딩과 위치 인코딩을 하나의 모듈로 통합한 Vision Transformer로, 가변 종횡비와 해상도를 지원하는 사전 패치화 입력(NaFlex), FlexiViT 가변 패치 크기, NaViT 인자화 위치 임베딩을 지원합니다.
논문
- 이미지 1장은 16x16개의 단어와 같습니다: 대규모 이미지 인식용 Transformers
- FlexiViT: 모든 패치 크기에 하나의 모델
- Patch n’ Pack: 어떤 종횡비와 해상도에도 대응하는 Vision Transformer, NaViT
- SigLIP 2: 향상된 의미 이해, 위치 파악 및 고밀도 특징을 갖춘 다국어 비전-언어 인코더
pretrained weights에서 참조됨:
사용
사전 학습된 가중치 로드, 이미지 전처리 및 파인튜닝에 대해서는 Quickstart를, 모델을 백본으로 사용하는 방법에 대해서는 Feature Extraction을 참고하세요.
>>> import timm
>>> model = timm.create_model('naflexvit_base_patch16_parfac_gap.e300_s576_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)모델 API 지원
✓ 지원됨, ✓ (정사각형) 정사각형 크기만 작동, ✗ 미지원, – 필요 없음(모델이 이미 모든 입력 크기를 허용함). 무작위로 초기화된 모델(NaFlexVit의 naflexvit_base_patch16_parfac_gap, 384)에서 각 기능을 실행하여 확인했습니다. 같은 클래스의 다른 아키텍처도 동일한 동작을 할 것으로 예상됩니다. 자세한 내용은 Model API 페이지를 참조하세요.
아키텍처
| 아키텍처 | 매개변수 (M) | GMAC | 입력 크기 | 사전 학습된 가중치 |
|---|---|---|---|---|
naflexvit_base_patch16_gap | 86.63 | 55.86 | 384 | 1 |
naflexvit_base_patch16_map | 93.72 | 56.23 | 384 | 0 |
naflexvit_base_patch16_par_gap | 86.63 | 55.86 | 384 | 1 |
naflexvit_base_patch16_parfac_gap | 86.46 | 55.86 | 384 | 1 |
naflexvit_base_patch16_radio_v3 | 98.25 | - | 512 | 1 |
naflexvit_base_patch16_siglip | 92.93 | 56.12 | 384 | 1 |
naflexvit_giant_patch16_radio_v3 | 1159.62 | - | 512 | 1 |
naflexvit_huge_patch16_radio_v3 | 651.64 | - | 512 | 1 |
naflexvit_huge_patch16_radio_v4 | 651.65 | - | 512 | 1 |
naflexvit_large_patch16_radio_v3 | 319.93 | - | 512 | 1 |
naflexvit_so150m2_patch16_reg1_gap | 136.06 | 89.53 | 384 | 0 |
naflexvit_so150m2_patch16_reg1_map | 142.46 | 90.33 | 384 | 0 |
naflexvit_so400m_patch16_radio_v4 | 431.24 | - | 512 | 1 |
naflexvit_so400m_patch16_siglip | 427.89 | 259.65 | 384 | 1 |
GMACs와 매개변수 수는 각 아키텍처의 기본 입력 크기 및 분류기에 대한 값이며, 벤치마크 결과에서 가져왔습니다.
사전 학습된 가중치
Top-1은 results-imagenet.csv에 나열된 평가 크기에서 측정된 ImageNet-1k 검증 정확도입니다. - 가중치에 ImageNet-1k 결과가 없는 경우(예: 사전 학습 또는 이미지-텍스트 가중치)에는 표시하지 않습니다. Classes는 사전 학습된 분류기의 크기를 나타내며, 분류기가 없는 가중치의 경우 none입니다.
Weights는 소스에 따라 그룹화됩니다. 사전 학습 설정에 명시된 논문 또는 출처, 그렇지 않으면 timm가 아닌 Hub 조직, 그렇지 않으면 사전 학습 태그의 첫 번째 부분(architecture.tag)입니다. 단일 weight만 있는 소스는
other에 나열됩니다.
arXiv:2412.07679
사전 학습된 설정은 arXiv:2412.07679를 참조합니다.
| 가중치 | 입력 크기 | Top-1(%) | 평가 크기 | 클래스 | 라이선스 | Hub |
|---|---|---|---|---|---|---|
naflexvit_base_patch16_radio_v3.c_radio | 512 | - | - | 없음 | nvidia-open-model-license | timm |
naflexvit_giant_patch16_radio_v3.c_radio | 512 | - | - | 없음 | nvidia-open-model-license | timm |
naflexvit_huge_patch16_radio_v3.c_radio | 512 | - | - | 없음 | nvidia-open-model-license | timm |
naflexvit_large_patch16_radio_v3.c_radio | 512 | - | - | 없음 | nvidia-open-model-license | timm |
v2 태그
| 가중치 | 입력 크기 | Top-1(%) | 평가 크기 | 클래스 | 라이선스 | Hub |
|---|---|---|---|---|---|---|
naflexvit_base_patch16_siglip.v2_webli | 384 | - | - | 없음 | apache-2.0 | timm |
naflexvit_so400m_patch16_siglip.v2_webli | 384 | - | - | 없음 | apache-2.0 | timm |
arXiv:2601.17237
사전 학습된 설정은 arXiv:2601.17237를 참조합니다.
| 가중치 | 입력 크기 | Top-1(%) | 평가 크기 | 클래스 | 라이선스 | Hub |
|---|---|---|---|---|---|---|
naflexvit_huge_patch16_radio_v4.c_radio | 512 | - | - | 없음 | nvidia-open-model-license | timm |
naflexvit_so400m_patch16_radio_v4.c_radio | 512 | - | - | 없음 | nvidia-open-model-license | timm |
기타
| 가중치 | 입력 크기 | Top-1(%) | 평가 크기 | 클래스 | 라이선스 | Hub |
|---|---|---|---|---|---|---|
naflexvit_base_patch16_gap.e300_s576_in1k | 384 | 83.340 | 384 | 1000 | apache-2.0 | timm |
naflexvit_base_patch16_par_gap.e300_s576_in1k | 384 | 83.508 | 384 | 1000 | apache-2.0 | timm |
naflexvit_base_patch16_parfac_gap.e300_s576_in1k | 384 | 83.468 | 384 | 1000 | apache-2.0 | timm |