timm documentation
EVA
EVA
Thể loại: ViT · Code: timm/models/eva.py · Kiến trúc: 65 · Trọng số tiền huấn luyện: 83 (28 có kết quả trên ImageNet-1k)
Các Vision Transformer EVA và EVA-02 cùng các biến thể ViT khác chia sẻ lớp Eva, với nhúng vị trí quay (RoPE), MLP SwiGLU và các bổ sung liên quan. Module này cũng chứa các mô hình Perception Encoder (PE), ROPE-ViT, DINOv3, LingBot-Vision và Sapiens2 cùng các cấu hình ViT gốc của timm với RoPE.
Bài báo
- EVA: Khám phá giới hạn của việc học biểu diễn thị giác có che ở quy mô lớn
- EVA-02: Đại diện trực quan cho Neon Genesis
- EVA-CLIP: Các kỹ thuật huấn luyện cải tiến cho CLIP ở quy mô lớn
- Perception Encoder: Các embedding thị giác tốt nhất không nằm ở đầu ra của mạng
- Nhúng vị trí Xoay cho Vision Transformer
- DINOv3
- Pretraining thị giác cho nhận thức không gian dày đặc
- Sapiens2
Cách sử dụng
Xem Quickstart để tải trọng số được huấn luyện trước, tiền xử lý ảnh và tinh chỉnh, và Feature Extraction để sử dụng các mô hình làm bộ xương sống.
>>> import timm
>>> model = timm.create_model('eva02_small_patch14_336.mim_in22k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)Hỗ trợ API mô hình
✓ được hỗ trợ, ✓ (vuông) chỉ hoạt động với kích thước vuông, ✗ không được hỗ trợ, – không cần thiết (mô hình đã chấp nhận bất kỳ kích thước đầu vào nào). Được kiểm tra bằng cách chạy từng tính năng trên một mô hình được khởi tạo ngẫu nhiên (Eva với vit_tiny_patch16_dinov3_qkvb ở 256), các kiến trúc khác cùng lớp được kỳ vọng sẽ hoạt động tương tự. Xem trang Model API để biết chi tiết.
Kiến trúc
| Kiến trúc | Số tham số (M) | GMACs | Kích thước đầu vào | Trọng số được huấn luyện trước |
|---|---|---|---|---|
eva02_base_patch14_224 | 85.76 | 23.22 | 224 | 1 |
eva02_base_patch14_448 | 87.12 | 107.11 | 448 | 3 |
eva02_base_patch16_clip_224 | 86.26 | 17.62 | 224 | 1 |
eva02_enormous_patch14_clip_224 | 4350.56 | 1132.46 | 224 | 2 |
eva02_large_patch14_224 | 303.27 | 81.15 | 224 | 2 |
eva02_large_patch14_448 | 305.08 | 362.33 | 448 | 6 |
eva02_large_patch14_clip_224 | 304.11 | 81.18 | 224 | 1 |
eva02_large_patch14_clip_336 | 304.43 | 191.34 | 336 | 1 |
eva02_small_patch14_224 | 21.62 | 6.14 | 224 | 1 |
eva02_small_patch14_336 | 22.13 | 15.48 | 336 | 1 |
eva02_tiny_patch14_224 | 5.50 | 1.70 | 224 | 1 |
eva02_tiny_patch14_336 | 5.76 | 4.68 | 336 | 1 |
eva_giant_patch14_224 | 1012.56 | 267.18 | 224 | 1 |
eva_giant_patch14_336 | 1013.01 | 620.64 | 336 | 2 |
eva_giant_patch14_560 | 1014.45 | 1906.76 | 560 | 1 |
eva_giant_patch14_clip_224 | 1012.59 | 267.18 | 224 | 2 |
vit_5b_patch16_sapiens2 | 5066.90 | - | 1024x768 | 1 |
vit_7b_patch16_dinov3 | 6716.03 | 1775.10 | 256 | 2 |
vit_base_patch16_dinov3 | 85.64 | 23.60 | 256 | 1 |
vit_base_patch16_dinov3_qkvb | 85.66 | 23.60 | 256 | 2 |
vit_base_patch16_lingbot | 85.66 | - | 512 | 1 |
vit_base_patch16_rope_224 | 86.43 | 17.58 | 224 | 1 |
vit_base_patch16_rope_ape_224 | 86.59 | 17.58 | 224 | 1 |
vit_base_patch16_rope_mixed_224 | 86.44 | 17.58 | 224 | 1 |
vit_base_patch16_rope_mixed_ape_224 | 86.59 | 17.58 | 224 | 1 |
vit_base_patch16_rope_reg1_gap_256 | 86.43 | 23.22 | 256 | 1 |
vit_base_patch16_sapiens2 | 113.99 | - | 1024x768 | 1 |
vit_betwixt_patch16_rope_reg4_gap_256 | 60.23 | 16.52 | 256 | 1 |
vit_giant_patch16_lingbot | 1134.47 | - | 512 | 1 |
vit_giant_patch16_sapiens2 | 1455.47 | - | 1024x768 | 1 |
vit_huge_patch16_sapiens2 | 814.28 | - | 1024x768 | 1 |
vit_huge_plus_patch16_dinov3 | 840.51 | 224.88 | 256 | 1 |
vit_huge_plus_patch16_dinov3_qkvb | 840.59 | 224.88 | 256 | 1 |
vit_large_patch16_dinov3 | 303.08 | 82.43 | 256 | 2 |
vit_large_patch16_dinov3_qkvb | 303.13 | 82.43 | 256 | 2 |
vit_large_patch16_lingbot | 303.13 | - | 512 | 1 |
vit_large_patch16_rope_224 | 304.17 | 61.60 | 224 | 1 |
vit_large_patch16_rope_ape_224 | 304.37 | 61.60 | 224 | 1 |
vit_large_patch16_rope_mixed_224 | 304.20 | 61.60 | 224 | 1 |
vit_large_patch16_rope_mixed_ape_224 | 304.40 | 61.60 | 224 | 1 |
vit_large_patch16_sapiens2 | 395.45 | - | 1024x768 | 1 |
vit_medium_patch16_rope_reg1_gap_256 | 38.74 | 10.63 | 256 | 1 |
vit_mediumd_patch16_rope_reg1_gap_256 | 63.95 | 17.65 | 256 | 1 |
vit_pe_core_base_patch16_224 | 93.67 | 17.82 | 224 | 1 |
vit_pe_core_gigantic_patch14_448 | 1882.03 | 2060.12 | 448 | 1 |
vit_pe_core_large_patch14_336 | 317.15 | 192.33 | 336 | 1 |
vit_pe_core_small_patch16_384 | 23.78 | 15.69 | 384 | 1 |
vit_pe_core_tiny_patch16_384 | 6.14 | 4.74 | 384 | 1 |
vit_pe_lang_gigantic_patch14_448 | 1740.92 | 1931.99 | 448 | 2 |
vit_pe_lang_large_patch14_448 | 291.42 | 346.99 | 448 | 2 |
vit_pe_spatial_base_patch16_512 | 86.43 | 107.13 | 512 | 1 |
vit_pe_spatial_gigantic_patch14_448 | 1851.89 | 2055.25 | 448 | 1 |
vit_pe_spatial_large_patch14_448 | 303.96 | 362.05 | 448 | 1 |
vit_pe_spatial_small_patch16_512 | 21.98 | 31.80 | 512 | 1 |
vit_pe_spatial_tiny_patch16_512 | 5.68 | 10.46 | 512 | 1 |
vit_small_patch16_dinov3 | 21.59 | 6.26 | 256 | 1 |
vit_small_patch16_dinov3_qkvb | 21.60 | 6.26 | 256 | 2 |
vit_small_patch16_lingbot | 21.60 | - | 512 | 1 |
vit_small_patch16_rope_224 | 21.98 | 4.61 | 224 | 1 |
vit_small_patch16_rope_ape_224 | 22.06 | 4.61 | 224 | 1 |
vit_small_patch16_rope_mixed_224 | 21.99 | 4.61 | 224 | 1 |
vit_small_patch16_rope_mixed_ape_224 | 22.06 | 4.61 | 224 | 1 |
vit_small_plus_patch16_dinov3 | 28.68 | 8.11 | 256 | 1 |
vit_small_plus_patch16_dinov3_qkvb | 28.69 | 8.11 | 256 | 1 |
vit_tiny_patch16_dinov3_qkvb | 5.49 | - | 256 | 1 |
GMACs và số lượng tham số được tính cho kích thước đầu vào và bộ phân loại mặc định của mỗi kiến trúc, từ kết quả benchmark.
Trọng số được huấn luyện trước
Top-1 là độ chính xác kiểm tra trên ImageNet-1k từ results-imagenet.csv ở kích thước eval được liệt kê, - nếu trọng số không có kết quả ImageNet-1k (ví dụ trọng số pretraining hoặc image-text). Classes là kích thước của bộ phân loại được huấn luyện trước, không có đối với các trọng số không có bộ phân loại.
Trọng số được nhóm theo nguồn: bài báo hoặc nguồn gốc được nêu trong cấu hình tiền huấn luyện, nếu không thì một tổ chức Hub khác với timm, nếu không thì phần đầu của thẻ tiền huấn luyện (architecture.tag). Các nguồn chỉ có một trọng số được liệt kê dưới
other.
mim tags
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
eva02_base_patch14_224.mim_in22k | 224 | - | - | none | mit | timm |
eva02_base_patch14_448.mim_in22k_ft_in1k | 448 | 88.262 | 448 | 1000 | mit | timm |
eva02_base_patch14_448.mim_in22k_ft_in22k | 448 | - | - | 21841 | mit | timm |
eva02_base_patch14_448.mim_in22k_ft_in22k_in1k | 448 | 88.678 | 448 | 1000 | mit | timm |
eva02_large_patch14_224.mim_in22k | 224 | - | - | none | mit | timm |
eva02_large_patch14_224.mim_m38m | 224 | - | - | none | mit | timm |
eva02_large_patch14_448.mim_in22k_ft_in1k | 448 | 89.634 | 448 | 1000 | mit | timm |
eva02_large_patch14_448.mim_in22k_ft_in22k | 448 | - | - | 21841 | mit | timm |
eva02_large_patch14_448.mim_in22k_ft_in22k_in1k | 448 | 89.956 | 448 | 1000 | mit | timm |
eva02_large_patch14_448.mim_m38m_ft_in1k | 448 | 89.550 | 448 | 1000 | mit | timm |
eva02_large_patch14_448.mim_m38m_ft_in22k | 448 | - | - | 21841 | mit | timm |
eva02_large_patch14_448.mim_m38m_ft_in22k_in1k | 448 | 90.056 | 448 | 1000 | mit | timm |
eva02_small_patch14_224.mim_in22k | 224 | - | - | none | mit | timm |
eva02_small_patch14_336.mim_in22k_ft_in1k | 336 | 85.770 | 336 | 1000 | mit | timm |
eva02_tiny_patch14_224.mim_in22k | 224 | - | - | none | mit | timm |
eva02_tiny_patch14_336.mim_in22k_ft_in1k | 336 | 80.648 | 336 | 1000 | mit | timm |
fb tags
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_pe_core_base_patch16_224.fb | 224 | - | - | 1024 | apache-2.0 | timm |
vit_pe_core_gigantic_patch14_448.fb | 448 | - | - | 1280 | apache-2.0 | timm |
vit_pe_core_large_patch14_336.fb | 336 | - | - | 1024 | apache-2.0 | timm |
vit_pe_core_small_patch16_384.fb | 384 | - | - | 512 | apache-2.0 | timm |
vit_pe_core_tiny_patch16_384.fb | 384 | - | - | 512 | apache-2.0 | timm |
vit_pe_lang_gigantic_patch14_448.fb | 448 | - | - | none | apache-2.0 | timm |
vit_pe_lang_gigantic_patch14_448.fb_tiling | 448 | - | - | none | apache-2.0 | timm |
vit_pe_lang_large_patch14_448.fb | 448 | - | - | none | apache-2.0 | timm |
vit_pe_lang_large_patch14_448.fb_tiling | 448 | - | - | none | apache-2.0 | timm |
vit_pe_spatial_base_patch16_512.fb | 512 | - | - | none | apache-2.0 | timm |
vit_pe_spatial_gigantic_patch14_448.fb | 448 | - | - | none | apache-2.0 | timm |
vit_pe_spatial_large_patch14_448.fb | 448 | - | - | none | apache-2.0 | timm |
vit_pe_spatial_small_patch16_512.fb | 512 | - | - | none | apache-2.0 | timm |
vit_pe_spatial_tiny_patch16_512.fb | 512 | - | - | none | apache-2.0 | timm |
thẻ naver
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_base_patch16_rope_224.naver_in1k | 224 | 83.714 | 224 | 1000 | apache-2.0 | timm |
vit_base_patch16_rope_ape_224.naver_in1k | 224 | 83.780 | 224 | 1000 | apache-2.0 | timm |
vit_base_patch16_rope_mixed_224.naver_in1k | 224 | 83.806 | 224 | 1000 | apache-2.0 | timm |
vit_base_patch16_rope_mixed_ape_224.naver_in1k | 224 | 83.898 | 224 | 1000 | apache-2.0 | timm |
vit_large_patch16_rope_224.naver_in1k | 224 | 84.646 | 224 | 1000 | apache-2.0 | timm |
vit_large_patch16_rope_ape_224.naver_in1k | 224 | 84.660 | 224 | 1000 | apache-2.0 | timm |
vit_large_patch16_rope_mixed_224.naver_in1k | 224 | 84.840 | 224 | 1000 | apache-2.0 | timm |
vit_large_patch16_rope_mixed_ape_224.naver_in1k | 224 | 84.846 | 224 | 1000 | apache-2.0 | timm |
vit_small_patch16_rope_224.naver_in1k | 224 | 81.222 | 224 | 1000 | apache-2.0 | timm |
vit_small_patch16_rope_ape_224.naver_in1k | 224 | 81.016 | 224 | 1000 | apache-2.0 | timm |
vit_small_patch16_rope_mixed_224.naver_in1k | 224 | 81.252 | 224 | 1000 | apache-2.0 | timm |
vit_small_patch16_rope_mixed_ape_224.naver_in1k | 224 | 80.974 | 224 | 1000 | apache-2.0 | timm |
lvd1689m tags
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_7b_patch16_dinov3.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_base_patch16_dinov3.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_base_patch16_dinov3_qkvb.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_huge_plus_patch16_dinov3.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_huge_plus_patch16_dinov3_qkvb.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_large_patch16_dinov3.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_large_patch16_dinov3_qkvb.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_small_patch16_dinov3.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_small_patch16_dinov3_qkvb.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_small_plus_patch16_dinov3.lvd1689m | 256 | - | - | none | dinov3-license | timm |
vit_small_plus_patch16_dinov3_qkvb.lvd1689m | 256 | - | - | none | dinov3-license | timm |
Sapiens2
Các cấu hình được huấn luyện trước tham chiếu đến Sapiens2.
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_5b_patch16_sapiens2.fb | 1024x768 | - | - | none | sapiens2-license | timm |
vit_base_patch16_sapiens2.fb | 1024x768 | - | - | none | sapiens2-license | timm |
vit_giant_patch16_sapiens2.fb | 1024x768 | - | - | none | sapiens2-license | timm |
vit_huge_patch16_sapiens2.fb | 1024x768 | - | - | none | sapiens2-license | timm |
vit_large_patch16_sapiens2.fb | 1024x768 | - | - | none | sapiens2-license | timm |
merged2b thẻ
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
eva02_base_patch16_clip_224.merged2b | 224 | - | - | 512 | mit | timm |
eva02_large_patch14_clip_224.merged2b | 224 | - | - | 768 | mit | timm |
eva02_large_patch14_clip_336.merged2b | 336 | - | - | 768 | mit | timm |
eva_giant_patch14_clip_224.merged2b | 224 | - | - | 1024 | mit | timm |
sbb tags
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_base_patch16_rope_reg1_gap_256.sbb_in1k | 256 | 83.872 | 256 | 1000 | mit | timm |
vit_betwixt_patch16_rope_reg4_gap_256.sbb_in1k | 256 | 83.906 | 256 | 1000 | mit | timm |
vit_medium_patch16_rope_reg1_gap_256.sbb_in1k | 256 | 83.810 | 256 | 1000 | mit | timm |
vit_mediumd_patch16_rope_reg1_gap_256.sbb_in1k | 256 | 84.316 | 256 | 1000 | mit | timm |
Tiền huấn luyện thị giác cho nhận thức không gian dày đặc
Các cấu hình được huấn luyện trước tham chiếu đến Vision Pretraining for Dense Spatial Perception.
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_base_patch16_lingbot.robbyant | 512 | - | - | none | apache-2.0 | belfner/vit_base_patch16_lingbot.robbyant |
vit_giant_patch16_lingbot.robbyant | 512 | - | - | none | apache-2.0 | belfner/vit_giant_patch16_lingbot.robbyant |
vit_large_patch16_lingbot.robbyant | 512 | - | - | none | apache-2.0 | belfner/vit_large_patch16_lingbot.robbyant |
vit_small_patch16_lingbot.robbyant | 512 | - | - | none | apache-2.0 | belfner/vit_small_patch16_lingbot.robbyant |
eupe tags
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_base_patch16_dinov3_qkvb.eupe_lvd1689m | 256 | - | - | none | fair-noncommercial-research-license | timm |
vit_small_patch16_dinov3_qkvb.eupe_lvd1689m | 256 | - | - | none | fair-noncommercial-research-license | timm |
vit_tiny_patch16_dinov3_qkvb.eupe_lvd1689m | 256 | - | - | none | fair-noncommercial-research-license | timm |
sat493m thẻ
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
vit_7b_patch16_dinov3.sat493m | 256 | - | - | none | dinov3-license | timm |
vit_large_patch16_dinov3.sat493m | 256 | - | - | none | dinov3-license | timm |
vit_large_patch16_dinov3_qkvb.sat493m | 256 | - | - | none | dinov3-license | timm |
thẻ clip
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
eva_giant_patch14_224.clip_ft_in1k | 224 | 88.896 | 224 | 1000 | mit | timm |
eva_giant_patch14_336.clip_ft_in1k | 336 | 89.462 | 336 | 1000 | mit | timm |
laion2b tags
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
eva02_enormous_patch14_clip_224.laion2b | 224 | - | - | 1024 | mit | timm |
eva02_enormous_patch14_clip_224.laion2b_plus | 224 | - | - | 1024 | mit | timm |
m30m tags
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
eva_giant_patch14_336.m30m_ft_in22k_in1k | 336 | 89.566 | 336 | 1000 | mit | timm |
eva_giant_patch14_560.m30m_ft_in22k_in1k | 560 | 89.790 | 560 | 1000 | mit | timm |
Khác
| Trọng số | Kích thước đầu vào | Top-1 (%) | Kích thước đánh giá | Các lớp | Giấy phép | Hub |
|---|---|---|---|---|---|---|
eva_giant_patch14_clip_224.laion400m | 224 | - | - | 1024 | mit | timm |
Trích dẫn
@article{EVA,
title={EVA: Exploring the Limits of Masked Visual Representation Learning at Scale},
author={Fang, Yuxin and Wang, Wen and Xie, Binhui and Sun, Quan and Wu, Ledell and Wang, Xinggang and Huang,
Tiejun and Wang, Xinlong and Cao, Yue},
journal={arXiv preprint arXiv:2211.07636},
year={2022}
}
@article{EVA02,
title={EVA-02: A Visual Representation for Neon Genesis},
author={Fang, Yuxin and Sun, Quan and Wang, Xinggang and Huang, Tiejun and Wang, Xinlong and Cao, Yue},
journal={arXiv preprint arXiv:2303.11331},
year={2023}
}
@article{bolya2025perception,
title={Perception encoder: The best visual embeddings are not at the output of the network},
author={Bolya, Daniel and Huang, Po-Yao and Sun, Peize and Cho, Jang Hyun and Madotto, Andrea and Wei, Chen and Ma,
Tengyu and Zhi, Jiale and Rajasegaran, Jathushan and Rasheed, Hanoona and others},
journal={arXiv preprint arXiv:2504.13181},
year={2025}
}
@inproceedings{heo2024rotary,
title={Rotary position embedding for vision transformer},
author={Heo, Byeongho and Park, Song and Han, Dongyoon and Yun, Sangdoo},
booktitle={European Conference on Computer Vision},
pages={289--305},
year={2024},
organization={Springer}
}
@article{simeoni2025dinov3,
title={{DINOv3}},
author={Sim{'e}oni, Oriane and Vo, Huy V. and Seitzer, Maximilian and Baldassarre, Federico and Oquab, Maxime
and Jose, Cijo and Khalidov, Vasil and Szafraniec, Marc and Yi, Seungeun and Ramamonjisoa, Micha{"e}l
and Massa, Francisco and Haziza, Daniel and Wehrstedt, Luca and Wang, Jianyuan and Darcet, Timoth{'e}e
and Moutakanni, Th{'e}o and Sentana, Leonel and Roberts, Claire and Vedaldi, Andrea and Tolan, Jamie
and Brandt, John and Couprie, Camille and Mairal, Julien and J{'e}gou, Herv{'e} and Labatut, Patrick
and Bojanowski, Piotr},
year={2025},
eprint={2508.10104},
url={https://arxiv.org/abs/2508.10104},
}
@article{lingbot-vision2026,
title={Vision Pretraining for Dense Spatial Perception},
author={Fu, Zelin and Tan, Bin and Sun, Changjiang and Liu, Shaohui and Zheng, Kecheng and Xu, Yinghao
and Zhu, Xing and Shen, Yujun and Xue, Nan},
journal={arXiv preprint arXiv:2607.05247},
year={2026}
}
@article{khirodkarsapiens2,
title={Sapiens2},
author={Khirodkar, Rawal and Wen, He and Martinez, Julieta and Dong, Yuan and Su, Zhaoen and Saito, Shunsuke},
journal={arXiv preprint arXiv:2604.21681},
year={2026}
}