Vision Transformer (ViT)

Thể loại: ViT · Code: timm/models/vision_transformer.py · Kiến trúc: 163 · Trọng số tiền huấn luyện: 309 (96 có kết quả ImageNet-1k)

Vision Transformer (ViT) chia một hình ảnh thành các mảnh (patch) có kích thước cố định, nhúng tuyến tính chúng và xử lý chuỗi token kết quả bằng một bộ mã hóa Transformer tiêu chuẩn. Module này chứa lớp VisionTransformer và trọng số cho các mô hình ViT gốc, “How to train your ViT?” (AugReg) và FlexiViT, cùng nhiều tháp ảnh được huấn luyện trước theo phương pháp tự giám sát và ảnh-văn bản (CLIP, SigLIP) chia sẻ kiến trúc này.

Bài báo

• Một hình ảnh đáng giá 16x16 từ: Transformers cho nhận dạng hình ảnh ở quy mô lớn
• Cách huấn luyện ViT của bạn? Dữ liệu, Tăng cường và Định quy trong Vision Transformers
• FlexiViT: Một mô hình cho mọi kích thước patch
• Đa dạng hóa Vision Transformers
• Ba điều mọi người nên biết về Vision Transformers
• Mở rộng Vision Transformers lên 22 tỷ tham số
• Đưa ViT vào hình dạng: Các quy luật mở rộng cho thiết kế mô hình tối ưu về mặt tính toán
• Vision Transformers Cần Registers
• Differential Transformer
• Khi Vision Transformers Vượt Trội Hơn ResNets mà Không Cần Tiền Huấn Luyện hay Tăng Cường Dữ Liệu Mạnh
• Pretraining ImageNet-21K cho tất cả mọi người
• Các thuộc tính mới nổi trong Vision Transformers tự giám sát
• DINOv2: Học các đặc trưng thị giác mạnh mẽ không cần giám sát
• Masked Autoencoders là những bộ học thị giác có khả năng mở rộng
• Học tự giám sát từ hình ảnh bằng Kiến trúc Dự đoán Nhúng Liên hợp
• EVA: Khám phá giới hạn của việc học biểu diễn thị giác có che ở quy mô lớn
• Hình ảnh như một ngoại ngữ: Tiền huấn luyện BEiT cho tất cả các tác vụ thị giác và thị giác-ngôn ngữ
• Pre-training tự hồi quy đa phương thức cho các bộ mã hóa thị giác lớn
• Học các mô hình thị giác có thể chuyển giao từ sự giám sát bằng ngôn ngữ tự nhiên
• Các quy luật mở rộng có thể tái lập cho việc học ngôn ngữ-hình ảnh tương phản
• DataComp: Tìm kiếm thế hệ tiếp theo của các bộ dữ liệu đa phương tiện
• Mạng Lọc Dữ Liệu
• Giải mã dữ liệu CLIP
• Tổng hợp: Mô tả hình ảnh bằng cách căn chỉnh lại văn bản thay thế
• Meta CLIP 2: Công thức mở rộng quy mô toàn cầu
• TinyCLIP: Chưng cất CLIP qua mô phỏng độ tương thích và kế thừa trọng số
• MobileCLIP2: Cải thiện huấn luyện tăng cường đa phương thức
• Thất Sigmoid cho Tiền huấn luyện Ngôn ngữ và Hình ảnh
• SigLIP 2: Bộ mã hóa thị giác-ngôn ngữ đa ngôn ngữ với khả năng hiểu ngữ nghĩa, định vị và đặc trưng dày đặc được cải thiện
• PaliGemma: VLM 3B đa năng cho chuyển giao
• PaliGemma 2: Một gia đình các VLM đa năng cho chuyển giao
• TIPSv2: Nâng cao tiền huấn luyện thị giác-ngôn ngữ bằng cách tăng cường căn chỉnh patch-văn bản
• Mini-InternVL: Mô hình đa phương thức bỏ túi linh hoạt với 5% tham số và 90% hiệu suất
• Mở rộng giới hạn hiệu suất của các mô hình đa phương thức mã nguồn mở bằng cách mở rộng quy mô mô hình, dữ liệu và thời điểm kiểm thử

Được tham chiếu bởi trọng số được huấn luyện trước:

• arXiv:2203.07845
• arXiv:2412.07679
• arXiv:2601.17237

Cách sử dụng

Xem Quickstart để tải trọng số được huấn luyện trước, tiền xử lý ảnh và tinh chỉnh, và Feature Extraction để sử dụng các mô hình làm bộ xương sống.

>>> import timm
>>> model = timm.create_model('vit_base_patch16_224.augreg2_in21k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Hỗ trợ API mô hình

✓ được hỗ trợ, ✓ (vuông) chỉ hoạt động với kích thước vuông, ✗ không được hỗ trợ, – không cần thiết (mô hình đã chấp nhận bất kỳ kích thước đầu vào nào). Được kiểm tra bằng cách chạy từng tính năng trên một mô hình được khởi tạo ngẫu nhiên (VisionTransformer với vit_tiny_patch16_224 ở 224), các kiến trúc khác cùng lớp được kỳ vọng sẽ hoạt động tương tự. Xem trang Model API để biết chi tiết.

Kiến trúc

GMACs và số lượng tham số được tính cho kích thước đầu vào và bộ phân loại mặc định của mỗi kiến trúc, từ kết quả benchmark.

Trọng số được huấn luyện trước

Top-1 là độ chính xác kiểm tra trên ImageNet-1k từ results-imagenet.csv ở kích thước eval được liệt kê, - nếu trọng số không có kết quả ImageNet-1k (ví dụ trọng số pretraining hoặc image-text). Classes là kích thước của bộ phân loại được huấn luyện trước, không có đối với các trọng số không có bộ phân loại.

Trọng số được nhóm theo nguồn: bài báo hoặc nguồn gốc được nêu trong cấu hình tiền huấn luyện, nếu không thì một tổ chức Hub khác với timm, nếu không thì phần đầu của thẻ tiền huấn luyện (architecture.tag). Các nguồn chỉ có một trọng số được liệt kê dưới other.

v2 tags

webli tags

sbb tags

tags augreg

laion2b tags

openai tags

metaclip thẻ

apple tags

pali tags

lvd142m tags

tags gốc

pali2 thẻ

sbb2 tags

laion400m thẻ

metaclip2 thẻ

datacompxl thẻ

dfn2b tags

dfn5b tags

dino tags

thẻ indomain

sw tags

tinyclip tags

arXiv:2412.07679

Cấu hình được huấn luyện trước tham chiếu đến arXiv:2412.07679.

mae tags

tags của augreg2

ogvl tags

thẻ sam

arXiv:2601.17237

Cấu hình được huấn luyện trước tham chiếu đến arXiv:2601.17237.

Khác