SwiftFormer

Thể loại: Hiệu quả/Di động · Code: timm/models/swiftformer.py · Kiến trúc: 4 · Trọng số tiền huấn luyện: 4 (4 có kết quả ImageNet-1k)

SwiftFormer thay thế các phép nhân ma trận bậc hai của self-attention bằng additive attention hiệu quả, dành cho các ứng dụng thị giác di động thời gian thực.

Bài báo

• SwiftFormer: Chú ý cộng hiệu quả cho các ứng dụng thị giác di động thời gian thực dựa trên Transformer

Cách sử dụng

Xem Quickstart để tải trọng số được huấn luyện trước, tiền xử lý ảnh và tinh chỉnh, và Feature Extraction để sử dụng các mô hình làm bộ xương sống.

>>> import timm
>>> model = timm.create_model('swiftformer_l3.dist_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Hỗ trợ API mô hình

✓ được hỗ trợ, ✓ (vuông) chỉ hoạt động với kích thước vuông, ✗ không được hỗ trợ, – không cần thiết (mô hình đã chấp nhận mọi kích thước đầu vào). Được kiểm tra bằng cách chạy từng tính năng trên một mô hình được khởi tạo ngẫu nhiên (SwiftFormer với swiftformer_xs ở 224), các kiến trúc khác cùng lớp được kỳ vọng sẽ hoạt động tương tự. Xem trang Model API để biết chi tiết.

Kiến trúc

GMACs và số lượng tham số được tính cho kích thước đầu vào và bộ phân loại mặc định của mỗi kiến trúc, từ kết quả benchmark.

Trọng số được huấn luyện trước

Top-1 là độ chính xác kiểm tra trên ImageNet-1k từ results-imagenet.csv ở kích thước eval được liệt kê, - nếu trọng số không có kết quả ImageNet-1k (ví dụ trọng số pretraining hoặc image-text). Classes là kích thước của bộ phân loại được huấn luyện trước, không có đối với các trọng số không có bộ phân loại.

Trích dẫn

@InProceedings{Shaker_2023_ICCV,
    author    = {Shaker, Abdelrahman and Maaz, Muhammad and Rasheed, Hanoona and Khan, Salman and Yang, Ming-Hsuan and Khan, Fahad Shahbaz},
    title     = {SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
    year      = {2023},
}