Mô hình này được công bố trên HF papers vào ngày 30/03/2020 và được đóng góp cho Hugging Face Transformers vào ngày 07/04/2022.

RegNet

Tổng quan

Mô hình RegNet được đề xuất trong Designing Network Design Spaces bởi Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Dollár.

Các tác giả thiết kế các không gian tìm kiếm để thực hiện Tìm kiếm Kiến trúc Mạng nơ-ron (Neural Architecture Search - NAS). Họ bắt đầu từ một không gian tìm kiếm có số chiều cao và sau đó giảm dần không gian tìm kiếm một cách lặp lại bằng cách áp dụng các ràng buộc dựa trên thực nghiệm, được rút ra từ các mô hình có hiệu suất tốt nhất được lấy mẫu bởi không gian tìm kiếm hiện tại.

Tóm tắt từ bài báo như sau:

Trong công trình này, chúng tôi trình bày một nguyên tắc thiết kế mạng mới. Mục tiêu của chúng tôi là giúp thúc đẩy sự hiểu biết về thiết kế mạng và khám phá các nguyên tắc thiết kế có khả năng khái quát hóa qua nhiều bối cảnh. Thay vì tập trung vào việc thiết kế các phiên bản mạng riêng lẻ, chúng tôi thiết kế các không gian thiết kế mạng tham số hóa các quần thể mạng. Quy trình tổng thể tương tự như việc thiết kế thủ công truyền thống các mạng, nhưng được nâng lên cấp độ không gian thiết kế. Sử dụng phương pháp luận của chúng tôi, chúng tôi khám phá khía cạnh cấu trúc của thiết kế mạng và đạt được một không gian thiết kế có số chiều thấp, bao gồm các mạng đơn giản, đều đặn mà chúng tôi gọi là RegNet. Ý tưởng cốt lõi của tham số hóa RegNet lại đơn giản đến bất ngờ: bề rộng và độ sâu của các mạng tốt có thể được giải thích bằng một hàm tuyến tính lượng tử hóa. Chúng tôi phân tích không gian thiết kế RegNet và đạt được những phát hiện thú vị không khớp với thực hành thiết kế mạng hiện tại. Không gian thiết kế RegNet cung cấp các mạng đơn giản và nhanh, hoạt động tốt trên một phạm vi rộng các chế độ flop. Với các cài đặt huấn luyện và số flop tương đương, các mô hình RegNet vượt trội hơn các mô hình EfficientNet phổ biến trong khi nhanh hơn tới 5 lần trên GPU.

Mô hình này được đóng góp bởi Francesco. Mã gốc có thể được tìm thấy tại đây.

Mô hình 10B lớn từ Self-supervised Pretraining of Visual Features in the Wild, được huấn luyện trên một tỷ hình ảnh Instagram, có sẵn trên hub

Tài nguyên

Danh sách các tài nguyên chính thức của Hugging Face và cộng đồng (được đánh dấu bằng 🌎) để giúp bạn bắt đầu với RegNet.

• RegNetForImageClassification được hỗ trợ bởi notebook này.
• Xem thêm: Hướng dẫn tác vụ phân loại hình ảnh

Nếu bạn quan tâm đến việc gửi một tài nguyên để được đưa vào đây, hãy thoải mái mở một Pull Request và chúng tôi sẽ xem xét! Lý tưởng nhất là tài nguyên nên minh họa một điều gì đó mới thay vì sao chép một tài nguyên hiện có.

RegNetConfig

>>> from transformers import RegNetConfig, RegNetModel

>>> # Initializing a RegNet regnet-y-40 style configuration
>>> configuration = RegNetConfig()
>>> # Initializing a model from the regnet-y-40 style configuration
>>> model = RegNetModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

RegNetModel

RegNetForImageClassification

>>> from transformers import AutoImageProcessor, RegNetForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/regnet-y-040")
>>> model = RegNetForImageClassification.from_pretrained("facebook/regnet-y-040")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...