Modeller

Bu sayfa, timm modellerinin oluşturulması ve keşfedilmesi, önceden eğitilmiş yapılandırmaları ve checkpoint / Hub yardımcıları için API referans belgelerini ve timm modelleri tarafından paylaşılan arayüzün genel bakışını içerir. Bireysel mimariler, model özetlerinde ve model bazlı sayfalarda ele alınır.

Kullanım

Modeller, create_model ile ad üzerinden oluşturulur. Ad, timm içinde kayıtlı bir mimariyi seçer; isteğe bağlı olarak . sonrasında bir önceden eğitilmiş etiketle (resnet50.a1_in1k) veya bir kaynak öneki aracılığıyla Hugging Face Hub'daki veya yerel bir klasördeki bir modeli seçer. create_model'in kendisi kullanmadığı anahtar kelime argümanları, modelin giriş noktası fonksiyonu üzerinden model sınıfı yapıcısına aktarılır; bu sayede modelle ilgili herhangi bir argüman ayarlanabilir.

import torch
import timm

# Random init (pretrained=False is the default). The tag selects the pretrained cfg, and the weights loaded with
# pretrained=True. Without a tag the architecture's default tag is used.
model = timm.create_model('vit_tiny_patch16_224.augreg_in21k_ft_in1k')
print(model.pretrained_cfg['mean'], model.pretrained_cfg['crop_pct'])  # (0.5, 0.5, 0.5) 0.9

# Model arguments pass through to the model class, a 10 class head, single channel input and regularization.
model = timm.create_model('resnet50', num_classes=10, in_chans=1, drop_rate=0.2, drop_path_rate=0.05)

# Discover models, filters are fnmatch wildcards.
timm.list_models('convnext*')  # architecture names
timm.list_pretrained('resnet50.*')  # architecture.tag names w/ pretrained weights
timm.list_models(module='vision_transformer', pretrained=True)

# Image preprocessing to match the model's pretrained cfg (input size, interpolation, crop, mean / std).
model = timm.create_model('vit_tiny_patch16_224.augreg_in21k_ft_in1k')
data_config = timm.data.resolve_model_data_config(model)
transform = timm.data.create_transform(**data_config, is_training=False)

x = torch.randn(2, 3, 224, 224)
features = model.forward_features(x)  # unpooled features, (2, 197, 192)
pre_logits = model.forward_head(features, pre_logits=True)  # pooled features, (2, 192)
logits = model.forward_head(features)  # same as model(x), (2, 1000)

model.reset_classifier(5)  # replace the classifier w/ a new 5 class one
model.set_input_size(img_size=(384, 384))  # resample the position embedding for a new resolution
logits = model(torch.randn(2, 3, 384, 384))  # (2, 5)

Eğitim betiği (train.py) ortak argümanları bu bayraklar aracılığıyla sunar:

• --model modelini seçer.
• --pretrained önceden eğitilmiş ağırlıkları yükler.
• --num-classes sınıflandırıcı boyutunu (num_classes) ayarlar.
• --in-chans, giriş kanallarını (in_chans) ayarlar.
• --gp, küresel havuzlama türünü (global_pool) ayarlar.
• --drop, sınıflandırıcı dropout'unu (drop_rate) ayarlar.
• --drop-path, stochastik derinliği (drop_path_rate) ayarlar.
• --pretrained-path, sınıflandırıcı / giriş konvolüsyonu uyarlama ile yerel bir dosyadan önceden eğitilmiş ağırlıkları yükler (pretrained_cfg_overlay=dict(file=...)).
• --initial-checkpoint, model oluşturulduktan sonra uyarlama yapılmadan bir checkpoint yükler (checkpoint_path).
• --model-kwargs key=value ... diğer model argümanlarını iletir.

Giriş için hızlı başlangıç bölümüne bakın.

Model adları

Hub ve yerel kaynaklar, pretrained=False ile bile yapılandırmayı okur; ağırlıklar yalnızca pretrained=True ile yüklenir. Kaynak öneki içermeyen ve /, \ veya : karakterlerinden biri içeren bir ad, aynı ada sahip bir kayıt defteri modeline geri düşmek yerine ValueError fırlatır. hf_hub:, hf-hub: için kullanımdan kaldırılmış bir takma addır.

Ortak argümanlar

• pretrained, önceden eğitilmiş cfg ağırlıklarını, ayarlanmışsa state_dict veya file içinden, aksi halde huggingface_hub yüklüyse Hub'dan (hf_hub_id) veya url adresinden yükler. Aşağıdaki sınıflandırıcı / giriş konvolüsyon uyarlama işlemi, ince ayar için önceden eğitilmiş bir modelin tek çağrıda oluşturulmasını sağlar.
• num_classes sınıflandırıcı boyutunu belirler, 0 sınıflandırıcıyı kaldırır. Varsayılan değer, önceden eğitilmiş cfg'den gelir. Önceden eğitilmiş ağırlıklar yüklenirken, farklı bir sınıf sayısı sınıflandırıcı ağırlıklarını atar (rastgele başlatma durumunda bırakılır).
• global_pool havuzlama türünü belirler; seçenekler modele özgüdür (ör. çoğu konvolüsyonel ağ için avg, max, avgmax, catavgmax, ViT için token, avg, map), '' havuzlamayı devre dışı bırakır.
• in_chans girdi kanallarını belirler. Varsayılan değer, önceden eğitilmiş cfg'den gelir. Önceden eğitilmiş ağırlıklar yüklenirken, bu değer kaynak kontrol noktasının kanal sayısından (input_size[0] önceden eğitilmiş cfg'de) farklıysa, desteklenen durumlarda ilk conv ağırlıkları uyarlanır.
• drop_rate, çoğu model tarafından desteklenen sınıflandırıcı dropout değerini ayarlar.
• drop_path_rate, çoğu model tarafından desteklenen stohastik derinliği ayarlar.
• img_size, sabit giriş boyutuna sahip ViT tarzı ve diğer modellerin bir argümanıdır; aksi belirtilmedikçe, önceden eğitilmiş input_size yapılandırması için oluşturulurlar.
• ViT ve EVA ailelerinde dynamic_img_size=True, her ileri geçişte konum gömülmesini giriş boyutuna yeniden örnekler.
• features_only (out_indices, output_stride, feature_cls ile) modeli, özellik çıkarımı bölümüne bakınız, bir özellik omurgası olarak sarar ve özellik haritaları döndürür.
• pretrained_cfg, önceden eğitilmiş cfg'yi (bir etiket, sözlük veya PretrainedCfg) değiştirir.
• pretrained_cfg_overlay bazı alanlarını geçersiz kılar, örneğin pretrained_cfg_overlay=dict(file='weights.pth') yukarıdaki sınıflandırıcı / giriş konvolüsyonu uyarlama işlemiyle birlikte pretrained=True ağırlıklarını yerel bir dosyadan yükler (train.py içinde --pretrained-path parametresinin yaptığı gibi).
• checkpoint_path, model oluşturulduktan sonra load_checkpoint ile bir checkpoint yükler. Uyum sağlama olmadan katı bir yükleme yapılır; checkpoint varsa EMA ağırlıkları kullanılır.
• cache_dir, önceden eğitilmiş ağırlıkların ve Hub yapılandırmalarının indirme önbelleğini geçersiz kılar.
• device model sınıfına iletilir ve parametreler doğrudan cihaz üzerinde oluşturulur. device='meta', ağırlıkları için bellek ayırmadan bir model oluşturur.
• dtype model sınıfına iletilir ve parametreler doğrudan bu dtype ile oluşturulur.
• scriptable, TorchScript betiği için katman yapılandırma bayraklarını ayarlar.
• exportable, dışa aktarma / izleme için katman yapılandırma bayraklarını ayarlar.
• no_jit, jit scriptlenmiş katmanları devre dışı bırakmak için katman yapılandırma bayraklarını ayarlar.

None olarak ayarlanan argümanlar modele ulaşmadan önce düşürülür, bu nedenle model varsayılanları geçerli olur. Model sınıfının kabul etmediği argümanlar, çoğu modelde TypeError yükseltir; birkaç model bilinmeyen argümanları yok sayar.

Önceden eğitilmiş yapılandırma

Mimariler, model ile kayıtlı, etiket başına bir adet olmak üzere bir veya daha fazla önceden eğitilmiş cfg'ye sahiptir. Bir cfg, ağırlıkları (konum, lisans, kaynak) ve modelin nasıl eğitildiğini ve bunlarla nasıl değerlendirilmesi gerektiğini açıklar. create_model ile oluşturulan modellerin cfg'si, model.pretrained_cfg içinde bir dict olarak bulunur (model.default_cfg bir takma addır), kayıt defteri sürümleri ise get_pretrained_cfg tarafından PretrainedCfg örnekleri olarak döndürülür.

Giriş alanları, veri seti için resolve_data_config / resolve_model_data_config tarafından dönüştürülen veri yapılandırması, dönüşümler ve yükleyicidir. cfg, kaynak kontrol noktasını açıklar ve model oluşturulduğunda veya farklı şekilde değiştirildiğinde (num_classes, in_chans, img_size, set_input_size()) güncellenmez. Modelin mevcut giriş kanalları, boyutu ve sabit boyut kısıtı ayrı olarak izlenir: get_model_input_config bunları döndürür ve resolve_input_data_config bir veri yapılandırmasını bunlara göre çözer (eğitim, doğrulama ve çıkarım betikleri gibi). get_model_args modelin şu anki haliyle yeniden oluşturulması için gerekli argümanları döndürür ve save_for_hf bunları dışa aktarılan yapılandırmaya yazar. Ayrıntılar için modelleri uyarla ve dışa aktar bölümüne bakın.

Model arayüzü

timm modelleri, forward() dışında ortak bir arayüz paylaşır: forward_features() / forward_head() ayrımı, sınıflandırıcı sıfırlama, ara özellikler, giriş yeniden boyutlandırma ve gradyan denetimi ile parametre gruplandırma gibi eğitim kancaları. Bu, hangi model ailelerinin hangi kısımları desteklediği dahil olmak üzere timm Model API'sinde açıklanmıştır.

Kontrol Noktaları ve Hub

• load_checkpoint, bir kontrol noktası dosyasını (PyTorch veya .safetensors) modele yükler.
• load_state_dict bir kontrol noktası dosyasını okur ve durum sözlüğünü döndürür.
• resume_checkpoint, train.py kontrol noktasının model, optimizör ve kayıp ölçekleyici durumunu geri yükler ve devam edilecek dönemi döndürür.

load_checkpoint ve load_state_dict, varsayılan olarak bir train.py kontrol noktasının EMA ağırlıklarını seçer (use_ema) ve module. (DDP) ile _orig_mod. (torch.compile) anahtar öneklerini kaldırır.

• save_for_hf, ağırlıkları ve bir config.json dosyasını (mimari, önceden eğitilmiş cfg, model_args, label_names) bir klasöre yazar.
• push_to_hf_hub, eğer repoda model kartı yoksa, ağırlıkları ve yapılandırmayı üretilmiş bir model kartıyla birlikte Hub repoyu yükler.

Model daha sonra hf-hub: veya local-dir: ile oluşturulur, bkz. modelleri paylaşma ve yükleme.

import timm
from timm.models import save_for_hf

model = timm.create_model('resnet18', num_classes=4)
# ... fine-tune
save_for_hf(model, 'my_resnet18', model_config=dict(label_names=['a', 'b', 'c', 'd']), safe_serialization=True)
model = timm.create_model('local-dir:my_resnet18', pretrained=True)  # 4 classes, weights and labels restored
print(model.pretrained_cfg['label_names'])

Özel modeller

register_model ile süslenmiş bir model giriş noktası fonksiyonu, create_model ile oluşturulabilmesi ve list_models ile bulunabilmesi için kayıt defterine eklenir. timm içindeki giriş noktaları, modelini build_model_with_cfg ile oluşturur; bu fonksiyon önceden eğitilmiş cfg, önceden eğitilmiş ağırlık yükleme ve features_only işlemlerini yönetir.

API

Model oluşturma

>>> from timm import create_model

>>> # Create a MobileNetV3-Large model with no pretrained weights.
>>> model = create_model('mobilenetv3_large_100')

>>> # Create a MobileNetV3-Large model with pretrained weights.
>>> model = create_model('mobilenetv3_large_100', pretrained=True)
>>> model.num_classes
1000

>>> # Create a MobileNetV3-Large model with pretrained weights and a new head with 10 classes.
>>> model = create_model('mobilenetv3_large_100', pretrained=True, num_classes=10)
>>> model.num_classes
10

>>> # Create a Dinov2 small model with pretrained weights and save weights in a custom directory.
>>> model = create_model('vit_small_patch14_dinov2.lvd142m', pretrained=True, cache_dir="/data/my-models")
>>> # Data will be stored at */data/my-models/models--timm--vit_small_patch14_dinov2.lvd142m/*

Model keşfi

Önceden eğitilmiş yapılandırma

Güncel model girişi ve dışa aktarma

Kontrol Noktaları ve Hub

Özel modeller