Bu model 2025-12-17 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur. Bu model duyurulacaktır

Pixio

Pixio, derinlik tahmini, anlamsal segmentasyon, ileri yönlü 3B yeniden yapılandırma, robotik ve görüntü sınıflandırması gibi çeşitli aşağı akış görevleri için ViT’yi özellik çıkarıcı olarak kullanan bir görme temel modelidir. Masked Autoencoder (MAE) ön eğitim çerçevesi üzerine inşa edilmiştir ve dört minimal ama kritik güncelleme içerir: 1) daha derin çözücü, 2) daha büyük maskeleme granülerliği, 3) daha fazla sınıf token’ı ve 4) web ölçeğinde özenle derlenmiş eğitim verisi.

Tüm orijinal Pixio kontrol noktalarını Pixio koleksiyonunda bulabilirsiniz.

Aşağıdaki örnek, AutoModel sınıfı ile bir gömme (embedding) vektörü elde etmenin nasıl yapıldığını göstermektedir.

import requests
from PIL import Image

from transformers import AutoImageProcessor, AutoModel


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("facebook/pixio-vith16")
model = AutoModel.from_pretrained("facebook/pixio-vith16", device_map="auto")

inputs = processor(images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)
features_norm = outputs.last_hidden_state # class tokens + patch tokens after last LayerNorm
features = outputs.hidden_states[-1] # class tokens + patch tokens before last LayerNorm

Notlar

• Aşağıdaki örnek, çıktı tensörünün nasıl bölündüğünü gösterir:

  • tüm görüntü için küresel gömme kümesi, yaygın olarak CLS belirteci olarak adlandırılır; sınıflandırma ve geri getirme işlemleri için faydalıdır. Bunları ortalayabilirsiniz (önerilen) veya kanal boyutu boyunca birleştirebilirsiniz.
  • Girdi görüntüsünün her 16x16 yaması için birer adet olmak üzere yerel gömme kümesi, derinlik tahmini ve anlamsal segmentasyon gibi yoğun görevlerde kullanışlıdır.
  Kopyalandı

  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  print(image.height, image.width)  # [480, 640]
  
  processor = AutoImageProcessor.from_pretrained('facebook/pixio-vith16')
  model = AutoModel.from_pretrained('facebook/pixio-vith16', device_map="auto")
  patch_size = model.config.patch_size
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  print(inputs.pixel_values.shape)  # [1, 3, 256, 256]
  batch_size, rgb, img_height, img_width = inputs.pixel_values.shape
  num_patches_height, num_patches_width = img_height // patch_size, img_width // patch_size
  num_patches_flat = num_patches_height * num_patches_width
  
  outputs = model(**inputs)
  last_hidden_states = outputs.last_hidden_state
  print(last_hidden_states.shape)  # [1, 8 + 256, 1280]
  assert last_hidden_states.shape == (batch_size, model.config.n_cls_tokens + num_patches_flat, model.config.hidden_size)
  
  cls_tokens = last_hidden_states[:, :model.config.n_cls_tokens, :]
  patch_features = last_hidden_states[:, model.config.n_cls_tokens:, :].unflatten(1, (num_patches_height, num_patches_width))

• torch.compile kullanarak çıkarımı hızlandırın.

  Kopyalandı

  import torch
  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  
  processor = AutoImageProcessor.from_pretrained('facebook/pixio-vith16')
  model = AutoModel.from_pretrained('facebook/pixio-vith16', device_map="auto")
  
  compiled_model = torch.compile(model)
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  outputs = compiled_model(**inputs)
  last_hidden_states = outputs.last_hidden_state

PixioConfig

>>> from transformers import PixioConfig, PixioModel

>>> # Initializing a Pixio pixio-huge style configuration
>>> configuration = PixioConfig()

>>> # Initializing a model (with random weights) from the pixio-huge style configuration
>>> model = PixioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PixioModel

PixioBackbone

>>> from transformers import AutoImageProcessor, AutoBackbone
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> processor = AutoImageProcessor.from_pretrained("facebook/pixio-huge")
>>> model = AutoBackbone.from_pretrained(
...     "facebook/pixio-huge", out_features=["stage7", "stage15", "stage23", "stage31"]
... )

>>> inputs = processor(image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 1280, 16, 16]