Bu model 2021-05-28 tarihinde HF papers'ta yayımlandı ve 2021-06-01 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

ByT5

ByT5, ham UTF-8 baytları üzerinde doğrudan çalışacak şekilde tasarlanmış, tokenizer gerektirmeyen T5 modelinin bir versiyonudur. Bu, herhangi bir dili işleyebileceği, yazım hataları gibi gürültülere karşı daha dayanıklı olduğu ve ön işleme hattı gerektirmediği için kullanımı daha basit olduğu anlamına gelir.

Tüm orijinal ByT5 checkpoint'lerini Google kuruluşu altında bulabilirsiniz.

ByT5'in farklı dil görevlerine nasıl uygulanacağına dair daha fazla örnek için T5 belgelerine başvurun.

Aşağıdaki örnek, Pipeline, AutoModel ve komut satırından metin üretmenin nasıl yapılacağını göstermektedir.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Kantizasyon

Quantization, ağırlıkları daha düşük bir hassasiyetle temsil ederek büyük modellerin bellek yükünü azaltır. Daha fazla kullanılabilir quantization backend'i için Quantization genel bakışına başvurun.

Aşağıdaki örnek, ağırlıkları yalnızca int4 olarak nicelleştirmek için torchao kullanır.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Notlar

• Toplu çıkarım ve eğitim için tokenizer'ın kullanılması önerilir.

• Aşağıdaki örnek, modelin bir tokenizer olmadan nasıl kullanılacağını gösterir.

  Kopyalandı

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• ByT5, {extra_id_0} gibi sentinel token'ları yerine maskeleme için üst bayt değerlerini (258, 257 vb.) kullanır.

  Kopyalandı

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer