Transformers documentation
PhoBERT
Bu model, 2020-03-02 tarihinde HF papers'ta yayımlandı ve 2020-11-16 tarihinde Hugging Face Transformers'a katkıda bulunuldu.
PhoBERT
Genel Bakış
PhoBERT modeli, Dat Quoc Nguyen ve Anh Tuan Nguyen tarafından PhoBERT: Pre-trained language models for Vietnamese makalesinde önerilmiştir.
Makalenin özeti aşağıdaki gibidir:
PhoBERT'i, PhoBERT-base ve PhoBERT-large olmak üzere iki sürümle sunuyoruz; bunlar, Vietnamlıca için ön eğitilmiş ilk kamuya açık büyük ölçekli tek dilli dil modelleridir. Deneysel sonuçlar, PhoBERT'in son zamanlardaki en iyi ön eğitilmiş çok dilli model olan XLM-R'ı (Conneau ve ark., 2020) tutarlı bir şekilde geride bıraktığını ve Vietnamlıca'ya özgü çok sayıda NLP görevinde, bunların arasında kelimelerin türü etiketleme (Part-of-speech tagging), bağımlı ayrıştırma (Dependency parsing), ad varlığı tanıma (Named-entity recognition) ve doğal dil çıkarımı (Natural language inference), en iyi performansı (state-of-the-art) iyileştirdiğini göstermektedir.
Bu model dqnguyen tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.
Kullanım örneği
import torch
from transformers import AutoModel, AutoTokenizer
phobert = AutoModel.from_pretrained("vinai/phobert-base", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base")
# INPUT TEXT MUST BE ALREADY WORD-SEGMENTED!
line = "Tôi là sinh_viên trường đại_học Công_nghệ ."
input_ids = torch.tensor([tokenizer.encode(line)])
with torch.no_grad():
features = phobert(input_ids) # Models outputs are now tuplesPhoBERT uygulaması, tokenizasyon dışında BERT ile aynıdır. Yapılandırma sınıfları ve parametreleri hakkında bilgi için BERT belgelendirmesine başvurun. PhoBERT'e özgü tokenizer aşağıda belgelenmiştir.
PhobertTokenizer
sınıf transformers.PhobertTokenizer
< source >( vocab_filemerges_filebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'**kwargs )
Parametreler
- vocab_file (
str) — Sözlük dosyasının yolu. - merges_file (
str) — Merges dosyasının yolu. - bos_token (
str, isteğe bağlı, varsayılan olarak"<s>") — Ön eğitim sırasında kullanılan dizinin başlangıç token'ı. Bir dizi sınıflandırıcı token'ı olarak kullanılabilir. Özel token'lar kullanılarak bir dizi oluşturulduğunda, dizinin başlangıcı için kullanılan token bu değildir. Kullanılan token, cls_token'dır.Özel jetonlar kullanılarak bir dizi oluşturulduğunda, dizinin başlangıcı için kullanılan jeton bu değildir. Kullanılan jeton
cls_token'dir. - eos_token (
str, isteğe bağlı, varsayılan olarak"</s>") — Dizi sonu belirteci. Özel belirteçler kullanılarak bir dizi oluşturulduğunda, dizi sonu için kullanılan belirteç bu değildir. Kullanılan belirteç sep_token'dir.Özel jetonlar kullanılarak bir dizi oluşturulduğunda, dizinin sonu için kullanılan jeton bu değildir. Kullanılan jeton
sep_token'dir. - sep_token (
str, isteğe bağlı, varsayılan"</s>") — Ayrıştırıcı belirteci; birden fazla diziden bir dizi oluşturulurken kullanılır, örneğin dizi sınıflandırma için iki dizi veya soru cevaplamada bir metin ve bir soru için. Özel belirteçlerle oluşturulan bir dizinin son belirteci olarak da kullanılır. - cls_token (
str, isteğe bağlı, varsayılan"<s>") — Dizilim sınıflandırması yapılırken (token başına sınıflandırma yerine tüm dizilimin sınıflandırılması) kullanılan sınıflandırıcı tokenıdır. Özel tokenlarla oluşturulduğunda dizilimin ilk tokenıdır. - unk_token (
str, isteğe bağlı, varsayılan"<unk>") — Bilinmeyen token. Sözlükte yer almayan bir token, bir kimliğe dönüştürülemez ve bunun yerine bu token olarak ayarlanır. - pad_token (
str, isteğe bağlı, varsayılan"<pad>") — Doldurma için kullanılan jeton, örneğin farklı uzunluklardaki dizileri toplu işleme (batching) sırasında. - mask_token (
str, isteğe bağlı, varsayılan"<mask>") — Değerleri maskelemek için kullanılan belirteç. Bu, modelin maskeli dil modelleme ile eğitildiğinde kullanılan belirteçtir. Modelin tahmin etmeye çalışacağı belirteç budur.
PhoBERT tokenizer'ı oluşturun. Byte-Pair-Encoding tabanlıdır.
Bu tokenizer, ana yöntemlerin çoğunu içeren PreTrainedTokenizer sınıfından devralır. Kullanıcıların bu yöntemler hakkında daha fazla bilgi için bu üst sınıfa başvurması gerekir.
Mevcut bir sözlüğü bir metin dosyasından yükler ve sembollerini bu örneğe ekler.
build_inputs_with_special_tokens
< source >( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]
Parametreler
- token_ids_0 (
list[int]) — Özel jetonların ekleneceği kimlik listesi. - token_ids_1 (
list[int], isteğe bağlı) — Sıra çiftleri için isteğe bağlı ikinci kimlik listesi.
Dönüş değeri
list[int]
Uygun özel jetonlarla girdi kimlikleri listesi.
Sıralı sınıflandırma görevleri için bir dizi veya dizi çiftinden model girdilerini birleştirerek ve özel jetonlar ekleyerek oluşturun. Bir PhoBERT dizisinin formatı aşağıdaki gibidir:
- tek dizi:
<s> X </s> - dizi çifti:
<s> A </s></s> B </s>
Bir dizi belirteci (dizgi) tek bir dizgide birleştirir.
create_token_type_ids_from_sequences
< source >( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]
Sıralama çifti sınıflandırma görevinde kullanılacak şekilde, iletilen iki sıralamadan bir maske oluşturun. PhoBERT, token türü kimliklerini kullanmadığından, sıfırlardan oluşan bir liste döndürülür.
get_special_tokens_mask
< source >( token_ids_0: listtoken_ids_1: list[int] | None = Nonealready_has_special_tokens: bool = False ) → list[int]
Parametreler
- token_ids_0 (
list[int]) — Kimlik listesi. - token_ids_1 (
list[int], isteğe bağlı) — Sıra çiftleri için isteğe bağlı ikinci kimlik listesi. - already_has_special_tokens (
bool, isteğe bağlı, varsayılanFalse) — Token listesinin, model için özel token'larla zaten biçimlendirilmiş olup olmadığı.
Dönüş değeri
list[int]
[0, 1] aralığında tamsayıların bir listesi: özel bir jeton için 1, bir dizi jetonu için 0.
Özel tokenler eklenmemiş bir token listesinden dizi kimliklerini alır. Bu yöntem, tokenizer'ın prepare_for_model yöntemi kullanılarak özel tokenler eklenirken çağrılır.