Daft

Daft, her modülite ve ölçekte basit ve güvenilir veri işleme sağlayan yüksek performanslı bir veri motorudur. Daft, Hugging Face veri setlerinden okuma ve bunlara yazma işlemleri için yerel destek sunar.

Başlangıç

Başlamak için huggingface özelliğiyle daft paketini pip ile yükleyin:

pip install 'daft[huggingface]'

Oku

Daft, daft.read_huggingface() işlevi veya hf://datasets/ protokolü aracılığıyla veri kümelerini doğrudan Hugging Face Hub'dan okuyabilir.

Tüm Bir Veri Setini Okuma

daft.read_huggingface() kullanarak bir veri setini kolayca yükleyebilirsiniz.

import daft

df = daft.read_huggingface("username/dataset_name")

Bu, tüm veri setini bir DataFrame'e okuyacaktır.

Belirli Dosyaları Okuma

Sadece tüm veri setlerini okumakla kalmaz, aynı zamanda bir veri seti deposundan bireysel dosyalar da okuyabilirsiniz. Bir yol parametresi alan bir okuma işlevi (örneğin daft.read_parquet(), daft.read_csv() veya daft.read_json()) kullanarak, hf://datasets/ önekiyle bir Hugging Face veri seti yolu belirtin:

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

Yaz

Daft, daft.DataFrame.write_huggingface kullanarak Parquet dosyalarını bir Hugging Face veri seti deposuna yazabilir. Daft, daha hızlı ve kopyasız yazma işlemleri için Content-Defined Chunking ve Xet destekler.

Temel kullanım:

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

Daha fazla bilgi için DataFrame.write_huggingface API sayfasına bakın.

Kimlik Doğrulama

daft.io.HuggingFaceConfig içindeki token parametresi, kimlik doğrulama gerektiren istekler için (ör. özel veri seti depolarını okuma veya bir veri seti deposuna yazma) Hugging Face erişim belirteci belirtmek için kullanılabilir.

Belirtilen bir jetonla veri seti yükleme örneği:

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)