Transformers documentation

Экстракторы признаков

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Экстракторы признаков

Feature extractors предобрабатывают аудиоданные в нужный формат для конкретной модели. Они принимают исходный аудиосигнал и преобразуют его в тензор, который можно передать в модель. Форма тензора зависит от модели, но feature extractor корректно предобрабатывает аудиоданные для вас в зависимости от используемой модели. Feature extractors также содержат методы для дополнения (padding), усечения (truncation) и изменения частоты дискретизации (resampling).

Вызовите from_pretrained(), чтобы загрузить экстрактор признаков и конфигурацию его препроцессора из Hugging Face Hub или локального каталога. Конфигурация экстрактора признаков и препроцессора сохраняется в файле preprocessor_config.json.

Передайте аудиосигнал, как правило, хранящийся в array, в экстрактор признаков и установите параметр sampling_rate в значение частоты дискретизации предобученной аудио-модели. Важно, чтобы частота дискретизации аудиоданных совпадала с частотой дискретизации данных, на которых обучалась предобученная аудио-модель.

from transformers import AutoFeatureExtractor

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
processed_sample = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_sample
{'input_values': [array([ 9.4472744e-05,  3.0777880e-03, -2.8888427e-03, ...,
       -2.8888427e-03,  9.4472744e-05,  9.4472744e-05], dtype=float32)]}

Функция извлечения признаков возвращает входные данные input_values, готовые к обработке моделью.

В этом руководстве описаны классы экстракторов признаков и способы предобработки аудиоданных.

Классы экстракторов признаков

Фичер-экстракторы Transformers наследуются от базового класса SequenceFeatureExtractor, который является подклассом FeatureExtractionMixin.

  • SequenceFeatureExtractor предоставляет метод pad() для выравнивания последовательностей до заданной длины, чтобы избежать неравных длин последовательностей.
  • FeatureExtractionMixin предоставляет from_pretrained() и save_pretrained() для загрузки и сохранения экстрактора признаков.

Существует два способа загрузить экстрактор признаков: AutoFeatureExtractor и класс экстрактора признаков, специфичный для модели.

AutoFeatureExtractor
feature extractor, специфичный для модели

API AutoClass автоматически загружает правильный экстрактор признаков для заданной модели.

Используйте from_pretrained() для загрузки экстрактора признаков.

from transformers import AutoFeatureExtractor

feature_extractor = AutoFeatureExtractor.from_pretrained("openai/whisper-tiny")

Предобработка

Функция-извлекатель признаков ожидает вход в виде тензора PyTorch определённой формы. Точная форма входных данных может различаться в зависимости от конкретной аудио-модели, которую вы используете.

Например, Whisper ожидает, что input_features будет тензором формы (batch_size, feature_size, sequence_length), тогда как Wav2Vec2 ожидает, что input_values будет тензором формы (batch_size, sequence_length).

Функция извлечения признаков формирует корректную форму входных данных для любой используемой вами аудио-модели.

Функция-экстрактор также задаёт частоту дискретизации (количество значений аудиосигнала, отбираемых в секунду) для аудиофайлов. Частота дискретизации ваших аудиоданных должна совпадать с частотой дискретизации набора данных, на котором обучалась предобученная модель. Обычно это значение указано в карточке модели.

Загрузите набор данных и экстрактор признаков с помощью from_pretrained().

from datasets import load_dataset, Audio
from transformers import AutoFeatureExtractor

dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")

Рассмотрите первый пример из набора данных и обратитесь к столбцу audio, который содержит array — исходный аудиосигнал.

dataset[0]["audio"]["array"]
array([ 0.        ,  0.00024414, -0.00024414, ..., -0.00024414,
        0.        ,  0.        ])

Функция извлечения признаков предобрабатывает array в ожидаемый формат входных данных для заданной аудио-модели. Используйте параметр sampling_rate, чтобы установить соответствующую частоту дискретизации.

processed_dataset = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_dataset
{'input_values': [array([ 9.4472744e-05,  3.0777880e-03, -2.8888427e-03, ...,
       -2.8888427e-03,  9.4472744e-05,  9.4472744e-05], dtype=float32)]}

Заполнение

Разная длина аудиопоследовательностей является проблемой, поскольку Transformers ожидает, что все последовательности имеют одинаковую длину, чтобы их можно было объединить в батч. Последовательности разной длины не могут быть сгруппированы в батч.

dataset[0]["audio"]["array"].shape
(86699,)

dataset[1]["audio"]["array"].shape
(53248,)

Padding добавляет специальный padding token, чтобы все последовательности имели одинаковую длину. Feature extractor добавляет 0 — интерпретируемое как тишина — в array, чтобы дополнить его. Установите padding=True, чтобы дополнить последовательности до длины самой длинной последовательности в батче.

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        sampling_rate=16000,
        padding=True,
    )
    return inputs

processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(86699,)

processed_dataset["input_values"][1].shape
(86699,)

Обрезка

Модели могут обрабатывать последовательности только до определённой длины, после чего происходит сбой.

Обрезка — это стратегия удаления лишних токенов из последовательности, чтобы она не превышала максимальную длину. Установите truncation=True, чтобы обрезать последовательность до длины, заданной в параметре max_length.

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        sampling_rate=16000,
        max_length=50000,
        truncation=True,
    )
    return inputs

processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(50000,)

processed_dataset["input_values"][1].shape
(50000,)

Повторная выборка

Библиотека Datasets также может пересэмплировать аудиоданные, чтобы привести их к ожидаемой частоте дискретизации аудио-модели. Этот метод выполняет пересэмплирование аудиоданных «на лету» при их загрузке, что может быть быстрее, чем пересэмплирование всего набора данных на месте.

Аудиодатасет, с которым вы работали, имеет частоту дискретизации 8 кГц, а предобученная модель ожидает 16 кГц.

dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
 'array': array([ 0.        ,  0.00024414, -0.00024414, ..., -0.00024414,
         0.        ,  0.        ]),
 'sampling_rate': 8000}

Вызовите cast_column для колонки audio, чтобы увеличить частоту дискретизации до 16 кГц.

dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))

При загрузке выборки из набора данных она теперь пересэмплируется до 16 кГц.

dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
 'array': array([ 1.70562416e-05,  2.18727451e-04,  2.28099874e-04, ...,
         3.43842403e-05, -5.96364771e-06, -1.76846661e-05]),
 'sampling_rate': 16000}
Update on GitHub