Transformers documentation
Экстракторы признаков
Экстракторы признаков
Feature extractors предобрабатывают аудиоданные в нужный формат для конкретной модели. Они принимают исходный аудиосигнал и преобразуют его в тензор, который можно передать в модель. Форма тензора зависит от модели, но feature extractor корректно предобрабатывает аудиоданные для вас в зависимости от используемой модели. Feature extractors также содержат методы для дополнения (padding), усечения (truncation) и изменения частоты дискретизации (resampling).
Вызовите from_pretrained(), чтобы загрузить экстрактор признаков и конфигурацию его препроцессора из Hugging Face Hub или локального каталога. Конфигурация экстрактора признаков и препроцессора сохраняется в файле preprocessor_config.json.
Передайте аудиосигнал, как правило, хранящийся в array, в экстрактор признаков и установите параметр sampling_rate в значение частоты дискретизации предобученной аудио-модели. Важно, чтобы частота дискретизации аудиоданных совпадала с частотой дискретизации данных, на которых обучалась предобученная аудио-модель.
from transformers import AutoFeatureExtractor
feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
processed_sample = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_sample
{'input_values': [array([ 9.4472744e-05, 3.0777880e-03, -2.8888427e-03, ...,
-2.8888427e-03, 9.4472744e-05, 9.4472744e-05], dtype=float32)]}Функция извлечения признаков возвращает входные данные input_values, готовые к обработке моделью.
В этом руководстве описаны классы экстракторов признаков и способы предобработки аудиоданных.
Классы экстракторов признаков
Фичер-экстракторы Transformers наследуются от базового класса SequenceFeatureExtractor, который является подклассом FeatureExtractionMixin.
- SequenceFeatureExtractor предоставляет метод pad() для выравнивания последовательностей до заданной длины, чтобы избежать неравных длин последовательностей.
- FeatureExtractionMixin предоставляет from_pretrained() и save_pretrained() для загрузки и сохранения экстрактора признаков.
Существует два способа загрузить экстрактор признаков: AutoFeatureExtractor и класс экстрактора признаков, специфичный для модели.
API AutoClass автоматически загружает правильный экстрактор признаков для заданной модели.
Используйте from_pretrained() для загрузки экстрактора признаков.
from transformers import AutoFeatureExtractor
feature_extractor = AutoFeatureExtractor.from_pretrained("openai/whisper-tiny")Каждая предобученная аудио-модель имеет соответствующий ей экстрактор признаков для корректной обработки аудиоданных. При загрузке экстрактора признаков он извлекает конфигурацию экстрактора (размер признаков, длина фрагмента и т. д.) из preprocessor_config.json.
Экстрактор признаков можно загрузить непосредственно из его модельно-специфического класса.
from transformers import WhisperFeatureExtractor
feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-tiny")Предобработка
Функция-извлекатель признаков ожидает вход в виде тензора PyTorch определённой формы. Точная форма входных данных может различаться в зависимости от конкретной аудио-модели, которую вы используете.
Например, Whisper ожидает, что input_features будет тензором формы (batch_size, feature_size, sequence_length), тогда как Wav2Vec2 ожидает, что input_values будет тензором формы (batch_size, sequence_length).
Функция извлечения признаков формирует корректную форму входных данных для любой используемой вами аудио-модели.
Функция-экстрактор также задаёт частоту дискретизации (количество значений аудиосигнала, отбираемых в секунду) для аудиофайлов. Частота дискретизации ваших аудиоданных должна совпадать с частотой дискретизации набора данных, на котором обучалась предобученная модель. Обычно это значение указано в карточке модели.
Загрузите набор данных и экстрактор признаков с помощью from_pretrained().
from datasets import load_dataset, Audio
from transformers import AutoFeatureExtractor
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")Рассмотрите первый пример из набора данных и обратитесь к столбцу audio, который содержит array — исходный аудиосигнал.
dataset[0]["audio"]["array"]
array([ 0. , 0.00024414, -0.00024414, ..., -0.00024414,
0. , 0. ])Функция извлечения признаков предобрабатывает array в ожидаемый формат входных данных для заданной аудио-модели. Используйте параметр sampling_rate, чтобы установить соответствующую частоту дискретизации.
processed_dataset = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_dataset
{'input_values': [array([ 9.4472744e-05, 3.0777880e-03, -2.8888427e-03, ...,
-2.8888427e-03, 9.4472744e-05, 9.4472744e-05], dtype=float32)]}Заполнение
Разная длина аудиопоследовательностей является проблемой, поскольку Transformers ожидает, что все последовательности имеют одинаковую длину, чтобы их можно было объединить в батч. Последовательности разной длины не могут быть сгруппированы в батч.
dataset[0]["audio"]["array"].shape
(86699,)
dataset[1]["audio"]["array"].shape
(53248,)Padding добавляет специальный padding token, чтобы все последовательности имели одинаковую длину. Feature extractor добавляет 0 — интерпретируемое как тишина — в array, чтобы дополнить его. Установите padding=True, чтобы дополнить последовательности до длины самой длинной последовательности в батче.
def preprocess_function(examples):
audio_arrays = [x["array"] for x in examples["audio"]]
inputs = feature_extractor(
audio_arrays,
sampling_rate=16000,
padding=True,
)
return inputs
processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(86699,)
processed_dataset["input_values"][1].shape
(86699,)Обрезка
Модели могут обрабатывать последовательности только до определённой длины, после чего происходит сбой.
Обрезка — это стратегия удаления лишних токенов из последовательности, чтобы она не превышала максимальную длину. Установите truncation=True, чтобы обрезать последовательность до длины, заданной в параметре max_length.
def preprocess_function(examples):
audio_arrays = [x["array"] for x in examples["audio"]]
inputs = feature_extractor(
audio_arrays,
sampling_rate=16000,
max_length=50000,
truncation=True,
)
return inputs
processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(50000,)
processed_dataset["input_values"][1].shape
(50000,)Повторная выборка
Библиотека Datasets также может пересэмплировать аудиоданные, чтобы привести их к ожидаемой частоте дискретизации аудио-модели. Этот метод выполняет пересэмплирование аудиоданных «на лету» при их загрузке, что может быть быстрее, чем пересэмплирование всего набора данных на месте.
Аудиодатасет, с которым вы работали, имеет частоту дискретизации 8 кГц, а предобученная модель ожидает 16 кГц.
dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
'array': array([ 0. , 0.00024414, -0.00024414, ..., -0.00024414,
0. , 0. ]),
'sampling_rate': 8000}Вызовите cast_column для колонки audio, чтобы увеличить частоту дискретизации до 16 кГц.
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))При загрузке выборки из набора данных она теперь пересэмплируется до 16 кГц.
dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
'array': array([ 1.70562416e-05, 2.18727451e-04, 2.28099874e-04, ...,
3.43842403e-05, -5.96364771e-06, -1.76846661e-05]),
'sampling_rate': 16000}