## Ядра

На этой странице описаны утилиты для настройки ядер.

### kernelize[[transformers.kernelize]]

#### transformers.kernelize[[transformers.kernelize]]

```python
transformers.kernelize(model: PreTrainedModel, mode: Mode | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/hub_kernels.py#L953)

Временно зарегистрируйте обёртки скрытых ядер, чтобы `kernelize` мог обнаружить и заменить их.

### KernelConfig[[transformers.KernelConfig]]

#### transformers.KernelConfig[[transformers.KernelConfig]]

```python
transformers.KernelConfig(kernel_mapping = None, use_local_kernel = False, inherit_mapping = True)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/utils/kernel_config.py#L92)

Класс конфигурации ядра. Этот класс используется для настройки отображения ядра для модели.

#### create_compatible_mapping[[transformers.KernelConfig.create_compatible_mapping]]

```python
create_compatible_mapping(model, compile = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/utils/kernel_config.py#L250)

Преобразует простое kernel_mapping вида: { "RMSNorm": ("kernels-community/layer_norm:LlamaRMSNorm", {"version": 1, "trust_remote_code": True}), ... },

или для локального пути:

{ "RMSNorm": "/home/user/liger_kernels:LigerRMSNorm", ... },

в вложенное отображение:

{ "RMSNorm": { "cuda": { Mode.INFERENCE: LayerRepository( repo_id="kernels-community/layer_norm", layer_name="LlamaRMSNorm", version=1, trust_remote_code=True, ) } } }

или для локального пути:

{ "RMSNorm": { "cuda": { Mode.INFERENCE: LocalLayerRepository( repo_path=Path("/home/user/liger_kernels"), layer_name="LigerRMSNorm", ) } } }

которая совместима с библиотекой kernels.

Если устройство не указано, оно выводится из параметров модели. Режим выводится из состояния обучения модели.

#### sanitize_kernel_mapping[[transformers.KernelConfig.sanitize_kernel_mapping]]

```python
sanitize_kernel_mapping(model)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/utils/kernel_config.py#L131)

**Параметры:**

model : экземпляр модели, модули которого проверяются на наличие зарегистрированных атрибутов kernel_layer_name.

**Исключения:** ``ValueError``

- ``ValueError`` -- если layer_name не зарегистрирован в модели, если устройство не поддерживается или если repo_name не является корректной строкой в формате 'org/repo:layer_name'.

Проверяет kernel_mapping, чтобы убедиться, что:
1. Каждый layer_name в отображении зарегистрирован в модели (то есть модель содержит модуль с соответствующим kernel_layer_name).
2. Каждое значение ядра
   - строка вида 'org/repo:layer_name' или кортеж, содержащий такую же строку и словарь вида {"revision"/"version/trust_remote_code": ...},
   - или словарь, сопоставляющий поддерживаемые типы устройств с такими значениями, как описано выше.
3. Каждый ключ устройства в словаре — это одно из значений: "cuda", "rocm", "xpu", "npu", "neuron", "tpu" или "mps".
5. Каждый ключ trust remote code должен быть типа bool.
6. Каждый ключ ревизии или версии должен существовать взаимоисключающим образом, если он был передан явно.
7. Каждый repo_name — это корректное имя репозитория и слоя в формате 'org/repo:layer_name' (то есть строка, содержащая как слэш, так и двоеточие).
8. Если обнаружен локальный путь, он должен иметь формат '/abs/path:layer_name', где абсолютный путь указывает на репозиторий ядра, например "/home/user/layer_norm".

