Transformers documentation
Сохранение модулей в полной точности
Сохранение модулей в полной точности
Некоторые модули теряют точность при квантовании сильнее, чем другие. Оставление их в исходной точности требует немного дополнительной памяти и позволяет восстановить значительную часть точности. Это применимо, когда вы квантуете модель при загрузке. Предварительно квантованный чекпоинт уже фиксирует, какие модули были пропущены.
Модули, пропускаемые по умолчанию
Если вы не передаёте список пропусков, большинство методов оставляют эти модули без квантования.
- Векторы выходных эмбеддингов, обычно
lm_head. - Веса, связанные с другими весами, например входные эмбеддинги, которые разделяют веса с
lm_head. - Последний модуль модели.
- Модули, перечисленные моделью в
_keep_in_fp32_modules.
Некоторые методы задают собственные значения по умолчанию. HQQ, FP-Quant и Four Over Six пропускают только lm_head. SINQ пропускает только модули из _keep_in_fp32_modules.
Передайте список пропусков
Передайте имена модулей в аргумент skip-list конфигурации метода. В примере ниже lm_head и проекции MLP down сохраняются в bf16 с помощью bitsandbytes.
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
llm_int8_skip_modules=["lm_head", "mlp.down_proj"],
)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=quantization_config,
device_map="auto",
)Список пропусков заменяет модули по умолчанию, а не добавляется к ним, при этом модули из
_keep_in_fp32_modulesостаются пропущенными. Включитеlm_headв свой список, если вы хотите оставить его без квантования. AWQ является исключением и добавляет ваш список к значениям по умолчанию.
Имя аргумента зависит от метода.
| Аргумент | Методы |
|---|---|
modules_to_not_convert | Большинство методов, включая AWQ, EETQ, FBGEMM FP8, Fine-grained FP8, Four Over Six, FP-Quant, HIGGS, Metal, MXFP4, NVFP4, Quanto, SINQ и torchao |
llm_int8_skip_modules | bitsandbytes, в режимах 4-бит и 8-бит |
skip_modules | HQQ |
GPTQ использует противоположный подход. modules_in_block_to_quantize перечисляет модули, которые подлежат квантованию, а все остальные элементы блока остаются неквантованными.
Совпадение имён модулей
Большинство методов сопоставляют каждый элемент списка пропусков с полными именами модулей из model.named_modules(), например model.layers.3.mlp.down_proj. Исключение составляет HQQ, который сопоставляет имена слоёв точно. Элемент совпадает одним из трёх способов.
- В качестве суффикса.
mlp.down_projсоответствует down projection в каждом слое. - В качестве префикса, заканчивающегося на границе модуля.
model.layers.1соответствуетmodel.layers.1.mlp, но неmodel.layers.11.mlp. - Как регулярное выражение с той же границей.
model\.layers\.(0|1)соответствует первым двум слоям.
Выведите имена модулей, чтобы найти нужные записи.
for name, _ in model.named_modules():
print(name)Выберите модули, которые нужно пропустить
Пропускайте модули, где ошибка округления сильнее всего влияет на точность при минимальной экономии памяти. Начните с значений по умолчанию, измерьте точность на вашей задаче и добавляйте модули только в том случае, если она снижается.
lm_headформирует логиты для каждого токена в словаре, поэтому ошибки на этом этапе напрямую влияют на выбор токена. По умолчанию этот слой пропускается. В моделях с большими словарями он также является одним из самых крупных отдельных слоёв, поэтому его квантование позволяет существенно сэкономить память, если точность остаётся приемлемой.- Слои MoE-роутера или гейта, такие как
mlp.gateв Qwen3-MoE илиmlp.routerв gpt-oss, определяют, к каким экспертам направляется каждый токен. Они очень малы, и ошибка округления может отправить токен к неверному эксперту, поэтому их почти всегда стоит пропускать. - Визуальные энкодеры и мультимодальные проекторы в vision-language моделях малы по сравнению с языковой моделью, и ошибки в них искажают каждый токен изображения. Пропустите их, если качество понимания изображений ухудшается.
- Первые и последние несколько слоёв декодера часто содержат больше выбросов активаций, чем средние слои. Пропускайте их при квантовании, если точность модели заметно хуже, чем в bf16.
Каждый пропущенный модуль сохраняет исходную точность и занимает память. Убедитесь, что модель по-прежнему помещается в память после добавления модулей в список пропусков.
Update on GitHub