Квантование — это хранение весов модели не в 16 битах, а в 8, 6 или 4 битах на параметр. Модель занимает в 2–4 раза меньше памяти и отвечает быстрее, а качество падает меньше, чем можно ожидать. Ниже — что значат названия Q4_K_M, Q6_K, Q8_0, QAT и MXFP4, сколько места занимает модель в каждом варианте и что показали наши замеры на собственном ИИ-сервере.
Что значат буквы в названии файла
- GGUF — формат файлов модели для llama.cpp, Ollama и LM Studio. Один и тот же файл может быть сжат по-разному — это видно по окончанию имени.
- Q8_0 — 8 бит на параметр. Почти без потери качества, модель занимает около 1,1 ГБ на миллиард параметров.
- Q6_K — 6 бит, блочное сжатие с масштабами (буква K). Около 0,8 ГБ на миллиард параметров.
- Q4_K_M — 4 бита, вариант M («средний»): часть важных слоёв хранится точнее. Около 0,6 ГБ на миллиард параметров — самый популярный выбор.
- UD-Q4_K_XL, UD-Q6_K_XL — «динамическое» сжатие Unsloth: каждый слой сжат настолько, насколько он это переносит. Так выпускают большие модели — DeepSeek V4, Kimi K2.6, GLM-5.3.
- QAT (Quantization-Aware Training) — модель дообучена работать в 4 битах, поэтому почти не теряет качества. Так Google выпускает Gemma 4 31B.
- Родные форматы — MXFP4 у gpt-oss, INT4 у экспертов Kimi K2.6, FP4/FP8 у DeepSeek V4: модель сразу обучена и выпущена в малой разрядности, сжимать нечего.
Сколько места занимает модель
| Модель | 16 бит | Q8_0 | Q6_K | Q4_K_M |
|---|---|---|---|---|
| Qwen 3.5 9B | ≈ 18 ГБ | 9,5 ГБ | 7,5 ГБ | 5,7 ГБ |
| Qwen 3.8 27B | ≈ 54 ГБ | 29,1 ГБ | 22 ГБ | 16,5 ГБ |
| Gemma 4 31B | ≈ 61,4 ГБ | 32,6 ГБ | 25,2 ГБ | 17,6 ГБ |
| Qwen3-Coder-Next 80B | ≈ 160 ГБ | 84,8 ГБ | 65,6 ГБ | 48,5 ГБ |
| Qwen 3.5 122B-A10B | ≈ 244 ГБ | 130 ГБ | 101 ГБ | 76,5 ГБ |
| gpt-oss-120b | ≈ 234 ГБ | 63,4 ГБ | 63,3 ГБ | 62,8 ГБ |
Размеры — файлы GGUF с Hugging Face. У gpt-oss-120b все варианты почти одинаковы: веса и так в 4 битах. Кроме весов, памяти нужно под кэш контекста и служебные данные — 1–5 ГБ на одного пользователя, у некоторых моделей больше.
Кэш контекста тоже сжимают
Пока модель читает и пишет, она хранит кэш — по кусочку на каждый токен окна. Его можно держать в 8 битах (q8_0 в Ollama и llama.cpp, FP8 в vLLM) — вдвое меньше памяти почти без потерь. У Qwen 3.8 27B кэш на 32 тыс. токенов в 8 битах — около 1,1 ГБ, а у T-pro 2.1 он тяжёлый: 4,3 ГБ на 32 тыс. и 17 ГБ на 128 тыс. токенов. Поэтому длинное окно и несколько пользователей иногда требуют больше памяти, чем переход с Q4 на Q8.
Что показали наши замеры
На нашем ИИ-сервере (RTX 5090 32 ГБ и RTX 5060 Ti 16 ГБ, Ollama) мы сравнили Qwen 3.8 27B в Q4, Q6 и Q8 и Gemma 4 31B в QAT и Q6 на рабочих задачах: сбор характеристик комплектующих с официальных страниц производителей (около 900 значений) и проверка фотографий товаров.
| Модель и сжатие | Занимает | Пишет, токенов в секунду | Характеристики: верно среди заполненных |
|---|---|---|---|
| Qwen 3.8 27B Q4_K_M | 17,5 ГБ | ≈ 60, с ускорением MTP — 182–192 | 81,7 % |
| Qwen 3.8 27B Q6_K | 23,4 ГБ | 32, с MTP — 62,8 | — |
| Qwen 3.8 27B Q8_0 | 30,4 ГБ | 60–63 | 82,7 % |
| Gemma 4 31B QAT | 19,2 ГБ | 65–66 | — |
| Gemma 4 31B Q6_K | 27,9 ГБ | 26,9 | — |
- Q8 против Q4: Q8 ошиблась примерно на 10 значений меньше из ~900 — около 1 %, но на каждый запрос тратила в 1,9 раза больше времени (8,1 с против 4,35 с).
- Q6 не лучше Q4: на 16 одинаковых позициях Q4 дала 86,0 % верных, Q8 — 85,4 %, Q6 — 83,3 %, и лишних значений у Q6 больше.
- Фотографии товаров (50 плохих снимков из 224): Gemma 4 31B QAT поймала 20 при 3 ложных отказах из 174 хороших — лучший результат; Qwen Q4 и Q8 — по 16, Qwen Q6 — 19, но с 10 ложными отказами.
- Q6 и Q8 на нашем сервере Ollama разложила на две карты — часть на более медленную RTX 5060 Ti, поэтому их скорость ниже, чем была бы на одной большой карте.
Итог для нас: Qwen оставили в Q4 с ускорением MTP, Gemma перевели на QAT. Подробно — в статье «Наш ИИ-сервер: RTX 5090 и RTX 5060 Ti».
Что выбрать
- Q4_K_M — по умолчанию для одного пользователя: модель помещается в карту вдвое меньше, а качество для чата, документов и кода почти то же. Так собран уровень «Экономично».
- QAT, если производитель его выпустил (Gemma 4 31B), — берите вместо обычного Q4: памяти столько же, качество выше.
- Q8_0 — если памяти хватает и важна каждая цифра (извлечение данных, код), а скорость не главное. Уровень «Сбалансировано» для моделей до 40 млрд параметров.
- Q6_K — компромисс для крупных моделей (больше 40 млрд), когда Q8 не помещается: так собран уровень «Сбалансировано» для Qwen3-Coder-Next и Qwen 3.5 122B.
- Родной формат (gpt-oss, Kimi K2.6, DeepSeek V4) — берите как есть.
- Меньше 4 бит (Q3, Q2) — только чтобы попробовать модель, которая иначе не помещается: ошибок становится заметно больше.
Сколько памяти нужно каждой модели в Q4, Q6 и Q8 — на страницах сборок под нейросети; какая видеокарта подойдёт — в статье «Какая видеокарта нужна для нейросети».
Частые вопросы
Что лучше — Q4_K_M или Q8_0?
Q8 точнее, но разница небольшая: на наших замерах Qwen 3.8 27B в Q8 ошибалась примерно на 1 % реже, а работала в 1,9 раза медленнее и занимала 30 ГБ вместо 17,5. Для одного пользователя обычно хватает Q4_K_M; Q8 стоит брать, когда памяти с запасом и важна точность.
Сильно ли теряет качество модель в 4 битах?
Для чата, поиска по документам и помощи с кодом — незначительно. Заметно хуже становится ниже 4 бит. Если есть версия QAT (как у Gemma 4 31B), потерь ещё меньше.
Что такое Q4_K_M и Q4_K_S?
Оба — 4-битное блочное сжатие llama.cpp. M («средний») хранит часть важных слоёв точнее, S («малый») экономит ещё немного памяти ценой качества. Обычно берут Q4_K_M.
Почему gpt-oss не сжимают сильнее?
Веса gpt-oss уже выпущены в 4-битном формате MXFP4 — файлы «Q4», «Q6» и «Q8» почти одного размера (у gpt-oss-120b 62,8–63,4 ГБ). Берите родной вариант.
Читайте также
- Компьютер и сервер для нейросетей: сборки под 21 модель
- Какая видеокарта нужна для нейросети: таблица по моделям
- Локальная нейросеть: компьютер, рабочая станция или сервер
- Наш ИИ-сервер: RTX 5090 и RTX 5060 Ti, Qwen 3.8 27B и Gemma 4 31B
- Сервер для нейросетей и локальных LLM: какие видеокарты и сколько видеопамяти нужно
- Чем сервер отличается от обычного компьютера
- Как собрать сервер: выбор комплектующих и совместимость
- GPU-сервер на 1, 2 или 4 видеокарты
- Профессиональные видеокарты NVIDIA