У нас работает собственный ИИ-сервер — по сути офисный компьютер с двумя видеокартами. На нём живут Qwen 3.8 27B и Gemma 4 31B: они собирают характеристики новых комплектующих с официальных страниц производителей, проверяют фотографии товаров на сайте и дают второе мнение к подбору конфигураций. Здесь — железо, настройки и наши замеры: сколько памяти занимают модели, как быстро пишут, какое сжатие мы выбрали и почему.
Железо и программы
- Видеокарты: GeForce RTX 5090 32 ГБ — основная, на ней большие модели; GeForce RTX 5060 Ti 16 ГБ — модели поиска по смыслу и пересортировки результатов, к ней же подключён монитор.
- Процессор и память: AMD Ryzen 5 7500F (6 ядер, 12 потоков), 32 ГБ DDR5-5200. Для моделей, которые целиком в видеопамяти, этого хватает.
- Диск: NVMe на 3 ТБ — модели по 17–30 ГБ загружаются за 15–30 секунд.
- Программы: Windows 11 Pro, Ollama; включены flash attention и кэш контекста в 8 битах (q8_0), окно — 32 768 токенов.
- Модели: Qwen 3.8 27B (Q4_K_M с ускорением MTP), Gemma 4 31B (QAT), для поиска — qwen3-embedding 8B и Qwen3-Reranker 4B.
Две большие модели на одной RTX 5090 вместе не помещаются (17,5 + 19 ГБ больше 32), поэтому работают по очереди: перед загрузкой одной наши скрипты выгружают другую.
Память и скорость
| Модель и сжатие | Занимает | Пишет, токенов в секунду | Читает длинный текст, токенов в секунду | Карты |
|---|---|---|---|---|
| Qwen 3.8 27B Q4_K_M + MTP | 17,5 ГБ | 182–192 (без MTP — около 60) | 3 294 | только RTX 5090 |
| Qwen 3.8 27B Q6_K | 23,4 ГБ | 32, с MTP — 62,8 | 2 401 | RTX 5090 + 5060 Ti |
| Qwen 3.8 27B Q8_0 | 30,4 ГБ | 60–63 | 1 718 | RTX 5090 + 5060 Ti (11 ГБ) |
| Gemma 4 31B QAT | 19,2 ГБ | 65–66 | 3 490 | только RTX 5090 |
| Gemma 4 31B Q6_K | 27,9 ГБ | 26,9 | — | RTX 5090 + 5060 Ti |
«Читает длинный текст» — скорость обработки входа на тексте около 20 тыс. токенов: модель должна найти в его начале код товара. Нашли все пять. Окно 32 тыс. токенов держат все модели.
Точность: Q4 против Q8
Главная работа сервера — собирать характеристики новых комплектующих с официальных страниц. Мы прогнали одну и ту же проверку — 62 позиции, около 900 значений — на разных моделях и сверили с проверенным справочником:
| Модель | Верно | Неверно | Верно среди заполненных | На запрос |
|---|---|---|---|---|
| Qwen 3.8 27B Q4_K_M | 707 | 99 | 81,7 % | 4,35 с |
| Qwen 3.8 27B Q8_0 | 726 | 91 | 82,7 % | 8,1 с |
| Gemma 4 31B (обычная версия) | 675 | 90 | 83,0 % | — |
| Qwen 3.6 35B-A3B | 654 | 99 | 79,8 % | — |
Q8 проверяли на более новой версии нашей программы, и часть прибавки верных значений — от неё. По ошибкам разница — примерно 10 значений из ~900, около 1 %, а работала Q8 в 1,9 раза медленнее. Q6 на части позиций оказалась не точнее Q4.
Проверка фотографий
Ночью модели смотрят фотографии товаров и ищут плохие: чужая модель, крупный план, рекламный баннер. На 224 размеченных снимках (50 плохих, 174 хороших):
| Модель | Нашла плохих | Зря забраковала хороших | Время |
|---|---|---|---|
| Gemma 4 31B QAT | 20 из 50 | 3 из 174 | 23,6 мин |
| Qwen 3.8 27B Q6_K | 19 из 50 | 10 из 174 | 30,3 мин |
| Qwen 3.8 27B Q4_K_M | 16 из 50 | 2 из 174 | 14,8 мин |
| Qwen 3.8 27B Q8_0 | 16 из 50 | 4 из 174 | 21,1 мин |
| Qwen Q4 + второе мнение Gemma QAT | 21 из 50 | 4 из 174 | — |
Две модели вместе находят больше, чем каждая по отдельности, почти без лишних отказов — поэтому у нас вторая модель проверяет первую.
Что мы выбрали
- Qwen 3.8 27B — Q4_K_M с MTP. Q8 точнее примерно на 1 %, но в 2–3 раза медленнее и занимает 30,4 ГБ — Ollama разложила её на две карты; Q6 не лучше Q4.
- Gemma 4 31B — QAT. Лучшая на фотографиях, та же память и скорость, что у обычной версии; на подборе конфигураций — те же оценки.
Что мы поняли
- Одна большая карта лучше двух. Модели больше 30 ГБ Ollama раскладывает на обе карты, и часть работы идёт на более медленной RTX 5060 Ti. Иногда она делит модель, даже когда та помещается в одну карту.
- MTP-ускорение даёт втрое больше скорости: Qwen 3.8 27B в Q4 — около 60 токенов в секунду без него и 182–192 с ним.
- Две модели по 17–19 ГБ на карте 32 ГБ живут по очереди. Если нужны обе сразу, нужна карта на 48 ГБ.
- Кэш в 8 битах и flash attention позволяют держать окно 32 тыс. токенов без заметной потери качества.
- Вторая небольшая карта полезна для моделей поиска и пересортировки — они не мешают большим моделям на основной.
Собрать похожий
В конфигураторе есть готовая сборка под Qwen 3.8 27B и под Gemma 4 31B. В уровне «Экономично» в ней может стоять другая карта — например, RTX PRO 4000 Blackwell на 24 ГБ: для одной из этих моделей в 4 битах её хватает. RTX 5090 можно выбрать в конфигураторе вместо неё. Вторую видеокарту конфигуратор ПК не ставит; если нужны обе модели одновременно, возьмите одну карту на 48 ГБ — RTX PRO 5000 Blackwell: Qwen 3.8 27B и Gemma 4 31B QAT вместе займут около 37 ГБ. Все модели и сборки — на странице «Компьютер и сервер для нейросетей».
Частые вопросы
Хватит ли RTX 5090 для Qwen 3.8 27B?
Да: в Q4_K_M модель занимает 17,5 ГБ и пишет 182–192 токена в секунду с ускорением MTP. Q8 (30,4 ГБ) помещается впритык — у нас Ollama разложила её на две карты.
Сколько токенов в секунду пишет Gemma 4 31B на RTX 5090?
Версия QAT — 65–66 токенов в секунду, занимает 19,2 ГБ. Версия Q6_K занимает 27,9 ГБ и у нас пишет около 27 токенов в секунду, потому что делится на две карты.
Можно ли так же на Windows?
Да, наш сервер работает на Windows 11 Pro с Ollama. Для нескольких пользователей и нескольких видеокарт удобнее Linux и vLLM.
Зачем вторая видеокарта?
На ней работают небольшие модели поиска по смыслу и пересортировки (около 9 ГБ), чтобы не занимать память основной карты. Большие модели на неё лучше не пускать — она медленнее.
Читайте также
- Компьютер и сервер для нейросетей: сборки под 21 модель
- Какая видеокарта нужна для нейросети: таблица по моделям
- Квантование нейросети: Q4, Q6 или Q8 — что выбрать
- Локальная нейросеть: компьютер, рабочая станция или сервер
- Сервер для нейросетей и локальных LLM: какие видеокарты и сколько видеопамяти нужно
- Чем сервер отличается от обычного компьютера
- Как собрать сервер: выбор комплектующих и совместимость
- GPU-сервер на 1, 2 или 4 видеокарты
- Профессиональные видеокарты NVIDIA