Для локальной нейросети в видеокарте важны две вещи. Первая — объём видеопамяти: модель должна целиком в ней лежать, иначе часть работы уходит на процессор и ответ печатается в разы медленнее. Вторая — скорость этой памяти: от неё зависит, сколько слов в секунду пишет модель. Ниже — таблица по 21 открытой модели: сколько памяти ей нужно в 4 и 8 битах и какая карта подойдёт, а дальше — как выбрать между игровой и профессиональной картой, одной и несколькими.
Таблица: какая видеокарта нужна под модель
Видеопамять посчитана для одного пользователя с окном 32 тыс. токенов: веса модели, кэш контекста в 8 битах и служебная память — так же, как в наших сборках под нейросети. Название модели ведёт на её страницу со сборками.
| Модель | 4 бита: нужно → видеокарта | 8 бит: нужно → видеокарта |
|---|---|---|
| gpt-oss-20b | 13,4 ГБ → 16 ГБ (RTX 5060 Ti 16 ГБ и выше) | те же веса (родные 4 бита) |
| Qwen 3.5 9B | 8,3 ГБ → 16 ГБ (RTX 5060 Ti 16 ГБ и выше) | 12,3 ГБ → 16 ГБ (RTX 5060 Ti 16 ГБ и выше) |
| Gemma 4 12B | 9,1 ГБ → 16 ГБ (RTX 5060 Ti 16 ГБ и выше) | 14,8 ГБ → 16 ГБ (RTX 5060 Ti 16 ГБ и выше) |
| GigaChat 3.1 10B | 8,2 ГБ → 16 ГБ (RTX 5060 Ti 16 ГБ и выше) | 13,2 ГБ → 16 ГБ (RTX 5060 Ti 16 ГБ и выше) |
| Qwen 3.8 27B | 20 ГБ → 24 ГБ (RTX PRO 4000 и выше) | 32,9 ГБ → 48 ГБ (RTX PRO 5000, RTX 6000 Ada) |
| Gemma 4 31B | 22,1 ГБ → 24 ГБ (RTX PRO 4000 и выше) | 37,6 ГБ → 48 ГБ (RTX PRO 5000, RTX 6000 Ada) |
| Gemma 4 26B-A4B | 20,2 ГБ → 24 ГБ (RTX PRO 4000 и выше) | 30,4 ГБ → 32 ГБ (RTX 5090, RTX PRO 4500) |
| GLM-4.7-Flash | 20,7 ГБ → 24 ГБ (RTX PRO 4000 и выше) | 34,7 ГБ → 48 ГБ (RTX PRO 5000, RTX 6000 Ada) |
| Qwen 3.6 35B-A3B | 25 ГБ → 32 ГБ (RTX 5090, RTX PRO 4500) | 40,2 ГБ → 48 ГБ (RTX PRO 5000, RTX 6000 Ada) |
| T-pro 2.1 (32B) | 25,6 ГБ → 32 ГБ (RTX 5090, RTX PRO 4500) | 41,2 ГБ → 48 ГБ (RTX PRO 5000, RTX 6000 Ada) |
| Qwen3-Coder-Next 80B | 51,4 ГБ → 96 ГБ (RTX PRO 6000) или 2–4 карты | 88,8 ГБ → 96 ГБ (RTX PRO 6000) или 2–4 карты |
| gpt-oss-120b | 66,3 ГБ → 96 ГБ (RTX PRO 6000) или 2–4 карты | те же веса (родные 4 бита) |
| Qwen 3.5 122B-A10B | 81,1 ГБ → 96 ГБ (RTX PRO 6000) или 2–4 карты | 136 ГБ → 2 × 96 или 4 × 48 ГБ |
| Qwen 3.8 Flash-Next 125B | 117 ГБ → 2 × 96 или 4 × 48 ГБ | 196 ГБ → 4 × 96 или 8 × 48 ГБ |
| DeepSeek V4 Flash | 161 ГБ → 2 × 96 или 4 × 48 ГБ | нет 8-битной версии |
| GLM-5.3-Flash | 208 ГБ → 4 × 96 или 8 × 48 ГБ | 354 ГБ → 4 × 96 или 8 × 48 ГБ |
| Qwen 3.5 397B-A17B | 253 ГБ → 4 × 96 или 8 × 48 ГБ | 436 ГБ → 8 × 96 ГБ |
| GigaChat 3.5 Ultra 432B | 271 ГБ → 4 × 96 или 8 × 48 ГБ | 476 ГБ → 8 × 96 ГБ |
| DeepSeek V4.1 Flash 763B | 518 ГБ → 8 × 96 ГБ | нет 8-битной версии |
| GLM-5.3 753B | 534 ГБ → 8 × 96 ГБ | 828 ГБ → не помещается в 8 карт |
| Kimi K2.6 1T | 653 ГБ → 8 × 96 ГБ | нет 8-битной версии |
Модели от 125 млрд параметров («смесь экспертов») можно запустить и без восьми карт: веса кладут в оперативную память сервера на AMD EPYC или Intel Xeon 6, а видеокарта на 24–48 ГБ держит общие слои и кэш. Это медленнее, но в разы дешевле — такой вариант в наших сборках называется «Экономично».
Видеокарты по объёму памяти
| Видеопамять | Видеокарты | Что помещается |
|---|---|---|
| 16 ГБ | GeForce RTX 5060 Ti 16 ГБ, RTX 5070 Ti, RTX 5080 | gpt-oss-20b, Qwen 3.5 9B, Gemma 4 12B, GigaChat 3.1 Lightning — в 4 и 8 битах |
| 24 ГБ | RTX PRO 4000 Blackwell; в стойку — также A30 | Qwen 3.8 27B, Gemma 4 31B (QAT), Gemma 4 26B-A4B, GLM-4.7-Flash — в 4 битах |
| 32 ГБ | GeForce RTX 5090, RTX PRO 4500 Blackwell | Qwen 3.6 35B-A3B и T-pro 2.1 в 4 битах, Gemma 4 26B-A4B в 8 битах |
| 48 ГБ | RTX PRO 5000 Blackwell, RTX 6000 Ada; в стойку — также L40S | Qwen 3.8 27B, Gemma 4 31B, GLM-4.7-Flash, Qwen 3.6 35B-A3B — в 8 битах |
| 96 ГБ | RTX PRO 6000 Blackwell (Workstation, Max-Q, Server Edition) | gpt-oss-120b, Qwen3-Coder-Next 80B, Qwen 3.5 122B-A10B в 4 битах |
От чего зависит скорость ответа
Чтобы написать каждый токен (часть слова), модель читает из видеопамяти все свои веса — у «смеси экспертов» только активную часть. Поэтому скорость примерно равна пропускной способности памяти карты, делённой на объём, который читается на токен, с поправкой на эффективность. Примеры: RTX 5090 с Qwen 3.8 27B в 4 битах — 59–60 токенов в секунду на нашем сервере (без ускорения MTP); RTX PRO 6000 Blackwell с gpt-oss-120b — около 196 токенов в секунду по опубликованным замерам: у gpt-oss-120b на токен работают 5 млрд параметров из 117.
| Видеокарта | Память | Пропускная способность |
|---|---|---|
| GeForce RTX 5060 Ti 16 ГБ | 16 ГБ GDDR7 | 448 ГБ/с |
| RTX PRO 4000 Blackwell | 24 ГБ GDDR7 | 672 ГБ/с |
| GeForce RTX 5070 Ti | 16 ГБ GDDR7 | 896 ГБ/с |
| RTX PRO 4500 Blackwell | 32 ГБ GDDR7 | 896 ГБ/с |
| GeForce RTX 5080 | 16 ГБ GDDR7 | 960 ГБ/с |
| RTX 6000 Ada | 48 ГБ GDDR6 | 960 ГБ/с |
| RTX PRO 5000 Blackwell | 48 ГБ GDDR7 | 1 344 ГБ/с |
| GeForce RTX 5090 | 32 ГБ GDDR7 | 1 792 ГБ/с |
| RTX PRO 6000 Blackwell | 96 ГБ GDDR7 | 1 792 ГБ/с |
Карты с медленной памятью — RTX PRO 2000 и RTX 2000 / 4000 / 4500 Ada (224–432 ГБ/с) — в сборки под нейросети мы не берём: модель на них поместится, но отвечать будет медленно.
Игровая или профессиональная
GeForce дешевле за гигабайт и быстрые, но толстые (2,5–3,5 слота), выдувают горячий воздух внутрь корпуса и требуют мощного питания. Поэтому в наших сборках GeForce ставится только в компьютер и только одна. RTX PRO Blackwell тоньше, их ставят по 2–4 в рабочую станцию и до 8 в сервер; есть версии с турбиной (Max-Q), которая выдувает воздух наружу. Пассивные карты — RTX PRO 6000 Server Edition, L40S, A30 — без вентиляторов, их охлаждает поток воздуха серверного корпуса, поэтому они идут только в сервер в стойку.
Одна видеокарта или несколько
Одна большая карта лучше двух маленьких: модель можно разделить между картами, но обмен идёт через шину PCIe и медленнее, чем внутри одной карты. Несколько карт нужны, когда модель не помещается в одну или нужно обслуживать много пользователей сразу. Для разделения модели в vLLM (тензорный параллелизм) берут 1, 2, 4 или 8 одинаковых карт. Ollama и llama.cpp умеют раскладывать модель и на разные карты, но тогда скорость определяет самая медленная: у нас Ollama разложила Qwen 3.8 27B в 8 битах на RTX 5090 и RTX 5060 Ti — подробнее в статье о нашем ИИ-сервере.
NVIDIA или AMD
Основная часть программ для нейросетей написана под NVIDIA CUDA. Radeon поддерживаются в llama.cpp, Ollama и vLLM, но не всё работает так же гладко, поэтому в готовые сборки под нейросети мы ставим NVIDIA. Карты вроде NVIDIA A16 «на 64 ГБ» — это четыре GPU по 16 ГБ на одной плате для виртуальных рабочих столов, большая модель на них не поместится.
Частые вопросы
Какая видеокарта нужна для нейросети?
Зависит от модели. Для gpt-oss-20b, Qwen 3.5 9B, Gemma 4 12B хватит 16 ГБ (GeForce RTX 5060 Ti 16 ГБ); для Qwen 3.8 27B и Gemma 4 31B в 4 битах нужна карта на 24 ГБ (RTX PRO 4000 Blackwell) или 32 ГБ (RTX 5090); для gpt-oss-120b и Qwen 3.5 122B — 96 ГБ (RTX PRO 6000 Blackwell).
Хватит ли видеокарты на 8 ГБ?
Только для небольших моделей до 8–9 млрд параметров в 4 битах и с коротким окном контекста: Qwen 3.5 9B в Q4 с окном 32 тыс. токенов нужно уже 8,3 ГБ. Для работы лучше брать 16 ГБ и больше.
Что лучше для нейросетей — RTX 5090 или RTX PRO 6000?
Скорость памяти у них одинаковая (1 792 ГБ/с), разница — в объёме: 32 ГБ против 96 ГБ. RTX 5090 хватает моделям до 30–35 млрд параметров в 4 битах, RTX PRO 6000 вмещает gpt-oss-120b, Qwen3-Coder-Next и Qwen 3.5 122B. Кроме того, RTX PRO 6000 ставится в сервер по несколько штук, а GeForce — только по одной в компьютер.
Можно ли поставить две разные видеокарты?
Можно, Ollama и llama.cpp разложат модель по обеим, но скорость будет ближе к медленной карте. Для vLLM и тензорного параллелизма карты должны быть одинаковыми. Удобнее держать на второй карте другие модели — например, модель поиска по документам.
Читайте также
- Компьютер и сервер для нейросетей: сборки под 21 модель
- Квантование нейросети: Q4, Q6 или Q8 — что выбрать
- Локальная нейросеть: компьютер, рабочая станция или сервер
- Наш ИИ-сервер: RTX 5090 и RTX 5060 Ti, Qwen 3.8 27B и Gemma 4 31B
- Сервер для нейросетей и локальных LLM: какие видеокарты и сколько видеопамяти нужно
- Чем сервер отличается от обычного компьютера
- Как собрать сервер: выбор комплектующих и совместимость
- GPU-сервер на 1, 2 или 4 видеокарты
- Профессиональные видеокарты NVIDIA