Локальная нейросеть — языковая модель (LLM), распознавание речи или изображений, которая работает на вашем сервере, а не в облаке: данные не уходят наружу, нет оплаты за каждый запрос. Главный параметр такого сервера — объём видеопамяти: от него зависит, какая модель поместится и с каким контекстом. Ниже — как посчитать память под модель, какие видеокарты подходят и что ещё нужно серверу.
Сколько видеопамяти нужно под модель
Модель должна целиком лежать в памяти видеокарты — иначе часть вычислений уходит на процессор, и ответ печатается в разы медленнее. Веса занимают число параметров × байт на параметр: в 16-битном формате (FP16 / BF16) — 2 байта, в 8-битном — 1 байт, в 4-битном — около 0,55–0,6 байта (с учётом служебных данных сжатия). Сверху нужен запас на кэш контекста и служебную память: от 10–20 % при коротких диалогах до десятков гигабайт при длинном контексте и многих одновременных запросах.
| Размер модели | 16 бит | 8 бит | 4 бита |
|---|---|---|---|
| 7–8 млрд параметров | ≈ 14–16 ГБ | ≈ 8–9 ГБ | ≈ 4–5 ГБ |
| 13–14 млрд | ≈ 26–28 ГБ | ≈ 14–15 ГБ | ≈ 8–9 ГБ |
| 32 млрд | ≈ 64 ГБ | ≈ 34–35 ГБ | ≈ 20 ГБ |
| 70 млрд | ≈ 140 ГБ | ≈ 75 ГБ | ≈ 40–43 ГБ |
В таблице — только веса. Сжатие (квантование) до 8 бит качество почти не меняет, до 4–5 бит — снижает его незначительно для чата, поиска по документам и помощника по коду; ниже 4 бит модель ошибается заметно чаще. 16 бит нужны в основном для дообучения.
Модели «смесь экспертов» (MoE) — например, Qwen3-30B-A3B: 30 млрд параметров, из которых на каждое слово работают около 3 млрд. Память они занимают по полному размеру, но отвечают быстро — как маленькие.
Какие видеокарты подходят
| Видеопамять | Видеокарты | Что помещается |
|---|---|---|
| 16 ГБ | GeForce RTX 5060 Ti 16 ГБ, RTX 5070 Ti, RTX 5080 | модели 7–14 млрд в 4–8 бит, распознавание речи и изображений |
| 24 ГБ | GeForce RTX 3090, RTX 4090, RTX PRO 4000 Blackwell | до ~32 млрд в 4 бита |
| 32 ГБ | GeForce RTX 5090, Radeon AI PRO R9700 | 32 млрд в 4–6 бит с длинным контекстом |
| 48 ГБ | RTX PRO 5000 Blackwell | 70 млрд в 4 бита |
| 96 ГБ | RTX PRO 6000 Blackwell (Workstation и Max-Q) | 70 млрд в 8 бит, MoE-модели на ~100 млрд в 4 бита, много пользователей сразу |
NVIDIA или AMD. Основная часть ПО для нейросетей написана под NVIDIA CUDA. Radeon поддерживаются в llama.cpp, Ollama и vLLM (через ROCm), но не всё работает так же гладко — если планируете обучение или нестандартные библиотеки, надёжнее NVIDIA.
Игровая или профессиональная. GeForce дешевле за гигабайт, но занимают 2,5–3,5 слота, выдувают горячий воздух внутрь корпуса и требуют мощного питания — две-четыре такие карты в один сервер ставятся плохо. Профессиональные RTX PRO занимают 1–2 слота, у части моделей турбина выдувает воздух наружу (например, RTX PRO 6000 Max-Q на 300 Вт) — их ставят по 2–4 в сервер.
Серверные карты дата-центров — NVIDIA H100 (80 ГБ), H200 (141 ГБ) — без вентиляторов, охлаждаются потоком воздуха серверного корпуса, связываются между собой NVLink и стоят в разы дороже. Они нужны для обучения больших моделей и облачных сервисов; для запуска моделей внутри компании обычно хватает карт с 48–96 ГБ. Карты вроде NVIDIA A16 «на 64 ГБ» — это четыре GPU по 16 ГБ на одной плате, они рассчитаны на виртуальные рабочие столы, а не на большие модели.
Одна видеокарта или несколько
Одна большая карта лучше двух маленьких: модель можно разделить между картами, но обмен между ними идёт через шину PCIe и медленнее, чем внутри одной карты. Несколько карт нужны, когда модель не помещается в одну или когда нужно обслуживать много запросов одновременно. Для разделения модели между картами (tensor parallel) их число обычно берут 2, 4 или 8, и карты должны быть одинаковыми.
Что ещё нужно серверу
- Линии PCIe. Каждой карте нужен слот x16. Ryzen и Core дают одну карту на x16 или две на x8; для 2–4 карт нужна платформа на Xeon Scalable или AMD EPYC с 80–128 линиями на процессор.
- Оперативная память — не меньше суммарной памяти видеокарт, лучше вдвое больше: в неё модель загружается перед отправкой на карты.
- NVMe-диски под модели и данные: модель на 40 ГБ с NVMe загружается за секунды, с жёсткого диска — минуты.
- Блок питания — сумма мощностей карт плюс 300–500 Вт на остальное и запас 20–30 %. Четыре карты по 300 Вт — это 1 200 Вт только на видеокарты; в сервере ставят резервированные блоки на 2 000 Вт и больше.
- Охлаждение и шум. Сервер с 2–4 картами шумит как пылесос и греет помещение на 1–2 кВт — ему место в серверной.
- ПО. Ollama и LM Studio — проще всего начать; llama.cpp — гибкая работа с квантованными моделями; vLLM — для многих одновременных пользователей. Работают на Linux, Ollama и LM Studio — и на Windows.
Готовые сборки
Серверы на 1, 2 и 4 видеокарты с ценами — на странице «GPU-сервер для ИИ и нейросетей»; видеокарты отдельно — в каталоге. В конфигураторе можно поменять карту, память и диски: карту, которая не встанет в корпус по длине, толщине или питанию, он не предложит. Если не знаете, какая модель нужна, опишите задачу во вкладке «Автоподбор» на главной или позвоните +7 (495) 223-13-47.
Частые вопросы
Сколько видеопамяти нужно для модели на 7–8 млрд параметров?
В 4-битном сжатии — около 4–5 ГБ плюс запас на контекст, в 8 битах — 8–9 ГБ, в 16 битах — 14–16 ГБ. Видеокарты на 12–16 ГБ хватает с запасом.
Сколько видеопамяти нужно для модели на 70 млрд параметров?
В 4 битах — около 40–43 ГБ только на веса: это карта на 48 ГБ (RTX PRO 5000 Blackwell) или две по 24–32 ГБ. В 8 битах — около 75 ГБ, это карта на 96 ГБ (RTX PRO 6000 Blackwell).
Какая видеокарта лучше для нейросетей — игровая или профессиональная?
Игровые GeForce дешевле за гигабайт памяти и подходят, когда карта одна. Для сервера на 2–4 карты удобнее профессиональные RTX PRO: они тоньше, а модели с турбиной выдувают горячий воздух наружу корпуса.
Можно ли запустить нейросеть без видеокарты?
Можно, но в разы медленнее: модель считается процессором из оперативной памяти. Для пробы и небольшой модели на одного пользователя это терпимо, для работы нескольких человек нужна видеокарта.
Читайте также
- Чем сервер отличается от обычного компьютера
- Сервер для небольшого офиса на 5–30 компьютеров
- Домашний сервер: что выбрать и как собрать
- RAID-массив: уровни 0, 1, 5, 6, 10 и сколько нужно дисков
- HBA или RAID-контроллер
- SAS или SATA: какие диски выбрать для сервера
- Серверная оперативная память: ECC, RDIMM, LRDIMM
- Серверный процессор: Intel Xeon или AMD EPYC
- IPMI: что это и как настроить на Supermicro
- Требования к серверу 1С: ядра, память, диски
- Терминальный сервер: что это и сколько ресурсов нужно
- Размеры сервера 1U, 2U, 3U, 4U в мм
- Поколения AMD EPYC: 7002, 7003, 9004, 9005
- Поколения Intel Xeon Scalable и Xeon 6
- Как собрать сервер: выбор комплектующих и совместимость
- SSD для сервера: DWPD, TBW, U.2 и U.3
- Серверный жёсткий диск: чем отличается от обычного
- Сервер для TrueNAS: память, HBA и диски
- Лицензии Windows Server