Локальная нейросеть — языковая модель, которая работает на вашем железе: компьютере, рабочей станции или сервере, а не в чужом облаке. Ниже — зачем так делают, что определяет требования к железу и когда хватит обычного компьютера, а когда нужен сервер.
Зачем запускать нейросеть у себя
- Данные не уходят наружу. Договоры, переписка, персональные данные клиентов и исходный код остаются внутри компании.
- Нет оплаты за каждый запрос и лимитов: железо покупается один раз, дальше — только электричество.
- Работает без интернета и не зависит от очередей и блокировок облачного сервиса.
- Можно подключить к своим данным — базе знаний, документам, учётной системе — и встроить в свои программы.
Минусы тоже есть: железо нужно купить сразу, обслуживать самим, а открытые модели в среднем уступают лучшим облачным. Разрыв сокращается: по индексу Artificial Analysis (октябрь 2026) лучшие открытые модели — DeepSeek V4.1 Flash и GLM-5.3.
Что определяет железо
- Модель. Чем больше параметров, тем больше видеопамяти: от 8 ГБ у Qwen 3.5 9B до сотен гигабайт у DeepSeek V4.
- Сжатие. В 4 битах модель занимает примерно вдвое меньше, чем в 8 (см. квантование Q4, Q6 и Q8).
- Сколько людей работает одновременно и с какими текстами. Каждому пользователю нужен свой кэш контекста — чем длиннее документы, тем больше.
- Скорость ответа — зависит от скорости памяти видеокарты.
Компьютер
Одна видеокарта: GeForce RTX 5060 Ti 16 ГБ, RTX 5070 Ti, RTX 5080, RTX 5090 32 ГБ или профессиональная RTX PRO. Хватает для одного человека и моделей до 30–35 млрд параметров в 4 битах: Qwen 3.8 27B, Gemma 4 31B, GLM-4.7-Flash, gpt-oss-20b. Работает на Windows — Ollama и LM Studio ставятся за несколько минут. Наш собственный ИИ-сервер — по сути такой компьютер с RTX 5090, подробности — в статье «Наш ИИ-сервер».
Рабочая станция
Напольный корпус с одной–четырьмя профессиональными картами RTX PRO на 48–96 ГБ, процессор с большим числом линий PCIe, много оперативной памяти. Подходит, если серверной нет, а модель или число пользователей уже не для компьютера: gpt-oss-120b для отдела, Qwen3-Coder-Next для команды программистов, Qwen 3.5 122B.
Сервер в стойку
До восьми видеокарт, в том числе пассивных (RTX PRO 6000 Server Edition, L40S), резервированные блоки питания, удалённое управление через IPMI, работа круглые сутки. Шумит и греет помещение на 1–2 кВт — ему место в серверной. Только сервер вмещает большие модели: целиком в видеопамяти 4–8 карт или в оперативной памяти на AMD EPYC 9004/9005 и Intel Xeon 6 — сотни гигабайт DDR5 во всех каналах плюс одна видеокарта.
Что выбрать под задачу
| Задача | Что взять | Модель для примера | Сборка |
|---|---|---|---|
| Личный ассистент, пробы | компьютер с картой 16 ГБ | gpt-oss-20b, Qwen 3.5 9B | башня |
| Ассистент и документы для 1–3 человек | компьютер с картой 24–32 ГБ | Qwen 3.8 27B, Gemma 4 31B | башня |
| Помощник программиста для команды | рабочая станция или сервер, 96 ГБ | Qwen3-Coder-Next 80B | башня · в стойку |
| Ассистент на отдел | сервер, 96–192 ГБ видеопамяти | gpt-oss-120b, Qwen 3.5 122B-A10B | в стойку |
| Замена облачного ИИ для компании | сервер с моделью в памяти или 8 картами | DeepSeek V4 Flash, GLM-5.3 753B, Kimi K2.6 1T | в стойку |
| Русский язык, закрытый контур | от компьютера до сервера | GigaChat 3.1 10B, T-pro 2.1 (32B), GigaChat 3.5 Ultra 432B | GigaChat |
Все модели и сборки трёх уровней — на странице «Компьютер и сервер для нейросетей».
Программы
Ollama и LM Studio — проще всего начать, Windows и Linux. llama.cpp — гибкая работа с файлами GGUF, в том числе модель в оперативной памяти. vLLM — для нескольких пользователей сразу и нескольких видеокарт, работает на Linux. Чат для сотрудников и поиск по своим документам добавляют поверх — например, AnythingLLM или Open WebUI.
Частые вопросы
Можно ли запустить нейросеть на обычном компьютере?
Да, если в нём есть видеокарта с достаточным объёмом памяти: на 16 ГБ работают gpt-oss-20b, Qwen 3.5 9B, Gemma 4 12B, на 24–32 ГБ — Qwen 3.8 27B и Gemma 4 31B в 4 битах. Без видеокарты модель тоже запустится, но будет отвечать в разы медленнее.
Нужен ли интернет для локальной нейросети?
Только чтобы один раз скачать модель и программы. Дальше модель работает без интернета, запросы никуда не уходят.
Сколько пользователей выдержит один сервер?
Зависит от модели и памяти: каждому одновременному пользователю нужен свой кэш контекста. Уровень «С запасом» в наших сборках рассчитан на четырёх пользователей одновременно по 32 тыс. токенов; для большего числа нужна видеопамять с запасом и vLLM.
Windows или Linux?
Для одного компьютера подойдёт Windows: Ollama и LM Studio работают на ней. Для сервера на нескольких пользователей и нескольких картах удобнее Linux — vLLM работает на нём.
Читайте также
- Компьютер и сервер для нейросетей: сборки под 21 модель
- Какая видеокарта нужна для нейросети: таблица по моделям
- Квантование нейросети: Q4, Q6 или Q8 — что выбрать
- Наш ИИ-сервер: RTX 5090 и RTX 5060 Ti, Qwen 3.8 27B и Gemma 4 31B
- Сервер для нейросетей и локальных LLM: какие видеокарты и сколько видеопамяти нужно
- Чем сервер отличается от обычного компьютера
- Как собрать сервер: выбор комплектующих и совместимость
- GPU-сервер на 1, 2 или 4 видеокарты
- Профессиональные видеокарты NVIDIA