AI-модели для локального запуска

Для локального запуска важны не только качество модели, но и размер активных параметров, квантизация, объём VRAM и лицензия. Начинайте с минимальной квантизации, которая помещается в память, и проверяйте деградацию на своих задачах. Телеграм-бот fLLMs мониторит бесплатные API-ключи в роутерах.

Обновлено 22 июля 2026 · Методология и источники

Модели, которые можно развернуть на собственном сервере или рабочей станции без отправки данных во внешний API.

Найдено: 120 моделейСтраница 3 из 5

* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.

Назад 1 2 3 4 5 Вперёд

Как выбрать модель

Вопросы и ответы

Зависит от числа параметров и квантизации; карточка запуска должна указывать точную конфигурацию и скорость.

Начните с 7B–14B в 4-битной квантизации и сопоставьте объём весов с доступной VRAM или объединённой памятью.

Для простого старта подходят Ollama и LM Studio, для серверного API — vLLM, llama.cpp и совместимые хостинги.

AI-модели для локального запуска

Модели: Локальный запуск

Qwen3 Next 80B A3B Instruct

Qwen Plus 0728 (thinking)

Qwen Plus 0728

Qwen3 30B A3B Thinking 2507

DeepSeek V3.1

Mistral Medium 3.1

Codestral 2508

Qwen3 Coder 30B A3B Instruct

Qwen3 30B A3B Instruct 2507

Qwen3 235B A22B Thinking 2507

Qwen3 Coder 480B A35B

Qwen3 Coder 480B A35B (free)

Qwen3 235B A22B Instruct 2507

Devstral Medium

Devstral Small 1.1

Uncensored (free)

DeepSeek R1T2 Chimera

Mistral Small 3.2 24B

R1 0528

Mistral Medium 3

Llama Guard 4 12B

Qwen3 8B

Qwen3 32B

Qwen3 30B A3B

Как выбрать модель

Вопросы и ответы

AI-модели для локального запуска

Модели: Локальный запуск

Qwen3 Next 80B A3B Instruct

Qwen Plus 0728 (thinking)

Qwen Plus 0728

Qwen3 30B A3B Thinking 2507

DeepSeek V3.1

Mistral Medium 3.1

Codestral 2508

Qwen3 Coder 30B A3B Instruct

Qwen3 30B A3B Instruct 2507

Qwen3 235B A22B Thinking 2507

Qwen3 Coder 480B A35B

Qwen3 Coder 480B A35B (free)

Qwen3 235B A22B Instruct 2507

Devstral Medium

Devstral Small 1.1

Uncensored (free)

DeepSeek R1T2 Chimera

Mistral Small 3.2 24B

R1 0528

Mistral Medium 3

Llama Guard 4 12B

Qwen3 8B

Qwen3 32B

Qwen3 30B A3B