AI-модели для локального запуска

Для локального запуска важны не только качество модели, но и размер активных параметров, квантизация, объём VRAM и лицензия. Начинайте с минимальной квантизации, которая помещается в память, и проверяйте деградацию на своих задачах. Телеграм-бот fLLMs мониторит бесплатные API-ключи в роутерах.

Обновлено 22 июля 2026 · Методология и источники

Модели, которые можно развернуть на собственном сервере или рабочей станции без отправки данных во внешний API.

Найдено: 120 моделейСтраница 4 из 5

* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.

Назад 1…3 4 5 Вперёд

Как выбрать модель

Вопросы и ответы

Зависит от числа параметров и квантизации; карточка запуска должна указывать точную конфигурацию и скорость.

Начните с 7B–14B в 4-битной квантизации и сопоставьте объём весов с доступной VRAM или объединённой памятью.

Для простого старта подходят Ollama и LM Studio, для серверного API — vLLM, llama.cpp и совместимые хостинги.

AI-модели для локального запуска

Модели: Локальный запуск

Qwen3 14B

Qwen3 235B A22B

CodeLLaMa 7B Instruct Solidity

Llama 4 Scout

Llama 4 Maverick

YandexGPT 5 Lite

DeepSeek V3 0324

Mistral Small 3.1 24B

Saba

Llama Guard 3 8B

Qwen VL Plus

Aion-RP 1.0 (8B)

Qwen-Turbo

Qwen2.5 VL 72B Instruct

Qwen-Plus

Qwen-Max

Qwen VL Max

Mistral Small 3

R1 Distill Qwen 32B

R1 Distill Llama 70B

R1

DeepSeek V3

Llama 3.3 70B Instruct (free)

Llama 3.3 70B Instruct

Как выбрать модель

Вопросы и ответы

AI-модели для локального запуска

Модели: Локальный запуск

Qwen3 14B

Qwen3 235B A22B

CodeLLaMa 7B Instruct Solidity

Llama 4 Scout

Llama 4 Maverick

YandexGPT 5 Lite

DeepSeek V3 0324

Mistral Small 3.1 24B

Saba

Llama Guard 3 8B

Qwen VL Plus

Aion-RP 1.0 (8B)

Qwen-Turbo

Qwen2.5 VL 72B Instruct

Qwen-Plus

Qwen-Max

Qwen VL Max

Mistral Small 3

R1 Distill Qwen 32B

R1 Distill Llama 70B

R1

DeepSeek V3

Llama 3.3 70B Instruct (free)

Llama 3.3 70B Instruct