AI-модели для локального запуска
Для локального запуска важны не только качество модели, но и размер активных параметров, квантизация, объём VRAM и лицензия. Начинайте с минимальной квантизации, которая помещается в память, и проверяйте деградацию на своих задачах. Телеграм-бот fLLMs мониторит бесплатные API-ключи в роутерах.
Обновлено 22 июля 2026 · Методология и источники
Модели, которые можно развернуть на собственном сервере или рабочей станции без отправки данных во внешний API.
Модели: Локальный запуск

Mistral Large 2411

Mistral Large 2407

Pixtral Large 2411

Qwen2.5 Coder 32B Instruct

Qwen2.5 7B Instruct

Llama 3.1 Nemotron 70B Instruct

Llama 3.2 3B Instruct (free)

Llama 3.2 1B Instruct

Llama 3.2 11B Vision Instruct

Llama 3.2 3B Instruct

Qwen2.5 72B Instruct

Hermes 3 70B Instruct

Hermes 3 405B Instruct

Hermes 3 405B Instruct (free)

Llama 3.1 8B Instruct

Llama 3.1 70B Instruct

Mistral Nemo

Hermes 2 Pro - Llama-3 8B

Llama 3 70B Instruct

Llama 3 8B Instruct

Mixtral 8x22B Instruct

Mistral Large

Mixtral 8x7B Instruct
