Загружаем подборку…

Как выбрать модель

Для локального запуска важны не только качество модели, но и размер активных параметров, квантизация, объём VRAM и лицензия. Начинайте с минимальной квантизации, которая помещается в память, и проверяйте деградацию на своих задачах.

Вопросы и ответы

Зависит от числа параметров и квантизации; карточка запуска должна указывать точную конфигурацию и скорость.

Начните с 7B–14B в 4-битной квантизации и сопоставьте объём весов с доступной VRAM или объединённой памятью.

Для простого старта подходят Ollama и LM Studio, для серверного API — vLLM, llama.cpp и совместимые хостинги.