Как подобрать локальную LLM под компьютер
Для локального запуска важны объём VRAM и RAM, формат квантования, длина контекста и выбранный движок. Калькулятор даёт первичный список моделей, которые разумно тестировать на указанном устройстве.
Укажите характеристики видеокарты и оперативной памяти. Если GPU нет или её памяти недостаточно, часть слоёв может выполняться на CPU, но скорость ответа обычно будет ниже.
Как интерпретировать результат
Совпадение по памяти означает техническую возможность загрузить модель, а не гарантированную скорость. Итог зависит от квантования, размера контекста, драйверов, backend и параллельных программ.
Частые вопросы
Что важнее: RAM или VRAM?
Для быстрого GPU-инференса критична VRAM. RAM позволяет загрузить модель полностью или частично на CPU, но это обычно медленнее.
Что такое квантование?
Это представление весов модели с меньшей точностью, которое снижает требования к памяти и иногда немного влияет на качество.
Подойдёт ли результат для Ollama и LM Studio?
Как стартовая оценка — да. Реальное потребление следует проверить в выбранном приложении с нужным контекстом и параметрами.