От Mistral
Ministral 8B (2512) — компактная мультимодальная модель от Mistral AI с контекстом 256K. Оптимизирована для локального запуска (требует от 12ГБ VRAM), поддерживает вызов функций и анализ изображений.
Опыт запуска Ministral 3 8B 2512 на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.15 / $0.15 за 1M токенов