От Mistral
The smallest model in the Ministral 3 family, Ministral 3 3B is a powerful, efficient tiny language model with vision capabilities.
Опыт запуска Ministral 3 3B 2512 на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.10 / $0.10 за 1M токенов