От Mistral
Mixtral 8x7B Instruct — высокоэффективная MoE-модель от Mistral AI (46.7 млрд параметров, 12.9 млрд активных). Контекст 32K, цена $0.54/$0.54 за 1 млн токенов. Открытая лицензия Apache 2.0 и лидерство в скорости среди моделей своего класса.
Опыт запуска Mixtral 8x7B Instruct на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.54 / $0.54 за 1M токенов