От Qwen
Qwen3 Next 80B A3B Instruct — сверхэффективная MoE-модель Alibaba (80 млрд параметров, 3 млрд активных). Лидер по скорости генерации (150+ токенов/сек) и работе с контекстом до 1M токенов. Цена $0.09/$1.10 за 1 млн токенов.
Опыт запуска Qwen3 Next 80B A3B Instruct на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.09 / $1.10 за 1M токенов