От Qwen
Qwen3 30B A3B Instruct 2507 — высокоэффективная MoE-модель от Alibaba (30.5 млрд параметров, 3.3 млрд активных). Контекст 262K, цена $0.09/$0.30 за 1 млн токенов. Оптимизирована для быстрых диалогов, программирования и агентных задач.
Опыт запуска Qwen3 30B A3B Instruct 2507 на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.09 / $0.30 за 1M токенов