От Qwen
Qwen3 235B A22B Instruct 2507 — флагманская MoE-модель от Alibaba (235 млрд параметров, 22 млрд активных). Контекстное окно 256K, цена $0.07/$0.10 за 1 млн токенов. Открытая лицензия Apache 2.0 и лидерство в многоязычных бенчмарках.
Опыт запуска Qwen3 235B A22B Instruct 2507 на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.07 / $0.10 за 1M токенов