От Qwen
Qwen-Max — самая мощная модель в семействе Qwen2.5 (триллионная MoE-архитектура). Обучена на 20 трлн токенов, конкурирует с GPT-4o в кодинге и логике. Контекст до 128K, цена $1.04/$4.16 за 1 млн токенов.
Опыт запуска Qwen-Max на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$1.04 / $4.16 за 1M токенов