От Qwen
Qwen VL Max — мощнейшая визуальная модель Alibaba (триллионная MoE-архитектура). Лидер в OCR, анализе длинных видео и визуальном кодинге. Контекст 128K, цена $0.52/$2.08 за 1 млн токенов. Конкурирует с GPT-4o-vision.
Опыт запуска Qwen VL Max на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.52 / $2.08 за 1M токенов