От DeepSeek
DeepSeek V3.2 Exp — экспериментальная MoE-модель (671 млрд параметров), внедрившая технологию разреженного внимания DSA. Обеспечивает скорость в 2-3 раза выше оригинала при сохранении флагманского интеллекта. Контекст 128K, цена $0.27/$0.41 за 1 млн токенов.
Опыт запуска DeepSeek V3.2 Exp на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.27 / $0.41 за 1M токенов