От DeepSeek
DeepSeek V4 Flash — это оптимизированная по эффективности модель Mixture-of-Experts от DeepSeek с общим количеством 284 миллиардов параметров и 13 миллиардами активированных параметров, поддерживающая контекстное окно объемом 1 миллион токенов. Он предназначен для быстрого вывода и...
Опыт запуска DeepSeek V4 Flash на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.14 / $0.28 за 1M токенов