От DeepSeek
DeepSeek-R1-Distill-Qwen-32B — модель для сложных рассуждений на базе Qwen-2.5. Демонстрирует олимпийский уровень в математике (MATH-500 94.3%) и программировании, являясь открытой альтернативой OpenAI o1-mini.
Опыт запуска R1 Distill Qwen 32B на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.29 / $0.29 за 1M токенов