От Nous
Hermes 3 70B Instruct — флагманская универсальная модель Nous Research на базе Llama 3.1. Глубоко оптимизирована для автономных агентов, ролеплея и безупречного следования системным промптам. Контекст 128K, цена $0.30/$0.30 за 1 млн токенов.
Опыт запуска Hermes 3 70B Instruct на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.30 / $0.30 за 1M токенов