От AlfredPros
Специализированная модель на базе Code Llama 7B для генерации и аудита смарт-контрактов Solidity. Поддерживает контекст 4K, стоимость генерации составляет $1.20 за 1 млн токенов.
Опыт запуска CodeLLaMa 7B Instruct Solidity на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.80 / $1.20 за 1M токенов