От Meta
Llama 3.1 8B Instruct — высокоскоростная модель от Meta с контекстным окном 128K. Оптимизирована для диалогов и RAG-задач. Цена $0.02/$0.05 за 1 млн токенов. Отличное решение для локального запуска и чат-ботов.
Опыт запуска Llama 3.1 8B Instruct на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.02 / $0.05 за 1M токенов