От Mistral
Mistral 7B Instruct v0.1 — классическая модель Mistral (7.3 млрд параметров), задавшая стандарт эффективности. Первая модель, превзошедшая Llama 2 13B. Использует Sliding Window Attention, оптимизирована для скорости и кодинга. Контекст 8K, цена $0.11/$0.19 за 1 млн токенов.
Опыт запуска Mistral 7B Instruct v0.1 на локальном железе пользователей
Летает отлично, полная выгрузка в VRAM. Ответы моментальные.
Запускал через командную строку. Памяти хватает с головой, кулеры даже не шумят.
Пришлось выгрузить пару слоев в RAM, но терпимо для тестов.
$0.11 / $0.19 за 1M токенов