AI-модели для локального запуска
Для локального запуска важны не только качество модели, но и размер активных параметров, квантизация, объём VRAM и лицензия. Начинайте с минимальной квантизации, которая помещается в память, и проверяйте деградацию на своих задачах. Телеграм-бот fLLMs мониторит бесплатные API-ключи в роутерах.
Значение показывается только там, где для модели есть результат конкретного теста · Методология и источники
Модели, которые можно развернуть на собственном сервере или рабочей станции без отправки данных во внешний API.
Модели: Локальный запуск
Hermes 3 70B InstructNous · авг. 2024 · Open source
SWE37.7%GPQA60.8%Elo1368Контекст131KЦена за 1M$0.30 / $0.30- Hermes 3 405B Instruct
Nous · авг. 2024 · Open source
SWE59.7%GPQA67.3%Elo1410Контекст131KЦена за 1M$1 / $1 - Hermes 3 405B Instruct (free)
Nous · авг. 2024 · Open source
SWE52.4%GPQA62%Elo1400Контекст131KЦена за 1MБесплатно 
Llama 3.1 70B InstructMeta · июль 2024 · Open source
* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.
SWE46.5%GPQA58.4%Elo1368Контекст131KЦена за 1M$0.40 / $0.40- Llama 3.1 8B Instruct
Meta · июль 2024 · Open source
* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.
SWE51.7%GPQA58.8%Elo1381Контекст16KЦена за 1M$0.02 / $0.05 
Mistral NemoMistral · июль 2024 · Open source
SWE54.6%GPQA63.4%Elo1383Контекст131KЦена за 1M$0.02 / $0.03- Hermes 2 Pro - Llama-3 8B
Nous · май 2024 · Open source
SWE56.4%GPQA68.3%Elo1493Контекст8KЦена за 1M$0.14 / $0.14 - Llama 3 70B Instruct
Meta · апр. 2024 · Open source
* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.
SWE52.9%GPQA69%Elo1422Контекст8KЦена за 1M$0.51 / $0.74 - Llama 3 8B Instruct
Meta · апр. 2024 · Open source
* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.
SWE52.4%GPQA66.2%Elo1422Контекст8KЦена за 1M$0.03 / $0.04 - Mixtral 8x22B Instruct
Mistral · апр. 2024 · Open source
SWE51.4%GPQA61.6%Elo1381Контекст66KЦена за 1M$2 / $6 - Mistral Large
Mistral · февр. 2024 · Open source
SWE58.6%GPQA75%Elo1536Контекст128KЦена за 1M$2 / $6 - Mixtral 8x7B Instruct
Mistral · дек. 2023 · Open source
SWE51.9%GPQA60.4%Elo1377Контекст33KЦена за 1M$0.54 / $0.54 - Mistral 7B Instruct v0.1
Mistral · сент. 2023 · Open source
SWE64.7%GPQA59.5%Elo1370Контекст3KЦена за 1M$0.11 / $0.19