Llama 3 70B Instruct
от Meta
Llama
Open Source
CTX8K
PAR70B
StandardGeneralText
HumanEval 81.2%SWE-bench 52.9%GPQA 69%MMLU 86.8%
* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.
AI-модели для локального запуска
Для локального запуска важны не только качество модели, но и размер активных параметров, квантизация, объём VRAM и лицензия. Начинайте с минимальной квантизации, которая помещается в память, и проверяйте деградацию на своих задачах. Телеграм-бот fLLMs мониторит бесплатные API-ключи в роутерах.
Значение показывается только там, где для модели есть результат конкретного теста · Методология и источники
Модели, которые можно развернуть на собственном сервере или рабочей станции без отправки данных во внешний API.
Модели: Локальный запуск
Найдено: 126 моделейСтраница 6 из 6
Llama 3 8B Instruct
от Meta
Llama
Open Source
CTX8K
PAR8B
StandardGeneralText
HumanEval 85.1%SWE-bench 52.4%GPQA 66.2%MMLU 86.8%
* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.
Mixtral 8x22B Instruct
от Mistral
Mistral
Open Source
CTX66K
PARНе раскрыто
StandardGeneralText
HumanEval 85.8%SWE-bench 51.4%GPQA 61.6%MMLU 83.4%
Mistral Large
от Mistral
Mistral
Open Source
CTX128K
PARНе раскрыто
ProGeneralText
HumanEval 96.6%SWE-bench 58.6%GPQA 75%MMLU 92.2%
Mixtral 8x7B Instruct
от Mistral
Mistral
Open Source
CTX33K
PAR46.7B (12.9B активных)
StandardGeneralText
HumanEval 77.7%SWE-bench 51.9%GPQA 60.4%MMLU 83.1%
Mistral 7B Instruct v0.1
от Mistral
Mistral
Open Source
CTX3K
PAR7B
StandardGeneralText
HumanEval 92.3%SWE-bench 64.7%GPQA 59.5%MMLU 82.5%
* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.