AI-модели для локального запуска

Для локального запуска важны не только качество модели, но и размер активных параметров, квантизация, объём VRAM и лицензия. Начинайте с минимальной квантизации, которая помещается в память, и проверяйте деградацию на своих задачах. Телеграм-бот fLLMs мониторит бесплатные API-ключи в роутерах.

Значение показывается только там, где для модели есть результат конкретного теста · Методология и источники

Модели, которые можно развернуть на собственном сервере или рабочей станции без отправки данных во внешний API.

Найдено: 126 моделейСтраница 5 из 6

R1 Distill Qwen 32B

от DeepSeek

DeepSeek

Open Source

CTX33K

PAR32B

StandardGeneralText

HumanEval 83.7%SWE-bench 53.7%GPQA 62.7%MMLU 82.1%

R1 Distill Llama 70B

от DeepSeek

DeepSeek

Open Source

CTX131K

PAR70B

StandardGeneralText

HumanEval 86.4%SWE-bench 58.1%GPQA 69.3%MMLU 85.4%

R1

от DeepSeek

DeepSeek

Open Source

CTX64K

PARНе раскрыто

StandardGeneralText

HumanEval 82.5%SWE-bench 45.9%GPQA 61.7%MMLU 86.6%

DeepSeek V3

от DeepSeek

DeepSeek

Open Source

CTX164K

PAR671B

StandardGeneralText

HumanEval 88.6%SWE-bench 52%GPQA 63.8%MMLU 84.6%

Llama 3.3 70B Instruct

от Meta

Llama

Open Source

CTX131K

PAR70B

StandardGeneralText

HumanEval 85.3%SWE-bench 51.7%GPQA 62.6%MMLU 83.2%

* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.

Llama 3.3 70B Instruct (free)

от Meta

Llama

Open Source

CTX66K

PAR70B

StandardGeneralText

HumanEval 84.4%SWE-bench 48.9%GPQA 69%MMLU 88.1%

* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории РФ.

Mistral Large 2407

от Mistral

Mistral

Open Source

CTX131K

PARНе раскрыто

ProGeneralText

HumanEval 84.7%SWE-bench 51.2%GPQA 75.8%MMLU 92.6%

Mistral Large 2411

от Mistral

Mistral

Open Source

CTX131K

PARНе раскрыто

ProGeneralText

HumanEval 92%SWE-bench 53.9%GPQA 75.1%MMLU 94.4%

Pixtral Large 2411

от Mistral

Mistral

Open Source

CTX131K

PARНе раскрыто

ProGeneralMultimodal

HumanEval 87.1%SWE-bench 54.7%GPQA 66.3%MMLU 89.3%

Qwen2.5 Coder 32B Instruct

от Qwen

Qwen

Open Source

CTX33K

PAR32B

StandardGeneralText

HumanEval 85%SWE-bench 45.4%GPQA 71.3%MMLU 88.8%

Qwen2.5 7B Instruct

от Qwen

Qwen

Open Source

CTX33K

PAR7B

StandardGeneralText

HumanEval 89.6%SWE-bench 55.5%GPQA 65.6%MMLU 88.4%

от Qwen

Qwen

Open Source

CTX33K

PAR72B

StandardGeneralText

HumanEval 84.4%SWE-bench 47.2%GPQA 71.2%MMLU 89.1%

Hermes 3 70B Instruct

от Nous

Llama

Open Source

CTX131K

PAR70B

StandardGeneralText

HumanEval 73.9%SWE-bench 37.7%GPQA 60.8%MMLU 82.3%

Hermes 3 405B Instruct

от Nous

Llama

Open Source

CTX131K

PAR405B

StandardGeneralText

HumanEval 95.3%SWE-bench 59.7%GPQA 67.3%MMLU 85.8%

от Mistral

Mistral

Open Source

CTX131K

PARНе раскрыто

StandardGeneralText

HumanEval 81.4%SWE-bench 54.6%GPQA 63.4%MMLU 83.6%

Hermes 2 Pro - Llama-3 8B

от Nous

Llama

Open Source

CTX8K

PAR8B

ProGeneralText

HumanEval 86.7%SWE-bench 56.4%GPQA 68.3%MMLU 88.6%

* Продукт компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.

Назад 1…4 5 6 Вперёд

AI-модели для локального запуска

Значение показывается только там, где для модели есть результат конкретного теста · Методология и источники

AI-модели для локального запуска

Модели: Локальный запуск

AI-модели для локального запуска

Модели: Локальный запуск