AI-модели для программирования
Для программирования сравнивайте не один общий рейтинг, а профиль модели: HumanEval и MBPP показывают решение коротких задач, SWE-bench — работу с реальными репозиториями, TerminalBench — действия в терминале. Для продакшена дополнительно учитывайте цену, контекст и поддержку инструментов. Телеграм-бот fLLMs мониторит бесплатные API-ключи в роутерах.
Значение показывается только там, где для модели есть результат конкретного теста · Методология и источники
Подборка моделей для генерации кода, работы с репозиториями, терминалом и автономной разработки.
Модели: Для программирования
Phi 4Microsoft · янв. 2025 · Проприетарная
SWE55%GPQA63.8%Elo1412Контекст16KЦена за 1M$0.07 / $0.14- SLlama 3.3 Euryale 70B
Sao10K · дек. 2024 · Проприетарная
SWE66.3%GPQA68.5%Elo1441Контекст131KЦена за 1M$0.65 / $0.75 
o1OpenAI · дек. 2024 · Проприетарная
SWE56.8%GPQA60.6%Elo1401Контекст200KЦена за 1M$15 / $60
Command R7B (12-2024)Cohere · дек. 2024 · Проприетарная
SWE65.2%GPQA66.6%Elo1449Контекст128KЦена за 1M$0.04 / $0.15
Nova Lite 1.0Amazon · дек. 2024 · Проприетарная
SWE67%GPQA66.6%Elo1435Контекст300KЦена за 1M$0.06 / $0.24- Nova Pro 1.0
Amazon · дек. 2024 · Проприетарная
SWE67%GPQA77.9%Elo1556Контекст300KЦена за 1M$0.80 / $3.20 
Mistral Large 2411Mistral · нояб. 2024 · Open source
SWE53.9%GPQA75.1%Elo1563Контекст131KЦена за 1M$2 / $6
Qwen2.5 Coder 32B InstructQwen · нояб. 2024 · Open source
SWE45.4%GPQA71.3%Elo1446Контекст33KЦена за 1M$0.66 / $1- TUnslopNemo 12B
TheDrummer · нояб. 2024 · Проприетарная
SWE61.1%GPQA70.2%Elo1425Контекст33KЦена за 1M$0.40 / $0.40 
Llama 3.1 Nemotron 70B InstructNVIDIA · окт. 2024 · Open source
SWE58.4%GPQA66.4%Elo1429Контекст131KЦена за 1M$1.20 / $1.20
Inflection 3 ProductivityInflection · окт. 2024 · Проприетарная
SWE63.7%GPQA76%Elo1557Контекст8KЦена за 1M$2.50 / $10- TRocinante 12B
TheDrummer · сент. 2024 · Проприетарная
SWE52.5%GPQA67.9%Elo1458Контекст33KЦена за 1M$0.17 / $0.43 - Command R (08-2024)
Cohere · авг. 2024 · Проприетарная
SWE59.3%GPQA69.4%Elo1436Контекст128KЦена за 1M$0.15 / $0.60 - SLlama 3.1 Euryale 70B v2.2
Sao10K · авг. 2024 · Проприетарная
SWE57.7%GPQA67%Elo1459Контекст131KЦена за 1M$0.85 / $0.85 
Hermes 3 405B InstructNous · авг. 2024 · Open source
SWE59.7%GPQA67.3%Elo1410Контекст131KЦена за 1M$1 / $1- GPT-4o (2024-08-06)
OpenAI · авг. 2024 · Проприетарная
SWE58.8%GPQA67%Elo1431Контекст128KЦена за 1M$2.50 / $10 - WizardLM-2 8x22B
Microsoft · апр. 2024 · Проприетарная
SWE56.1%GPQA69.2%Elo1442Контекст66KЦена за 1M$0.62 / $0.62 - Mistral Large
Mistral · февр. 2024 · Open source
SWE58.6%GPQA75%Elo1536Контекст128KЦена за 1M$2 / $6 - GPT-4 Turbo (older v1106)
OpenAI · нояб. 2023 · Проприетарная
SWE61.4%GPQA63.4%Elo1429Контекст128KЦена за 1M$10 / $30 - Mistral 7B Instruct v0.1
Mistral · сент. 2023 · Open source
SWE64.7%GPQA59.5%Elo1370Контекст3KЦена за 1M$0.11 / $0.19 - MWeaver (alpha)
Mancer · авг. 2023 · Проприетарная
SWE61.2%GPQA69.4%Elo1413Контекст8KЦена за 1M$0.75 / $1 - UReMM SLERP 13B
Undi95 · июль 2023 · Проприетарная
SWE62.7%GPQA63.6%Elo1434Контекст6KЦена за 1M$0.45 / $0.65 - GMythoMax 13B
Gryphe · июль 2023 · Проприетарная
SWE69%GPQA70.7%Elo1455Контекст4KЦена за 1M$0.06 / $0.06 - GPT-3.5 Turbo
OpenAI · май 2023 · Проприетарная
SWE61.9%GPQA65.7%Elo1450Контекст16KЦена за 1M$0.50 / $1.50