AliceAI-Foundation-80B-A3B-Base

AliceAI-Foundation-80B-A3B-Base — базовая языковая модель Яндекса с открытыми весами под лицензией Apache 2.0. Это MoE на 80 млрд параметров, из которых на токен активны 3 млрд, обученная полностью с нуля, без весов сторонних открытых моделей. В претрейн-замерах Яндекса она лидирует в русскоязычных тестах на факты, образование и экспертные знания и обходит более крупные открытые базовые модели в математике и коде. Модель стоит рассматривать как основу для собственного дообучения под русскоязычные задачи; готовым ассистентом она не является — post-training она не проходила.

Что представляет собой AliceAI-Foundation

Яндекс опубликовал AliceAI-Foundation-80B-A3B-Base 21 сентября 2026 года вместе с подробным техническим отчётом на Хабре. По словам компании, это шаг к единой рассуждающей модели, на которой будут развиваться агентские возможности Алисы AI. Предыдущую закрытую Alice AI LLM на 235 млрд параметров Яндекс обучал от весов Qwen3-235B-A22B; новую модель — с нуля, и весь путь до релиза занял около полугода.

Архитектура гибридная: в 36 слоях работает линейное внимание Kimi Delta Attention, в 12 — Gated Attention с полным вниманием. После каждого слоя внимания идёт MoE-блок из 512 экспертов, из которых активны 10 плюс один общий. Обучение стабилизировали Gated RMSNorm и Z-loss, оптимизатор — Muon.

Параметр	Значение
Репозиторий	yandex/AliceAI-Foundation-80B-A3B-Base на Hugging Face
Тип	базовая модель после предобучения, без post-training и alignment
Архитектура	MoE, 80 млрд параметров, 3 млрд активных, 48 слоёв
Схема слоёв	12 × (3 × KDA + 1 × Gated Attention), после каждого — MoE
Эксперты	512, top-10 + 1 общий
Контекст	262 144 токена
Словарь	129 024 токена, SentencePiece BPE
Языки	русский и английский
Лицензия	Apache 2.0

Модель уже видела в предобучении данные с рассуждениями и вызовами инструментов в формате OpenAI Messages. Для дообучения Яндекс прикладывает шаблон рендеринга chat_template.jinja и пример LoRA-дообучения с FSDP2 на четырёх GPU по 80 ГБ. Запустить модель можно в Transformers 5.16.1 с flash-linear-attention или в vLLM через готовый Docker-образ.

Цена и доступ

Веса бесплатны и доступны на Hugging Face под Apache 2.0 — их можно дообучать и использовать в коммерческих проектах. Облачный API для базовой модели Яндекс не анонсировал. Вместе с весами компания открыла два фактологических бенчмарка на русском языке — WikiWebFacts и HardMultiQA — и протоколы их оценки.

Что показывают бенчмарки

Все замеры Яндекс провёл в своей инфраструктуре на базовых моделях: few-shot для знаний и pass@k для сложных задач. Эти цифры нельзя сравнивать с результатами instruct-моделей в других карточках каталога, поэтому в структурированный блок бенчмарков они не перенесены.

Тест	AliceAI-Foundation 80B-A3B	Alice AI LLM 235B Base	Qwen3.5-35B-A3B-Base	Nemotron-3-Super-120B-A12B-Base	DeepSeek-V4-Flash-Base
WikiWebFacts (RU)	86,5	86,2	62,4	72,8	83,2
HardMultiQA (RU)	67,9	65,9	47,2	54,5	65,4
EduBench Russian	74,2	71,1	42,9	44,0	67,7
ExpertFactsQA Law (RU)	49,6	46,5	27,9	24,3	40,5
ЕГЭ, CoT	90,5	93,3	84,7	84,3	90,3
MMLU-Pro, CoT	66,8	68,2	63,2	69,9	66,5
MATH-500	91,1	72,6	81,9	84,8	80,7
LiveCodeBench v5-6, CoT	50,5	15,4	50,4	50,4	38,1
FinQA 128K	74,1	44,6	73,5	71,7	74,1
LongMemEval 128K	64,6	31,4	55,6	64,8	68,0

В тестах на сложные рассуждения (temperature 1, pass@k) модель сравнивали с Qwen3.5-35B-A3B-Base и Nemotron-3-Super-120B-A12B-Base: AIME 2026 pass@32 — 96,7 (у Qwen столько же), HMMT Feb 2026 pass@32 — 96,9, IMO-AnswerBench pass@8 — 88,7, LiveCodeBench v5-6 pass@1 — 60,4. На Codeforces CPP pass@8 модель уступает Qwen: 68,9 против 73,7.

По подсчёту Яндекса, модель первая на 8 из 10 тестов на факты, образование и экспертные знания, хотя все участники сравнения, кроме Qwen, крупнее. Отставание — на англоязычных знаниях: на TriviaQA у неё 79,0 против 89,8 у Nemotron и 89,4 у DeepSeek. Агентные навыки Яндекс проверял отдельно, после SFT; эти результаты описаны в техническом отчёте.

Для каких задач модель подходит

• Основа для собственного SFT и RL под русскоязычный продукт: ассистента, поиска по базе знаний, юридических и медицинских сервисов.
• Исследования предобучения и методов оценки: вместе с моделью опубликованы техотчёт, абляции и два бенчмарка.
• Дообучение под агентные сценарии с длинным контекстом до 262K токенов.

Без дообучения модель не подходит для пользовательских продуктов: Яндекс прямо предупреждает, что это претрейн без alignment, и рекомендует собственное тестирование перед продакшеном. Если нужен готовый русскоязычный ассистент с открытыми весами, смотрите на instruct-модели, например GigaChat 3.5 Ultra.

С чем сравнивать

Модель	Параметры (всего / активных)	Контекст	Лицензия
AliceAI-Foundation-80B-A3B-Base	80B / 3B	262K	Apache 2.0
Qwen3.5-35B-A3B	35B / 3B	262K	открыты
Nemotron 3 Super	120B / 12B	262K	открыты
DeepSeek V4 Flash	284B / 13B	1M	открыты
YandexGPT 5 Lite	8B	32K	открыты

FAQ

Когда вышла AliceAI-Foundation-80B-A3B-Base?

Яндекс опубликовал веса и технический отчёт 21 сентября 2026 года.

Можно ли использовать модель как чат-бота?

Не напрямую. Это базовая модель после предобучения, без post-training и alignment, поэтому у неё нет единого формата диалога. Для продукта её нужно дообучить; Яндекс приводит шаблон данных и пример LoRA-дообучения.

Под какой лицензией выложена модель?

Под Apache 2.0: её можно дообучать, встраивать в свои продукты и использовать коммерчески на условиях лицензии.

Какое железо нужно для запуска?

В примере Яндекса vLLM запускается на четырёх GPU с тензорным параллелизмом. Для LoRA-дообучения с FSDP2 нужны четыре GPU по 80 ГБ.

Чем модель отличается от Alice AI LLM?

Alice AI LLM 235B обучали от весов Qwen3-235B-A22B, а AliceAI-Foundation — с нуля. У новой модели почти втрое меньше параметров и примерно в семь раз меньше активных, но в претрейн-замерах она сильнее в фактах, математике, коде и длинном контексте.

Источники

• Карточка модели на Hugging Face
• Технический отчёт Яндекса на Хабре
• Бенчмарк WikiWebFacts
• Бенчмарк HardMultiQA