Словарь терминов: Нейросети, LLM

Термины и определения в категории «Нейросети, LLM».

Терминов: 1

Mixture of Experts, или MoE, — архитектура нейросети, в которой запрос обрабатывает не вся модель одновременно, а выбранная маршрутизатором группа специализированных блоков-экспертов. Это позволяет увеличивать общее число параметров без пропорционального роста вычислений на каждый токен.