GDPval-AA v2: что измеряет бенчмарк

GDPval-AA v2 сравнивает результаты моделей на задачах knowledge work и выводит относительный Elo-рейтинг.

Что проверяет GDPval-AA v2

Тест ближе к реальным рабочим артефактам, чем короткие вопросы с выбором ответа. Он оценивает качество результата в заданных профессиональных сценариях.

Как читать результат

Elo является относительным: значение зависит от пула соперников, judge-процедуры и версии набора. Его нельзя переводить в процент решённых задач.

Ограничения бенчмарка

Оценка может зависеть от модели-судьи и формата артефакта. Она не заменяет проверку отраслевых требований и фактической корректности экспертом.

Первичный источник: Artificial Analysis.

Вопросы о GDPval-AA v2

Ответы сравниваются относительно других моделей, поэтому итог выражается рейтингом, а не долей правильных вариантов.

Нет: это разные задания, аудитория и процедура оценки, несмотря на одинаковое слово Elo.