Бенчмарки AI-моделей / GPQA Diamond

GPQA Diamond: что измеряет бенчмарк

GPQA создавался как набор экспертных вопросов, на которые сложно ответить простым поиском. Чаще всего модели сравнивают на наиболее трудном срезе Diamond.

Что проверяет GPQA Diamond

Метрика — точность выбора ответа. Она полезна для оценки сложных научных рассуждений и знаний, особенно у reasoning-моделей.

Как читать результат

Уточняйте, опубликован ли GPQA Diamond или полный GPQA, использовались ли инструменты и какой reasoning budget был разрешён.

Ограничения бенчмарка

Сильный результат не превращает модель в научного эксперта и не гарантирует корректных ссылок, расчётов или новых исследовательских выводов.

Первичный источник: Официальный репозиторий GPQA.

Вопросы о GPQA Diamond

Это отфильтрованный наиболее качественный и сложный поднабор GPQA, который чаще используется в современных таблицах.

Нет. Для web research нужны BrowseComp, DeepSearchQA и отдельная проверка источников.