Бенчмарки AI-моделей / Arena Elo (LMSYS)
Arena Elo (LMSYS): что измеряет бенчмарк
Arena Elo — динамический пользовательский рейтинг: две анонимные модели отвечают на один запрос, а человек выбирает лучший ответ или ничью.
Что проверяет Arena Elo (LMSYS)
Тест отражает субъективное предпочтение реальных пользователей по широкому набору диалоговых запросов. Elo учитывает силу соперников и пересчитывается по мере появления новых голосов.
Как читать результат
Более высокий Elo означает, что модель чаще выигрывала слепые сравнения в выбранной категории и срезе лидерборда. Разница в несколько пунктов может быть статистически незначимой, поэтому важны доверительные интервалы и дата снимка.
Ограничения бенчмарка
Результат меняется со временем, зависит от состава трафика, стиля ответов и фильтров лидерборда. Он не заменяет отдельные проверки кода, фактической точности, русского языка или tool calling.
Первичный источник: LMArena Leaderboard.
Вопросы о Arena Elo (LMSYS)
В рейтинг постоянно добавляются новые слепые голоса, модели и категории, поэтому позиция является снимком на конкретную дату.
Только если совпадают категория, дата, методика и пул моделей; иначе числа не обязательно сопоставимы.