Бенчмарки AI-моделей / OSWorld-Verified
OSWorld-Verified: что измеряет бенчмарк
OSWorld оценивает computer-use агента: модель должна понимать экран, выбирать действия и доводить задачу в приложении до проверяемого состояния.
Что проверяет OSWorld-Verified
Процент успеха отражает визуальное понимание, планирование и точность GUI-действий. Версия Verified использует дополнительно проверенные задачи и условия.
Как читать результат
Сравнивайте одинаковую версию окружения, разрешение, набор приложений, режим thinking и доступные действия. Даже небольшое изменение scaffold влияет на результат.
Ограничения бенчмарка
Лабораторный успех не гарантирует безопасной автоматизации пользовательского компьютера. Ошибочный клик или подтверждение может иметь необратимые последствия.
Первичный источник: Официальный сайт OSWorld.
Вопросы о OSWorld-Verified
Выполнение многошаговых задач в обычных desktop-приложениях по визуальному состоянию интерфейса.
Как правило да: агент должен видеть экран, хотя итог также зависит от внешней системы управления.