RLHF (обучение с обратной связью от людей)

RLHF (Reinforcement Learning from Human Feedback) — подход к настройке модели на основе оценок людей. Разметчикам показывают несколько ответов и предлагают выбрать лучший по заданным критериям. На этих предпочтениях обучают модель вознаграждения или другой механизм оценки, а затем корректируют поведение основной модели.

RLHF используют после базового предобучения, чтобы ответы лучше соответствовали инструкциям, были полезнее и безопаснее. Метод может учитывать не только фактическую точность, но и ясность, уместность и соблюдение правил. Конкретные реализации различаются: современные процессы могут применять прямую оптимизацию предпочтений и синтетические оценки наряду с человеческими.

Ограничение RLHF состоит в качестве критериев и разметки. Люди могут ошибаться, предпочитать убедительный, но неверный ответ или не представлять всех пользователей. Поэтому настройку предпочтений дополняют автоматическими тестами, экспертной проверкой, оценкой рисков и мониторингом уже после выпуска модели.