OpenAI объяснила, откуда в ответах GPT взялись «гоблины»

OpenAI рассказала, почему её модели стали всё чаще упоминать гоблинов, гремлинов и других существ в метафорах. По версии компании, причина — побочный эффект обучения личности «Nerdy» («Ботаник»): за метафоры с существами модели получали слишком высокую награду, и привычка распространилась дальше.

Как заметили проблему

Впервые закономерность явно увидели в ноябре, после запуска GPT-5.1, хотя началось всё, возможно, раньше. Пользователи жаловались, что модель ведёт себя слишком фамильярно, и это привело к проверке словесных «тиков». После запуска GPT-5.1 слово «goblin» в ChatGPT стало встречаться на 175% чаще, «gremlin» — на 52%. Тогда масштаб не выглядел тревожным. Но с GPT-5.4 рост стал заметнее, и проверку повторили.

Откуда взялась привычка

Оказалось, что слова с существами особенно часто встречались у пользователей, выбравших личность «Nerdy». На неё приходилось всего 2,5% ответов ChatGPT, но 66,7% всех упоминаний «goblin». Сигнал вознаграждения, который должен был поощрять «ботанический» стиль, чаще оценивал выше ответы со словами «goblin» и «gremlin»: в 76,2% проверенных наборов данных он давал положительный перевес.

Награды применялись только к условию «Nerdy», но обучение с подкреплением не гарантирует, что приобретённое поведение останется в этих рамках. Ответы, содержащие «тик», попадали в данные для дообучения, и модель привыкала использовать его чаще, в том числе без «ботанического» промпта. В обучающих данных GPT-5.5 нашли и других персонажей: енотов, троллей, огров и голубей. Большинство упоминаний слова «frog» (лягушка) при этом были уместными.

Что сделали

В марте, после запуска GPT-5.4, OpenAI отключила личность «Nerdy». В обучении убрали сигнал вознаграждения, который предпочитал существ, и отфильтровали данные со словами о них. GPT-5.5 начали обучать до того, как нашли причину, поэтому при тестах в Codex сотрудники сразу заметили тягу к гоблинам, и в инструкцию для разработчиков добавили ограничение. Для тех, кто хочет вернуть «существ», компания указала команду запуска Codex без этих инструкций.

В OpenAI считают историю примером того, как сигналы вознаграждения могут неожиданно формировать поведение моделей, и говорят, что расследование дало исследователям новые инструменты для аудита такого поведения.