GPT-Red: самосовершенствование ИИ для повышения устойчивости к атакам

OpenAI представила GPT-Red — специализированную модель для автоматизированного красного тестирования (red-teaming), обученную поиску уязвимостей в ИИ-системах. Разработка призвана решить фундаментальную проблему масштабирования безопасности: человеческое тестирование трудоёмко и перестаёт успевать за ростом возможностей моделей. Существующие бенчмарки устойчивости уже насыщены, а объём состязательных данных, необходимых для тренировки, невозможно получить вручную. Ключевая идея проекта — создание цикла самосовершенствования, при котором сегодняшние модели напрямую помогают делать будущие модели безопаснее.

GPT-Red обучалась с помощью подкрепления через самоигру (self-play RL). В этом процессе модель-атакующий соревнуется с набором разнообразных моделей-защитников. GPT-Red получает вознаграждение за успешную провокацию сбоя (например, промпт-инъекцию), а защитники — за её отражение и выполнение исходной задачи. По мере усиления защитников GPT-Red вынужден находить всё более изощрённые атаки. Для тренировки были созданы реалистичные окружения, в каждом из которых определена модель угрозы: что может контролировать атакующий (часть локального файла, баннер на сайте, тело письма или вывод инструмента) и что считается успешной атакой. На обучение модели было выделено беспрецедентное количество вычислительных ресурсов, сопоставимое с крупнейшими пост-тренировочными запусками компании.

На выходе GPT-Red стал чрезвычайно сильным атакующим, способным взломать практически все внутренние и продакшн-модели вплоть до GPT-5.5. В тестах на способность к обобщению (реплицированная арена непрямых промпт-инъекций Dziemian et al., 2025) GPT-Red добился успеха в 84% сценариев, тогда как люди-тестировщики — лишь в 13%.

Ключевым испытанием стали атаки на реальные агентные системы. В первом кейсе GPT-Red атаковал ИИ-автомат Vendy в офисе OpenAI. Имея лишь описание системы и доступ к её симулятору, модель добилась всех трёх злонамеренных целей на продакшн-агенте: изменила цену дорогого товара на минимальные 0,50 доллара, выставила новый дорогой товар по той же цене и отменила чужой заказ. Во втором эксперименте GPT-Red противостоял агенту Codex CLI (на базе GPT-5.4 mini) в сценариях кражи данных и показал большую эффективность при меньших затратах токенов по сравнению с промптированной GPT-5.5.

Главный результат — интеграция GPT-Red в тренировочный процесс продуктовых моделей, начиная с GPT-5.3. Устойчивость каждого последующего релиза неуклонно росла. Атаки типа Fake Chain-of-Thought, которые имели успех более 95% на GPT-5.1, теперь пробивают GPT-5.6 Sol в менее чем 10% случаев. На сложнейшем бенчмарке прямых промпт-инъекций количество отказов сократилось в 6 раз по сравнению с лучшей моделью четырёхмесячной давности. На широком наборе тестов атаки самого GPT-Red проходят лишь на 0,05% — это самый низкий показатель за всю историю тестирований.

OpenAI подчёркивает, что повышение устойчивости не было достигнуто за счёт урезания производительности. Модель, которая чаще отказывается выполнять действия, естественно более защищена, но бесполезна. Тщательные тесты показали, что все обычные возможности (frontier capabilities) остались на прежнем уровне, а склонность к необоснованным отказам (over-refusal) не выросла. Устойчивость была повышена исключительно за счёт лучшего сопротивления вредоносным инструкциям.

В компании считают запуск GPT-Red началом маховика самосовершенствования безопасности, аналогичного тому, как ИИ-агенты уже улучшают возможности новых поколений моделей. Планируется дальнейшее масштабирование вычислительных мощностей и объёмов данных, а также алгоритмические улучшения для следующих версий GPT-Red, что позволит делать будущие поколения GPT ещё более надёжными. Подробный препринт с результатами работы будет опубликован на этой неделе.

Источник: https://openai.com/index/unlocking-self-improvement-gpt-red