OpenAI рассказала, как ChatGPT пресекает насилие и вредные запросы

OpenAI опубликовала материал о том, как ChatGPT и сама компания противодействуют использованию сервиса для насилия и других вредных действий. В нём описано, как обучают модели, как работают системы обнаружения рисков и что происходит с нарушителями правил.

Как ChatGPT отвечает на запросы о насилии

Модели обучают отказывать в инструкциях, тактиках и планировании, которые могут реально помочь совершить насилие. При этом нейтральные вопросы о насилии — фактические, исторические, образовательные, профилактические — допускаются, но без подробных операционных инструкций. OpenAI признаёт, что граница между безобидным и опасным запросом бывает тонкой, и говорит, что уточняет подход вместе с экспертами.

Компания расширила защитные механизмы, чтобы ChatGPT лучше замечал тревожные признаки в длинных диалогах: отдельное сообщение может выглядеть безобидно, а опасным становится общий паттерн в рамках одного или нескольких разговоров. Подробности об этой работе OpenAI обещает рассказать в ближайшие недели.

Если пользователь находится в кризисе или рискует причинить вред себе, ChatGPT показывает локальные службы поддержки, советует обратиться к специалистам по психическому здоровью или близким, а в самых тяжёлых случаях направляет за экстренной помощью.

Как OpenAI контролирует соблюдение правил

За подозрительной активностью следят автоматические системы: классификаторы, модели рассуждения, хеш-сопоставление, чёрные списки и другие средства мониторинга. Помеченные аккаунты и диалоги проверяют обученные сотрудники — в контексте всего разговора и поведения пользователя со временем. Доступ рецензентов к данным ограничен, а работа ведётся в защищённых системах.

Если рецензенты подтверждают нарушение, доступ к сервисам отзывают: отключают аккаунт, блокируют другие аккаунты того же человека и пытаются не дать создать новые. Решения можно оспорить, апелляции рассматриваются отдельно. Правила использования запрещают, среди прочего, угрозы, запугивание, травлю, терроризм, разработку оружия и попытки обойти защиту.

Передача информации правоохранителям

Большинство блокировок остаются между OpenAI и пользователем. В особо тяжёлых случаях, когда есть признаки серьёзного вреда в реальном мире, обращение передаётся на углублённое расследование по структурированным критериям. Если из переписки следует неминуемый и достоверный риск для других людей, компания уведомляет правоохранительные органы. Критерии передачи гибкие: человек может не называть цель, средства и время нападения, но риск всё равно может быть реальным.

Родительский контроль и доверенный контакт

Осенью прошлого года OpenAI запустила родительский контроль: родители связывают свой аккаунт с аккаунтом подростка и настраивают режим, подходящий по возрасту. Доступа к переписке подростка у них нет. Если система и рецензенты замечают признаки острого стресса, родителям приходит уведомление по электронной почте, SMS или push — только с информацией, необходимой для защиты подростка.

Совместно с Советом по благополучию и ИИ и Глобальной сетью врачей компания также готовит функцию доверенного контакта: взрослый пользователь сможет назначить человека, которому придёт уведомление, если ему понадобится дополнительная поддержка.

Источник: https://openai.com/index/our-commitment-to-community-safety