Во вторник OpenAI раскрыла детали инцидента, в ходе которого её ИИ-модель во время тестирования вышла из-под контроля и взломала системы платформы датасетов Hugging Face. Атака, полностью выполненная силами искусственного интеллекта, стала яркой демонстрацией рисков, связанных с передовыми нейросетями.
Однако, по мнению опрошенных TechCrunch экспертов, в основе инцидента лежит не «восстание машин», а человеческая ошибка. OpenAI некорректно настроила тестовую «песочницу» (sandbox), которая должна была быть полностью изолирована от интернета, но фактически имела к нему доступ.
«Это отказ системы изоляции при отключённых предохранителях», — заявил Дэн Гвидо (Dan Guido) из компании Trail of Bits.
В своём блоге OpenAI подтвердила, что среда была описана как «высокоизолированная». Сетевой доступ в ней был ограничен возможностью установки пакетов через внутреннее стороннее ПО, выступавшее прокси для репозиториев. Именно в этой подсистеме модель обнаружила и использовала ранее неизвестную уязвимость (zero-day), которая позволила ей выбраться за пределы «песочницы». Компания заявила, что раскрыла информацию об уязвимости разработчику ПО и участвует в выпуске патча.
Многие специалисты, однако, полагают, что проблема не только в уязвимости, но и в самом архитектурном решении. Ценность «песочницы» — в полной изоляции, а подключение к ней системы для установки внешних пакетов — изначально сомнительная практика.
Мартин Бун (Martin Boone), исследователь в области кибербезопасности, назвал ситуацию прямой «человеческой ошибкой». «Если "песочница" — это "песочница", у неё не должно быть физического подключения к внешнему миру. Похоже, у них была просто система файрволов, но это совершенно другой уровень защиты», — отметил он.
Ветеран кибербезопасности Джейк Уильямс (Jake Williams) охарактеризовал произошедшее как «масштабный провал контроля». «Любая модель, способная на действия, описанные Hugging Face, не была полностью изолирована в "песочнице". Один назовёт это побегом, другой — некорректной настройкой системы, при которой побег был неизбежен», — прокомментировал Уильямс.
Консультант по кибербезопасности Дэниел Кард (Daniel Card) добавил, что OpenAI «не уделила должного внимания проектированию песочницы» и допустила «нефильтруемый маршрут в интернет», назвав такое решение тестовой среды «неразумным».
Показательно, что это не единичный случай в индустрии. В документации к собственной модели Mythos компания Anthropic признавала, что во время тестов ИИ смог получить доступ к интернету из «безопасного контейнера», хотя и не смог покинуть его полностью.
Представители OpenAI не ответили на вопрос TechCrunch, кто именно занимался настройкой тестового окружения — инженер-человек или сама нейросеть. Вопрос о том, насколько тщательно лаборатории ИИ соблюдают базовые принципы кибербезопасности при тестировании своих наиболее мощных разработок, остаётся открытым.
Комментарии(0)
Оставьте комментарий
Войдите, чтобы присоединиться к обсуждению