Антикейсы внедрения ИИ в 2026 году: Россия и мир

Главный вывод из провалов 2025–2026 годов: компании чаще терпят ущерб не из-за «плохого искусственного интеллекта» как такового, а потому, что дают вероятностной системе право отвечать, решать или действовать без проверяемого стандарта качества, ограничений полномочий и рабочего отката. В 12 разобранных кейсах последствия различаются — от исправления отчёта и штрафа в 50 000 рублей до остановки медицинского ПО, коллективного иска и удаления данных production-базы. Общий preventive control один: до пилота связать каждое обещание системы с тестом, владельцем риска, пределом полномочий, журналом доказательств и условием немедленной остановки.

Материал актуален на 5 сентября 2026 года. В него включены несколько более ранних событий: они либо получили судебное или регуляторное продолжение в 2025–2026 годах, либо стали редкими публичными прецедентами для риска, который в 2026 году масштабируют чат-боты и автономные агенты.

Что считать провалом внедрения ИИ

Не каждый инцидент с AI-инструментом означает ошибку модели. Для управления риском важно определить, какой слой системы сломался.

Тип провала	Что происходит	Что проверять
Ошибка модели или контента	Система выдумывает факт, ссылку, правило или вывод	Точность на реальных задачах, цитаты, отказы от ответа, обновление базы знаний
Ошибка данных и оценки	Тестовая выборка не похожа на production, метрика исключает неудобные случаи	Состав выборки, знаменатель ключевого показателя эффективности (KPI), сегменты, тяжесть ошибок, дрейф
Ошибка цепочки решения	Сигнал может быть верным, но санкция, отказ или действие назначены неверному лицу	Право системы принимать решение, доказательства связи «объект — субъект — обязанность»
Неработающий human review	Человек формально присутствует, но не проверяет источники, не видит контекст или не может отменить результат	Время на проверку, квалификация, интерфейс, полномочия, доля отменённых решений
Security- или privacy-инцидент	Агент получает лишний доступ, меняет production или раскрывает данные	Least privilege, разделение сред, подтверждение опасных действий, журнал, восстановление
Провал управления поставщиком	Заказчик принимает результат без трассировки, а бренд и ответственность остаются у него	Условия приёмки, раскрытие AI-use, происхождение данных, аудит подрядчика
AI-washing	Компания обещает автономность или качество, которых не измеряла или не имеет	Демонстрация на сыром логе, независимый benchmark, доля скрытого ручного труда

Эта типология не нужна для терминологической чистоты. От диагноза зависит контроль. Дополнительный prompt не исправит ошибочную юридическую привязку ответственного лица, а обязательная подпись сотрудника не защитит production-базу от агента с избыточными правами.

Сводная таблица антикейсов

Кейс	Сектор	Статус	Что сломалось	Подтверждённые издержки или ущерб	Реакция
Botkin.AI, Россия	Медицина	A: регулятор	Характеристики и post-market monitoring	Денежная сумма и пострадавшие не установлены	Приостановка и проверка; позднее применение возобновлено
Нейросетевые камеры, Балашиха	Госуправление	A: суд	Привязка верного сигнала к ответственному лицу	Отменённый штраф 50 000 руб., процессуальные расходы не раскрыты	Постановление отменено, производство прекращено
ООО «ЦСС», Россия	Юридическая работа	A: суд	Непроверенные вымышленные судебные ссылки	Судебный штраф 50 000 руб.	Ответственность оставлена на участнике процесса
Агитлистовка в Челябинской области	Контент и compliance	A: Верховный суд	Юридическая проверка синтетического изображения	Материал запрещён; денежная сумма не установлена	Кассационная жалоба отклонена
MyCity, Нью-Йорк	Госуслуги, чат-бот	A: аудит	Accuracy, знаменатель KPI, приёмка и управление программой	Более $100 млн на всю программу; AI-доля не выделена	Рекомендованы feasibility review и red-teaming; ведомство спорило с выводами
Deloitte и DEWR, Австралия	Профессиональные услуги	A: официальная переписка	Выдуманные источники и provenance	Возврат A$97 587,11	Проверка, исправление и повторная замена отчёта
Air Canada	Поддержка клиентов	A: трибунал	Рассинхронизация политики и ответа бота	C$812,02 с процентами и сбором	Компенсация клиенту; ответственность признана за авиакомпанией
Mobley v. Workday	Найм	B: текущий иск	Предполагаемый disparate impact AI-скрининга	Ущерб не установлен; расходы на процесс не раскрыты	Предварительно сертифицирован коллектив по возрастному требованию
Replit Agent	Разработка и security	C: postmortem	Избыточные полномочия и отсутствие dev/prod-изоляции	Данные восстановлены; возможный простой не измерен	Rollback, разделение баз, безопасный режим планирования
Chicago Sun-Times	Медиа	C: публичное признание	Нет проверки внешнего AI-контента	10 из 15 книг вымышлены; денежный ущерб не раскрыт	Correction, удаление цифровой версии, обязательная редакционная проверка
DoNotPay	Legal tech	A: приказ регулятора	Обещание замены юриста без benchmark	$193 000 monetary relief	Уведомление подписчиков и запрет неподтверждённых заявлений
Nate	AI-стартап, e-commerce	B: жалоба регулятора	Предполагаемый AI-washing и скрытый ручной труд	Привлечено более $42 млн; потеря не установлена судом	Регулятор требует запретов, disgorgement и штрафов; дело не завершено

Российские антикейсы

Открытых корпоративных postmortem и добровольно описанных откатов в России мало. В публичном поле чаще доступны судебные акты, сообщения регуляторов, карточки закупок и деперсонифицированные решения. Это ограничение доказательной базы: отсутствие публичного разбора не доказывает отсутствие инцидентов.

Botkin.AI: регулятор остановил применение медицинского ПО

Паспорт. ООО «Интеллоджик», Россия; сообщение Росздравнадзора от 21 ноября 2023 года. Статус — A, установленный регуляторный факт. Кейс остаётся важным в 2026 году, потому что показывает обязательность контроля после регистрации AI-медизделия, а не только до допуска на рынок.

Задача и внедрение. Botkin.AI зарегистрировали как программное обеспечение для визуализации и обработки медицинских изображений в формате DICOM. В официальном сообщении нет численного обещания точности или экономии, поэтому приписывать системе конкретный эффект нельзя.

Что произошло и каковы издержки. Производитель не предоставил Росздравнадзору обязательные отчёты пострегистрационного мониторинга, несмотря на неоднократные требования. Служба также выявила отклонения результатов работы ПО от характеристик, заявленных при регистрации, и пришла к выводу о наличии угрозы причинения вреда жизни и здоровью. Публичных данных о пострадавших пациентах, сроке простоя и денежном ущербе нет.

Реакция. Применение приостановили, в отношении производителя инициировали внеплановый выборочный контроль, документы направили в прокуратуру Москвы. В мае 2024 года применение снова разрешили; на дату проверки реестр медизделий показывал действующий статус. Полного публичного postmortem с перечнем дефектов, сроком простоя и результатами исправления найти не удалось. Исходная приостановка была мерой предосторожности: публичный источник не позволяет утверждать, что вред пациенту уже был причинён.

Корневая причина и preventive control. Подтверждён провал post-market surveillance: обязательная отчётность отсутствовала, а фактические характеристики разошлись с регистрационными. Для медицинского AI нужны версионная клиническая ревалидация, телеметрия критических ошибок, обязательный отчёт по каждой версии и автоматический запрет эксплуатации, если safety-данные не представлены вовремя.

Балашиха: камера увидела мусор, но штраф назначили не тому субъекту

Паспорт. Администрация городского округа Балашиха и областной надзорный орган, Россия; решение от 18 июня 2024 года по делу № 12-382/2024. Статус — A, судебный акт. В 2026 году кейс особенно полезен для городских систем видеоаналитики и автоматизированного контроля.

Задача и внедрение. Автомобили с нейросетевыми камерами в реальном времени фиксировали дефекты благоустройства. AI-комплекс обнаружил навал отходов у контейнерной площадки, после чего администрации назначили штраф 50 000 рублей.

Что произошло и каковы издержки. Суд не опроверг фотографию и наличие мусора. Ошибка возникла дальше: административный орган не доказал, что площадка принадлежит муниципалитету и именно администрация обязана убирать спорную территорию. Штраф отменили, производство прекратили из-за отсутствия состава правонарушения. Иные расходы не раскрыты.

Реакция. Автоматически собранное доказательство не стало достаточным основанием для санкции. Суд потребовал установить надлежащего субъекта ответственности.

Корневая причина и preventive control. Сломалась цепочка «объект на снимке — владелец — обязанность — состав нарушения». Перед санкцией система должна подтянуть документы о собственности и обслуживании, показать источник каждого атрибута, а уполномоченный сотрудник — мотивированно подтвердить связь. Если один элемент не доказан, система создаёт задачу на проверку, но не проект постановления.

ООО «ЦСС»: непроверенные ссылки из AI-черновика привели к штрафу

Паспорт. ООО «ЦСС», Россия; определение Арбитражного суда Западно-Сибирского округа от 14 мая 2026 года по делу № А27-7831/2025. Статус — A, судебный акт.

Задача и внедрение. Компания использовала AI-технологию при подготовке кассационной жалобы. Численное обещание экономии или качества в акте не зафиксировано; практическая задача состояла в подготовке процессуального документа.

Что произошло и каковы издержки. В жалобу попали ссылки на несуществующие судебные дела. Представитель не проверил их достоверность. Суд квалифицировал поведение как неуважение к суду и назначил компании штраф 50 000 рублей. Такой сбой относится к галлюцинациям ИИ, но не освобождает автора от проверки.

Реакция. Суд не запретил использовать нейросети в юридической работе. Он закрепил ответственность участника процесса за реквизиты актов, цитаты и содержание поданного документа, независимо от применённого инструмента.

Корневая причина и preventive control. Human review был только формальным: документ отправили без проверки первичных актов. Контроль должен быть механическим и воспроизводимым — каждая ссылка открывается в официальной базе, реквизиты совпадают, цитируемый фрагмент найден, а проверяющий ставит отметку в source-to-claim register. Если источник не открывается, утверждение удаляют или переписывают без ссылки.

Агитлистовка в Челябинской области: синтетический человек всё равно оказался «изображением лица»

Паспорт. Челябинское областное отделение КПРФ, Россия; кассационное определение Верховного суда РФ от 4 февраля 2026 года № 48-ИКАД26-1-А2. Статус — A, судебный акт.

Задача и внедрение. В предвыборной листовке «Нам важен каждый» использовали созданное нейросетью изображение семьи — отца, матери, ребёнка и дедушки. Сторона считала персонажей абстрактными и потому не подпадающими под ограничения на использование изображений физических лиц в агитации.

Что произошло и каковы издержки. Избирательная комиссия признала материал незаконным. Верховный суд оставил в силе апелляционное решение: в агитации были изображения несовершеннолетнего и лиц, не являющихся кандидатами. Синтетическое происхождение не устранило правовой риск. Денежный штраф в этом акте не установлен, но материал нельзя было распространять, а спор прошёл несколько судебных инстанций.

Реакция. Кассационная жалоба отделения партии осталась без удовлетворения. Суд связал ограничение с защитой избирателя от ложного и необъективного впечатления о кандидате или партии.

Корневая причина и preventive control. Команда проверяла, существует ли изображённый человек, хотя применимая норма ограничивала сам тип изображения и контекст использования. Legal review для генеративного контента должен начинаться с назначения материала, юрисдикции и регулируемой категории. Чек-лист проверяет не только права на исходник, но и возраст образа, допустимых персонажей, маркировку, согласия и запреты площадки.

Международные антикейсы

MyCity: удобная метрика скрыла нестабильность городского чат-бота

Паспорт. Управление технологий и инноваций Нью-Йорка (OTI), США; аудит опубликован 30 декабря 2025 года, официальный файл обновлён в феврале 2026 года. Статус — A, официальный аудит.

Задача и внедрение. MyCity обещал стать единым окном для городских льгот и услуг. В бизнес-раздел добавили AI-чат-бот, который должен был отвечать предпринимателям по услугам и требованиям города.

Что произошло и каковы издержки. Аудиторы обнаружили неточные и непоследовательные ответы на одинаковые по смыслу вопросы. OTI заявляло точность выше 95%, но считало её по числу записанных question-and-response элементов, а не по числу заданных вопросов, и не включало категорию Room for Improvement. При пересчёте аудиторов показатель за август 2025 года составил 84,8–92,7%. Среди пользователей, которые оставили оценку, 71% были недовольны ответом.

На всю программу MyCity за четыре года потратили более $100 млн и запросили ещё $81 млн в бюджете 2026 года. Эти суммы нельзя приписывать чат-боту: аудит не выделяет стоимость AI-компонента.

Реакция. Аудит рекомендовал комплексно проверить техническую, экономическую, юридическую и операционную целесообразность программы, вплоть до изменения масштаба или прекращения, а для чат-бота — проводить структурированный red-teaming. OTI не согласилось с рядом выводов и заявило о собственном тестировании, но представленных материалов аудиторам не хватило для оценки его полноты.

Корневая причина и preventive control. Здесь одновременно провалились метрика, требования и приёмка. До выпуска нужен task-level golden set на реальном языке пользователей, включая разный регистр, порядок слов и неполные формулировки. В знаменатель входят все вопросы, отказы, эскалации и «почти правильные» ответы. Заказчик утверждает методику до теста, а независимая команда пересчитывает KPI по сырому логу.

Deloitte Australia: разрешение использовать ИИ не заменило проверку источников

Паспорт. Deloitte Touche Tohmatsu и Department of Employment and Workplace Relations, Австралия; работа велась в 2024–2025 годах, исправленный отчёт повторно заменён 3 февраля 2026 года. Статус — A, официальная переписка заказчика и поставщика.

Задача и внедрение. Deloitte проводила независимую assurance-проверку Targeted Compliance Framework — системы, влияющей на участников программ занятости. Заказчик согласовал ограниченное применение AI-инструментов для анализа программного кода. В методологии позднее раскрыли использование цепочки на базе большой языковой модели.

Что произошло и каковы издержки. После сдачи обнаружили несуществующие академические работы, ошибочные ссылки и проблемы с цитированием. В переписке департамент указал, что ошибки подрывают достоверность анализа и создают репутационный риск обеим сторонам. Он также сослался на несоблюдение внутренней политики Deloitte по уведомлению клиента об использовании AI.

Реакция. Департамент потребовал перепроверить отчёт, описать исправления и вернуть финальный платёж A$97 587,11 с налогом. Deloitte прислала обновлённые версии, а опубликованный отчёт пришлось вновь заменить в феврале 2026 года.

Корневая причина и preventive control. Команда смешала разрешение на инструмент с доверием к его результату. В профессиональном deliverable нужны отдельные разрешения по этапам: поиск, анализ кода, резюмирование, цитирование и финальная редактура. Каждое внешнее утверждение связывается с открываемым источником и страницей; citation lint проверяет существование работы, автора, название и соответствие цитаты. В договоре фиксируют раскрытие AI-use, право на сырые доказательства и стоимость повторной приёмки.

Air Canada: ответ чат-бота связал компанию так же, как текст на сайте

Паспорт. Air Canada, Канада; решение Civil Resolution Tribunal Британской Колумбии от 14 февраля 2024 года, Moffatt v. Air Canada, 2024 BCCRT 149. Статус — A, судебный акт. Он остаётся актуальным для 2026 года как прямой прецедент ответственности за клиентский AI-канал.

Задача и внедрение. Чат-бот на сайте объяснял правила льготного тарифа при смерти близкого. Он сообщил клиенту, что тот может купить обычный билет, а затем в течение 90 дней запросить перерасчёт. Статическая политика авиакомпании предусматривала другие условия.

Что произошло и каковы издержки. Клиент последовал ответу, но Air Canada отказала в скидке. Трибунал установил negligent misrepresentation и присудил C$650,88 ущерба, C$36,14 процентов и C$125 сбора — всего C$812,02.

Реакция. Довод о том, что чат-бот — отдельный источник, не освободил авиакомпанию от ответственности: он был частью её сайта. В решении не раскрыта архитектура системы, поэтому называть случившееся «галлюцинацией большой языковой модели (LLM)» нельзя.

Корневая причина и preventive control. В нескольких интерфейсах жили конфликтующие версии правила. Для тарифов, возвратов и прав клиента ответы должны строиться из единого versioned policy store. Высокорисковый ответ возвращает ссылку на конкретную редакцию политики и предлагает подтверждение оператором до оплаты; regression-набор прогоняется после каждого изменения тарифа.

Workday: litigation-risk возникает до решения о дискриминации

Паспорт. Workday, США; приказ федерального суда от 16 мая 2025 года, дело Mobley v. Workday оставалось активным на 5 сентября 2026 года. Статус — B, allegation в текущем разбирательстве.

Задача и внедрение. Работодатели могли использовать функции Workday для оценки, сортировки, ранжирования и скрининга кандидатов. Истцы утверждают, что единая AI-система рекомендаций оказала неблагоприятное воздействие на соискателей по возрасту, расе и инвалидности.

Что произошло и каковы издержки. Несколько истцов старше 40 лет заявили, что подавались на сотни вакансий через Workday и почти всегда получали отказ без интервью. Суд предварительно сертифицировал коллектив по возрастному требованию, чтобы потенциально сходные заявители могли получить уведомление и присоединиться.

Это процедурное решение. Оно не доказывает дискриминацию, причинность алгоритма или размер ущерба. Workday сможет представить доказательства и просить о декертификации; индивидуальные требования также требуют проверки.

Реакция. Дело перешло к коллективной процедуре и раскрытию доказательств (discovery). Для бизнеса уже возникли расходы на предоставление данных, экспертизу и защиту, но публичной суммы нет.

Корневая причина и preventive control. Риск возникает, когда поставщик и работодатель не могут быстро показать, какая функция повлияла на конкретный отказ и как распределена ответственность. До запуска нужны тесты неблагоприятного воздействия (adverse impact) по защищённым группам и стадиям воронки, коды причин решения, журнал версии модели и настроек работодателя, срок хранения данных и договорное право на аудит поставщика. Human review считается эффективным только тогда, когда рекрутер видит основания рекомендации и может её отменить.

Replit Agent: backup спас данные, но не оправдал доступ к production

Паспорт. Replit, США; инцидент и реакция в июле 2025 года. Статус — C, postmortem компании.

Задача и внедрение. Агент самостоятельно менял приложение и базу данных в ходе разработки. Пользователь рассчитывал на управляемые изменения с возможностью обсуждать план без опасного воздействия на рабочую систему.

Что произошло и каковы издержки. Агент удалил данные из базы приложения. Пользователь смог полностью восстановить их через checkpoint и rollback, поэтому постоянная потеря не подтверждена. Replit признала, что изменения разработки могли затронуть production и сломать работающие deployments на время до восстановления. Длительность простоя и сумма ущерба не опубликованы.

Реакция. Компания внедрила разделение development- и production-баз по умолчанию: агент не должен менять production во время разработки. Она также улучшила поиск внутренней документации агентом, стала подсказывать rollback и анонсировала chat-only режим для планирования без изменений.

Корневая причина и preventive control. Backup уменьшил последствия, но не устранил исходный дефект — чрезмерное полномочие. Агенту выдают отдельные credentials, allowlist операций и development-среду; destructive action требует подтверждения вне диалога с агентом. Restore регулярно тестируют по целевым RTO и RPO, где RTO — допустимое время восстановления, а RPO — допустимая потеря данных по времени.

Chicago Sun-Times: внешний контент прошёл мимо редакции, но вышел под брендом газеты

Паспорт. Chicago Sun-Times, Chicago Public Media и поставщик King Features, США; спецвыпуск вышел 18 мая, извинение CEO опубликовано 29 мая 2025 года. Статус — C, публичное признание и correction.

Задача и внедрение. Газета лицензировала сезонный спецвыпуск, чтобы поддерживать премиальную печатную модель. Фрилансер поставщика использовал AI-агента для подготовки материалов. Контент не создавался журналистами Sun-Times и не проходил через редакцию, но был упакован под брендом издания и продавался подписчикам как часть выпуска с доплатой $3.

Что произошло и каковы издержки. Из 15 рекомендованных книг десять названий и описаний оказались вымышленными. Проверка обнаружила и другие несоответствия. Денежный ущерб не раскрыт; генеральный директор (CEO) описала национальный репутационный ущерб, разочарование сотрудников и отчуждение платящей аудитории.

Реакция. Компания выпустила correction, извинилась и удалила цифровой артефакт спецвыпуска. Новая политика требует обозначать источник лицензированного контента, не выдавать его за работу редакции и проводить проверку новой Standards-командой. Значимое использование AI должно раскрываться.

Корневая причина и preventive control. Нарушение произошло на четырёх человеческих переходах: генерация без проверки, слабая приёмка у поставщика, доверие заказчика к бренду поставщика и публикация без редактора. AI-policy должна распространяться на закупаемый контент и субподрядчиков. В договор включают право на аудит, provenance, запрет скрытой генерации и ответственность за correction; перед выпуском редактор проверяет имена, названия и ссылки по первичным каталогам.

DoNotPay: «робот-юрист» не прошёл тест, которого компания не проводила

Паспорт. DoNotPay, США; финальный приказ Федеральной торговой комиссии США от 11 февраля 2025 года. Статус — A, финальное регуляторное урегулирование. Consent order не равен судебному признанию каждого пункта первоначальной жалобы.

Задача и внедрение. Подписной сервис рекламировали как «первого в мире робота-юриста», способного заменить человеческую юридическую экспертизу, создавать документы и давать советы.

Что произошло и каковы издержки. В жалобе Федеральной торговой комиссии США (FTC) указывалось, что компания не проверяла, работает ли сервис на уровне человека-юриста, и не привлекала юристов для оценки качества и точности legal-функций. Проблемой стал разрыв между обещанным benchmark и отсутствием самого теста.

Реакция. DoNotPay обязали выплатить $193 000 monetary relief, уведомить подписчиков за 2021–2023 годы и не заявлять об эквивалентности реальному юристу без достаточных доказательств.

Корневая причина и preventive control. Маркетинг сформулировал проверяемое обещание «заменяет специалиста», но product-evaluation не повторил работу специалиста на репрезентативной выборке. До такого claims нужны competence benchmark, слепая экспертная оценка, границы допустимых задач и отдельная статистика критических ошибок. Legal и risk утверждают не слоган, а evidence pack под каждое сравнительное обещание.

Nate: обвинение в AI-washing показывает риск скрытого ручного контура

Паспорт. Nate, Inc. и её основатель Альберт Санигер, США; жалоба Комиссии по ценным бумагам и биржам США (SEC) подана 9 апреля, сообщение опубликовано 11 апреля 2025 года. На 5 сентября 2026 года финального решения по существу в доступных материалах не было. Статус — B, обвинения регулятора, вина не установлена.

Задача и внедрение. Мобильное приложение обещало завершать покупки в разных интернет-магазинах с помощью AI без участия человека. По версии SEC, это обещание использовали и при привлечении инвестиций.

Что произошло и каковы издержки. SEC утверждает, что приложение в значительной степени опиралось на подрядчиков, вручную вводивших заказы, не могло завершать покупки заявленным AI-способом, а уровень успеха был ниже представленного инвесторам. Через продажу акций привлекли более $42 млн. Эта сумма — привлечённый капитал, а не установленный судом ущерб.

Реакция. SEC потребовала постоянных и поведенческих запретов, запрета занимать должности директора или руководителя, возврата полученного с процентами и гражданских штрафов. На дату статьи это требования обвинения, не окончательное решение.

Корневая причина и preventive control. Инвесторы и совет директоров могут видеть красивую демонстрацию, но не долю скрытого ручного труда. Due diligence должен получать сырые обезличенные логи: сколько транзакций завершено полностью автоматически, где вмешался оператор, как считаются повторные попытки и исключения. Финансовая отчётность сверяется с операционной телеметрией, а публичные claims утверждает независимый комитет disclosure.

Какие причины повторяются

Обещание не переведено в измеримый контракт

«Отвечает как оператор», «работает как юрист» и «автоматически завершает покупку» звучат понятно, но не задают тест. Нужны определение успешной задачи, допустимая тяжесть ошибки, сегменты пользователей, максимальная задержка, цена эскалации и эталон для сравнения. Без этого маркетинг, разработка и заказчик оценивают разные продукты.

KPI исключает неудобные случаи

Средняя точность легко растёт, если не учитывать отказы, эскалации, неизвестные вопросы или категорию «можно улучшить». Метрика должна иметь заранее закреплённый знаменатель. Любое изменение формулы публикуется рядом с результатом, а сырой лог сохраняется для независимого пересчёта.

Human-in-the-loop существует только на схеме

Сотрудник не контролирует AI, если он не видит источники, не успевает проверить решение, не имеет профессиональной квалификации или боится отменять рекомендацию. Качество контроля измеряется долей осмысленных отмен, временем проверки и количеством ошибок, найденных до внешнего действия.

Полномочия растут быстрее механизмов восстановления

Генерация черновика, отправка ответа клиенту и изменение production-базы — разные классы риска. Для каждого следующего уровня нужны более узкие права, отдельное подтверждение и более строгий rollback. Наличие backup не даёт агенту право выполнять опасную операцию.

Заказчик делегирует работу, но сохраняет ответственность

Air Canada отвечала за чат-бот на своём сайте, Sun-Times — за лицензированный материал под своим брендом, а участник российского процесса — за жалобу, которую помог подготовить AI. Контракт с поставщиком позволяет распределить расходы после инцидента, но не отменяет обязанность перед клиентом, судом или регулятором.

Регулируемый контекст проверяют слишком поздно

В медицине важен post-market monitoring, в найме — adverse impact, в агитации — допустимость самого образа, в административной санкции — доказанная ответственность лица. Универсальный AI-checklist не заменяет отраслевой legal и safety review.

Контрольный framework до пилота и релиза

Framework удобно оформить как восемь ворот. Если команда не может предъявить артефакт ворот, система не проходит дальше.

Ворота	Вопрос	Обязательный артефакт
Цель	Какое решение улучшает система и для кого?	Use-case card с владельцем, baseline и запрещёнными сценариями
Полномочия	Что AI может читать, предлагать, отправлять и изменять?	Матрица доступа и action policy с deny-by-default
Доказательства	Какое обещание качества проверяется?	Evaluation protocol, golden set, тяжесть ошибок и confidence intervals
Данные	Похожи ли тесты на production и законно ли используются данные?	Datasheet, provenance, retention, consent/legal basis, карта сегментов
Человеческий контроль	Может ли проверяющий понять и отменить результат?	Инструкция, интерфейс источников, SLA проверки, журнал override
Поставщик	Можно ли проверить модель, изменения и скрытый ручной труд?	Договор на аудит, уведомление о версии, срок сообщения об инциденте, план выхода и возврата данных
Эксплуатация	Как заметить дрейф и ограничить ущерб?	Дашборд качества и риска, rate limit, canary, circuit breaker, runbook
Восстановление	Как безопасно остановить и вернуть состояние?	Протокол rollback, протестированные backup, RTO/RPO, владелец stop decision

До пилота

Команда описывает baseline без AI: время, стоимость, качество, жалобы и редкие тяжёлые ошибки. Затем строит тест из реальных задач, включая неоднозначные, вредоносные и неполные запросы. Для найма и услуг добавляют сегменты; для медицины — клинические пороги; для агентов — симуляцию опасных действий.

Пилот начинается в shadow mode: система формирует рекомендацию, но не влияет на человека, деньги, права или production. Расхождения с действующим процессом разбираются по типам, а не сводятся в одну accuracy.

Перед релизом

Нужны владелец продукта, владелец риска и сотрудник с правом остановки. Они подписывают один release record: версия модели и данных, результаты тестов, открытые исключения, допустимый blast radius и дата повторной оценки.

Запуск проводят как canary на небольшой доле трафика. Пользователь понимает, что общается с автоматизированной системой, и может перейти к человеку. Для решения с правовыми или финансовыми последствиями сохраняются входные данные, источники, версия правил, рекомендация AI и действие человека.

После релиза

Мониторинг сравнивает production с baseline и контрольной группой. Команда отдельно видит средний результат и хвост риска: критические ошибки, худшие сегменты, апелляции, повторные обращения, несанкционированные действия и время восстановления. Изменение модели, prompt, retrieval-базы или policy store проходит сокращённый release gate, а не выкатывается как «контентное обновление».

Stop conditions: когда систему нужно остановить

Условия остановки задают до запуска. Отключение не должно зависеть от того, согласится ли в момент инцидента поставщик или руководитель направления.

• система даёт медицинский, юридический, финансовый или иной high-impact ответ без проверяемого источника;
• AI создаёт санкцию, отказ, увольнение или платёж, хотя обязательная связь с субъектом не доказана;
• в production обнаружена критическая ошибка из заранее определённого списка, даже если средняя accuracy не изменилась;
• разрыв качества между защищёнными группами превышает согласованный порог;
• доля отменённых при апелляции решений или повторных обращений пересекает лимит;
• агент получает доступ за пределами разрешённого перечня, игнорирует запрет изменений или пытается выполнить destructive action без подтверждения;
• фактический RTO/RPO хуже обещанного либо rollback не проходит тест;
• поставщик меняет модель, данные, ручной контур или формулу KPI без уведомления;
• исчезает трассировка «утверждение — источник — версия — проверяющий»;
• обязательный регуляторный отчёт просрочен или организация не может восстановить журнал решения;
• команда обнаруживает, что публичное обещание продукта не подтверждается действующей методикой оценки.

После stop condition система переходит в заранее описанный безопасный режим: human-only, read-only, шаблонные ответы или полное отключение. Возврат возможен после анализа причины, исправления, повторного теста на исходном failing set и одобрения владельца риска.

Что измерять кроме экономии штата

Эквивалент полной занятости, или FTE, показывает объём труда, но скрывает переделки, тяжёлые ошибки и перенос нагрузки на клиента. Нужен сбалансированный набор метрик.

Область	Метрики
Результат задачи	Доля корректно завершённых задач, first-contact resolution, время до полезного результата, корректный отказ от ответа
Качество	Severe-error rate, factuality, citation validity, стабильность перефразировок, дрейф по версиям
Клиент	Повторные обращения, эскалации, жалобы, возвраты, отказ от AI-канала, доверие после контакта
Справедливость	Selection/approval rate по группам, false positive/negative gap, доступность для разных языков и ограничений
Человек	Время проверки, override rate, ошибки, пойманные до действия, когнитивная нагрузка, потеря навыка
Экономика	Стоимость корректно решённой задачи, rework, supervision, incident response, компенсации, юристы, смена поставщика
Безопасность	Несанкционированные tool calls, запросы повышенных прав, близкие к инциденту события, blast radius
Восстановление	Доля успешных rollback, фактические RTO/RPO, полнота журналов, время до безопасного режима

Для совета директоров полезен один агрегат: стоимость корректно и безопасно завершённой задачи. Рядом показывают хвост — число критических инцидентов и максимальный ущерб одного события. Средняя экономия без хвоста риска создаёт тот же стимул, который в рассмотренных кейсах позволял игнорировать качество.

Вывод

Антикейсы 2026 года не доказывают, что бизнесу нужно отказаться от ИИ. Они показывают цену выпуска без инженерного и управленческого контура. Безопасная система умеет не только отвечать: она отказывается, показывает источник, ограничивает собственные права, передаёт задачу человеку, сохраняет доказательства и возвращается в предыдущее состояние.

До пилота руководителю стоит потребовать пять вещей: измеримое обещание, репрезентативный тест, владельца риска, технический предел полномочий и проверенный stop/rollback plan. Если хотя бы одного элемента нет, экономия FTE остаётся гипотезой, а ответственность уже лежит на организации.