ИИ-инциденты: компании не готовы к управлению кризисами

Исследование ISACA выявило серьёзный разрыв между масштабами внедрения искусственного интеллекта и готовностью организаций управлять связанными с ним рисками. Согласно отчёту, 59% специалистов в области цифрового доверия не понимают, насколько быстро их организация способна прервать работу ИИ-системы в ходе инцидента безопасности. Лишь 21% респондентов заявили, что могут вмешаться и существенно повлиять на ситуацию в течение получаса.

Это означает, что скомпрометированные ИИ-системы могут продолжать работать без контроля, создавая риск необратимого ущерба. Всего 42% опрошенных выразили хоть какую-то уверенность в том, что их организация способна проанализировать и разъяснить серьёзные инциденты, связанные с ИИ, что ведёт к возможным операционным сбоям и угрозам безопасности.

Проблема подотчётности: кто отвечает за действия ИИ?

Одна из ключевых проблем — размытость ответственности. 20% респондентов признались, что не знают, кто понесёт ответственность, если ИИ-система нанесёт ущерб. Лишь 38% опрошенных назвали Совет директоров или высшее руководство в качестве конечных ответственных лиц.

Без объяснения инцидентов регуляторам и руководству компании рискуют столкнуться с юридическими санкциями и репутационными потерями. Надлежащий анализ необходим для извлечения уроков из ошибок, и без чёткого понимания причин вероятность повторения инцидентов только возрастает.

Экспертное мнение: ИИ нужен не замедлять, а управлять

Ali Sarrafi, CEO и основатель Kovant — платформы автономного предприятия, — считает, что замедление внедрения ИИ не является решением. «Результаты ISACA указывают на серьёзную структурную проблему в том, как организации разворачивают ИИ. Системы внедряются в критически важные бизнес-процессы без необходимого уровня управления, который мог бы контролировать и проверять их действия. Если компания не может быстро остановить ИИ-систему, объяснить её поведение или даже определить, кто несёт ответственность, — компания не контролирует эту систему», — отметил он.

По мнению Sarrafi, ключ к успеху — переосмысление подхода к управлению ИИ. «ИИ-системы должны находиться в структурированном управленческом слое, который относится к ним как к цифровым сотрудникам, с чётким владением, определёнными путями эскалации и возможностью мгновенной приостановки или переопределения при превышении порогов риска. Так агенты перестают быть загадочными ботами и становятся системами, которые можно проверить и которым можно доверять».

Государство и бизнес: пробелы в наблюдаемости ИИ

Существуют и обнадёживающие сигналы: 40% респондентов сообщили, что люди одобряют практически все действия ИИ до их развёртывания, а ещё 26% оценивают результаты работы ИИ-систем. Тем не менее без улучшенной инфраструктуры управления человеческий контроль вряд ли будет достаточным для выявления и устранения проблем до их эскалации.

ISACA также обратила внимание на то, что более трети организаций не требуют от сотрудников раскрывать, где и когда ИИ используется в рабочих продуктах, что увеличивает число «слепых зон». Несмотря на ужесточение регуляторных требований, повышающих ответственность руководства, организации продолжают не внедрять и не использовать ИИ безопасно и эффективно. Многие компании воспринимают риски ИИ как техническую проблему, а не как задачу, требующую тщательного управления на уровне всей организации.

Управление ИИ должно быть заложено в архитектуру с первого дня

Изменение подхода к интеграции и использованию ИИ является необходимым условием. Без надлежащего управления и подотчётности компании не контролируют свои ИИ-системы. А без контроля даже незначительные ошибки могут причинить репутационный и финансовый ущерб, от которого многие бизнесы не смогут восстановиться.

Sarrafi подчёркивает: организации, которые выстраивают управление ИИ правильно, не просто снижают риски — они получают возможность уверенно масштабировать искусственный интеллект в бизнесе. По мере того как ИИ всё глубже интегрируется в ключевые бизнес-функции, управление не может быть второстепенным соображением. Оно должно быть заложено в архитектуру с первого дня, с обеспечением прозрачности и контроля на каждом уровне.