Агенты с ограничениями: как работают новые ИИ-помощники
В экосистеме Apple и у производителей чипов, таких как Qualcomm, ведётся разработка ИИ-агентов нового поколения. Ранние версии этих систем, описанные Tom's Guide, уже способны перемещаться по приложениям, оформлять бронирования и управлять задачами в различных сервисах. В одном из тестов агентная система самостоятельно прошла через рабочий процесс приложения и достигла экрана оплаты, прежде чем запросить у пользователя подтверждение.
Такой подход знаменует собой принципиальный сдвиг: вместо полной автономии разработчики сознательно встраивают в системы «точки контроля». Чувствительные действия — особенно связанные с платежами или изменением аккаунтов — не могут быть выполнены без явного одобрения пользователя.
Модель «человек в цикле» и банковские стандарты
Концепция «human-in-the-loop» позволяет системе подготовить действие, но оставляет финальное решение за человеком. Исследования, связанные с работой Apple в области ИИ, изучают способы гарантировать, что системы приостанавливаются перед выполнением действий, которые пользователь не запрашивал явно.
Банковские приложения уже давно требуют подтверждения при переводах средств. Теперь аналогичный подход применяется к ИИ-управляемым действиям в множестве сервисов. Это означает, что ИИ может подготовить покупку или забронировать услугу, но не завершить операцию без одобрения владельца аккаунта.
Приватность и ограничение доступа как дополнительный уровень защиты
Отдельный слой контроля — это ограничение того, к чему ИИ-агент имеет доступ. Компании не предоставляют системе полный доступ ко всем приложениям и данным: устанавливаются правила, какие приложения агент может использовать и когда действия могут быть инициированы.
По данным Tom's Guide, такая архитектура преследует цель защиты приватности: если данные остаются на устройстве, отпадает необходимость передавать чувствительную информацию на внешние серверы. В сфере платежей ИИ-системы должны работать с партнёрами, уже имеющими строгие правила безопасности. В одном из известных примеров сервисы платёжных провайдеров интегрируются для обеспечения безопасной аутентификации до завершения транзакций, хотя подобные механизмы всё ещё находятся в стадии разработки.
Потребительский вызов и будущее агентного ИИ
Большая часть дискуссий об управлении ИИ сосредоточена на корпоративном применении — кибербезопасности и масштабной автоматизации. Потребительский сегмент ставит перед компаниями иную задачу: необходимо проектировать механизмы контроля, которые будут понятны и удобны обычным пользователям.
По мере того как ИИ приобретает способность выполнять реальные действия, риски возрастают: ошибки могут привести к финансовым потерям или утечке данных. Размещая контроль на нескольких уровнях — от подтверждения действий до инфраструктурных ограничений — компании стремятся управлять этими рисками. Подход может определить, как агентный ИИ будет развиваться в ближайшей перспективе: вместо стремления к полной независимости компании делают ставку на контролируемые среды, в которых риски можно эффективно управлять.