Медиацентр: Об автономности ИИ агентов и связанных с этим рисках

Здравствуйте. Одним из ключевых трендов этого года становится автономные ИИ агенты способные совершать различные действия по поручению пользователя.

При этом, согласно опросам Gartner, 53% организаций используют таких агентов автономно лишь для задач с низким риском, опасаясь возможного вреда и неконтролируемых действий со стороны искусственного интеллекта. Эффективным вариантом решения этой проблемы эксперты считают создание зон ограниченной автономности, задающих чётки рамки для действий нейросетей. Комментирует директор по продуктам искусственного интеллекта VK Tech Роман Стятюгин:

«Такой подход снижает риски, поскольку делает агента предсказуем и управляем. Ключевым принципом становится формирование ограниченного операционного контура. К каким корпоративным данным у агента есть доступ, какие действия допустимы, а какие нет. На практике это означает ограничение автономности искусственного интеллекта, поскольку у агента нет прав на действия, которые не описаны в инструкции. Например, для агента может быть закрыт произвольный доступ в интернет. Зато в случае ошибки все последствия ограничены лишь рамками этого контура».

Анализ реальных инцидентов показывает, что почти все они были связаны с избыточными правами агента, отсутствием изоляции среды и неконтролируемыми интеграциями. А в случае применения ограниченного контура, даже если агент ошибается, последствия такой ошибки не выходят за допустимые рамки.

Аудиозапись выпуска можно прослушать на нашем сайте с помощью встроенного плеера: