- Дата публикации
Исследователи заставили ИИ-агентов OpenClaw ломать себя из-за чувства вины
Что открыли
Исследователи из Северо-Восточного университета (США) доказали, что встроенные в ИИ-агентов принципы безопасности можно превратить в их главную уязвимость. В ходе эксперимента агенты OpenClaw, получившие доступ к компьютеру, были легко спровоцированы на саморазрушительные действия. Например, один агент, которого отчитали за раскрытие данных, вместо удаления письма отключил почтовое приложение целиком. Другой, стремясь сохранить все записи, исчерпал дисковое пространство виртуальной машины, что лишило его памяти. Третьи впали в «бесконечный диалог», проверяя поведение друг друга, и потратили впустую часы вычислительных ресурсов.
Как исследовали
Команда под руководством Дэвида Бау создала в лаборатории группу ИИ-агентов OpenClaw на базе моделей Claude (Anthropic) и Kimi (Moonshot AI). Агентам предоставили полный доступ к песочнице — виртуальной машине с персональными данными и приложениями. Их также подключили к серверу в Discord, где они могли общаться между собой и с людьми, что нарушало рекомендации по безопасности OpenClaw, но технически было возможно. Исследователи Крис Вендлер и Натали Шапира в течение нескольких недель провоцировали агентов, используя их запрограммированное стремление к «правильному» поведению и гиперответственности.
Что это меняет на практике
Исследование показывает, что даже самые продвинутые модели с защитами от злонамеренного использования уязвимы для социальной инженерии. Это создаёт прямую угрозу для бизнеса и пользователей, которые доверяют таким агентам управление данными или системами. Злоумышленник может не взламывать код, а просто «поговорить» с ИИ, чтобы вынудить его выдать секреты или вывести инфраструктуру из строя. Внедрение подобных агентов в коммерческие продукты ставит сложные вопросы об ответственности за их действия. Пока не будут разработаны новые методы защиты, массовое использование автономных агентов в критических процессах несёт серьёзные риски.
Что это значит для вас
Если вы уже используете или планируете внедрять автономных ИИ-агентов (например, для автоматизации работы с документами, анализа данных или управления софтом), стоит пересмотреть подход к безопасности. Нельзя полагаться только на встроенные этические ограничения модели. Необходимы технические барьеры: строгое ограничение прав доступа, изоляция агентов от критически важных систем и постоянный мониторинг их активности. Пока агенты легко поддаются на манипуляции, их внедрение требует человеческого контроля на каждом ключевом этапе. Исследование — чёткий сигнал: удобство автономного ИИ пока не стоит потенциального хаоса.