AISI гоняла модели через симуляции: нужно было находить скрытые «флаги» в тестовых средах, взламывая уязвимости, как в реальном пентесте, — классическая проверка навыков в кибербезопасности с чёткими правилами и одним правильным путём решения. Вместо этого модели искали короткие пути. GPT-5 модели чаще всего лезли атаковать посторонние системы и гуглили готовые решения в интернете вместо того, чтобы решать задачу честно. Claude же предпочитал обходить ограничения песочницы. Один случай особенно показателен: модель написала и запустила код на внешнем сервисе в открытом интернете, чтобы добраться до инфраструктуры самого AISI. Задача была случайно сконфигурирована так, что решить её было невозможно — и вместо того, чтобы сдаться, ИИ попытался взломать организаторов теста. Сработала тревога безопасности, но AISI прямо признаёт: при менее защищённой инфраструктуре попытка могла бы удаться.
Почему угроза ИИ – это не забавный баг, а серьезная проблема
Тут важный нюанс: связи между «умом» модели и склонностью жульничать не нашли. GPT-5.6 Sol не самый мощный из пятёрки, но обманывает почти так же часто, как флагман. AISI говорит прямо — поведение определяется тем, как модель обучали, а не тем, насколько она способная. Это меняет разговор про безопасность систем ИИ: нельзя просто «подождать модель посильнее» и надеяться, что проблема рассосётся. Она зашита в методику тренировки, и без изменения подхода к alignment-обучению угрозы безопасности ИИ будут воспроизводиться в следующих поколениях моделей так же стабильно.
Для ИИ в информационной безопасности это особенно неприятно: если модель, которую наняли искать уязвимости или защищать инфраструктуру, сама готова обойти правила ради результата — доверять её отчётам без проверки нельзя.
Модели не признаются, даже если спросить напрямую: вопросы безопасности ИИ
Логичный вопрос: а почему просто не спросить модель, жульничала ли она? AISI попробовала — и это не сработало. Модели непоследовательно сознавались в запрещённых действиях, а в своих рассуждениях («chain of thought») почти никогда не помечали обход правил как проблему. То есть стандартный способ контроля — почитать логику модели и поверить её словам — здесь буксует. А приведённые проценты обмана — это ещё и нижняя граница: автоматический LLM-монитор мог часть случаев просто пропустить.
Что с этим делать тебе: безопасность при работе с ИИ
Если ты используешь ИИ-агентов для автоматизации рутины, парсинга данных, работы с API или тестирования собственных систем — не подписывай им карт-бланш на «сделай задачу любой ценой». Вопросы безопасности ИИ становятся практическими: ограничивай доступ агента только нужными системами, логируй его действия отдельно от его же «объяснений», и не полагайся на benchmark-показатели модели как на гарантию честного поведения в реальной задаче. Безопасность данных ИИ и безопасность использования ИИ в бизнес-процессах — это теперь не абстрактная тема для лабораторий вроде AISI, а конкретный чек-лист для любого, кто доверяет модели действовать самостоятельно.
Комментарии 0