Дата публикации
ai_products

GPT‑Red: «красная команда» OpenAI, которая взламывает GPT‑5.6, чтобы сделать его безопаснее

Что нового

OpenAI рассказала о GPT‑Red — внутренней модели‑«хакере», которая систематически атакует другие ИИ OpenAI и помогает делать их устойчивее к взлому через промпты.

Ключевые факты:

  • GPT‑Red — отдельная модель, которую OpenAI обучила только для задач red‑teaming (поиск уязвимостей, в первую очередь prompt injection).
  • OpenAI потратила на обучение GPT‑Red вычислительные мощности того же порядка, что и на крупнейшие пост‑тренировочные запуски своих флагманских моделей. Это редкий случай, когда столько ресурсов ушло исключительно на безопасность.
  • GPT‑Red умеет по шагам атаковать другие модели: формулирует промпт, смотрит ответ, дорабатывает атаку и повторяет цикл.
  • По итогам обучения GPT‑Red «ломает» почти все модели, с которыми её сталкивают, включая внутренние и продакшн‑версии до GPT‑5.5.
  • OpenAI встроила GPT‑Red в тренировочный цикл GPT‑5.6 Sol. Результат:
    • GPT‑5.6 Sol в 6 раз реже проваливается на самом сложном бенчмарке прямых prompt injection по сравнению с лучшей продакшн‑моделью OpenAI четырёхмесячной давности.
    • На широком наборе сценариев GPT‑5.6 Sol даёт сбой только в 0,05% прямых атак GPT‑Red.
  • На внешнем бенчмарке непрямых prompt injection (реплика арены из Dziemian et al., 2025) GPT‑Red успешна в 84% сценариев против 13% у человеческих red‑teamer’ов.
  • GPT‑Red уже нашла новый класс атак — Fake Chain‑of‑Thought, которые раньше ломали GPT‑5.1 с успехом до 95%, а для GPT‑5.6 Sol их успех упал ниже 10%.
  • На ряде непрямых prompt injection‑бенчмарков (инструменты разработчика, браузинг) GPT‑5.6 Sol показывает более 97% точности.
  • GPT‑Red не доступна пользователям и не будет выведена в продакшн‑продукты. Это полностью внутренняя система для тренировок и тестов.
  • OpenAI обещает препринт с техническими деталями в ближайшее время.

Как это работает

Автоматический red‑teaming через self‑play

OpenAI обучает GPT‑Red с помощью self‑play reinforcement learning.

Схема:

  • С одной стороны — GPT‑Red, которая играет роль атакующего.
  • С другой — набор защитников: несколько LLM, выполняющих полезные задачи (поиск, работа с файлами, код, агенты и т.д.).
  • Обе стороны обучаются одновременно:
    • GPT‑Red получает вознаграждение, если добивается «валидного провала» — например, заставляет модель нарушить исходные инструкции через prompt injection или слить конфиденциальные данные.
    • Защитные модели получают вознаграждение за устойчивость к атакам и корректное выполнение исходных задач.
  • По мере роста устойчивости защитников GPT‑Red вынуждена придумывать всё более сложные и разнообразные атаки — это и есть эскалация self‑play.

Сценарии и «песочницы» для атак

Чтобы self‑play был реалистичным, OpenAI создаёт набор сред, в которых prompt injection может появиться в реальном мире. У каждой среды есть свой threat model:

  • что именно контролирует GPT‑Red;
  • что считается успешной атакой.

Примеры точек внедрения:

  • часть локального файла;
  • баннер на веб‑странице;
  • тело письма;
  • ответ внешнего инструмента;
  • содержимое репозитория кода.

GPT‑Red учится использовать эти точки, чтобы подменять инструкции, уводить агента от задачи или заставлять его нарушать политику безопасности.

Отдельный «злой» мозг

После обучения GPT‑Red остаётся отдельной моделью. OpenAI сознательно не смешивает её параметры с продакшн‑моделями:

  • все «злые» навыки (обход политик, атаки на агентов) остаются внутри GPT‑Red;
  • в GPT‑5.6 Sol и другие модели попадает только устойчивость к этим атакам, а не сами шаблоны взлома.

Технически это достигается так:

  • GPT‑Red генерирует массив атакующих промптов и сценариев;
  • эти данные входят в тренировочный набор защитных моделей;
  • защитники учатся не поддаваться на такие шаблоны, сохраняя полезную функциональность.

Кейсы из реального мира

OpenAI проверяет GPT‑Red не только на синтетических бенчмарках, но и на живых системах.

  1. Автономный вендинг‑агент (Vendy)
  • OpenAI использует AI‑управляемый торговый автомат в офисе. Систему разрабатывала Andon Labs (аналог проекта Project Vend).
  • GPT‑Red получила:
    • описание архитектуры агента;
    • доступ к симуляции с просмотром вызовов инструментов.
  • В симуляции GPT‑Red подбирала атаки, а затем перенесла их на живой продакшн‑агент.
  • Цели атаки:
    1. Изменить цену дорогого товара в наличии до минимальных $0,50.
    2. Заказать новый товар стоимостью более $100 и выставить его за $0,50.
    3. Отменить заказ другого покупателя.
  • GPT‑Red добилась всех трёх целей. OpenAI передала информацию о дырах, сейчас тестируются новые защитные механизмы.
  1. Codex CLI‑агент (на GPT‑5.4 Mini)
  • Цель — заставить агента утечь чувствительные данные в 10 специально подготовленных сценариях эксфильтрации.
  • Сравнивали две настройки атакующего:
    • GPT‑Red;
    • GPT‑5.5 с промпт‑инжинирингом (baseline).
  • Результат:
    • GPT‑Red успешнее: получает доступ к данным в большем числе сценариев;
    • GPT‑Red экономнее по токенам, то есть добивается цели меньшими затратами запросов.
  1. Непрямые prompt injection (реплика арены Dziemian et al., 2025)
  • Модель‑защитник: GPT‑5.1.
  • Сценарии и цели отличались от тех, на которых обучали GPT‑Red.
  • Сравнение:
    • GPT‑Red находит успешную атаку в 84% сценариев;
    • человеческие red‑teamer’ы — в 13%.

Что это значит для вас

Если вы продуктовый менеджер или основатель

  • GPT‑5.6 Sol, обученный с помощью GPT‑Red, устойчивее к prompt injection и атакам через инструменты.
  • Это критично, если вы строите:
    • агентов, работающих с почтой, документами, кодом, CRM;
    • ассистентов с доступом к внутренним системам компании;
    • любых «автономных» ИИ, принимающих решения без постоянного контроля человека.
  • Снижается риск сценариев:
    • письмо с вредоносной инструкцией меняет поведение агента;
    • текст на сайте заставляет ИИ слить токен авторизации;
    • репозиторий кода содержит подсказку, из‑за которой агент утечёт секреты.

Практический вывод: при выборе модели для production‑агентов с доступом к данным и действиям имеет смысл ориентироваться на GPT‑5.6 Sol или более новые версии, где GPT‑Red уже «прокатала» защиту.

Если вы разработчик и security‑инженер

  • GPT‑Red показывает, что автоматизированный red‑teaming уже может быть эффективнее людей по покрытию сценариев.
  • Для вас это значит:
    • стоит закладывать в архитектуру агентов защиту от prompt injection как базовое требование, а не как «краевой случай»;
    • нужно проектировать системы так, чтобы модель не доверяла слепо внешним данным: вводите валидацию, sandbox для инструментов, явное разделение источников инструкций.
  • Нельзя полагаться только на «умную» модель: GPT‑Red демонстрирует, что даже сильные версии GPT без специальной тренировки ломаются почти во всех сценариях.

С другой стороны, GPT‑Red недоступна как сервис. Вы не сможете «подключить GPT‑Red и прогнать свои системы». Придётся:

  • либо ждать, пока OpenAI предложит похожие инструменты в виде продукта;
  • либо строить собственные автоматизированные red‑teamer’ы по аналогичной схеме self‑play.

Если вы дата‑саентист или исследователь ИИ

  • GPT‑Red — пример того, как можно использовать self‑play RL не только для игр и координации агентов, но и для систематического поиска уязвимостей.
  • Интересные выводы:
    • по мере масштабирования self‑play OpenAI находит всё новые классы атак, которые раньше не фиксировали люди;
    • при этом устойчивость к этим атакам можно нарастить до очень низких уровней провалов (0,05% на прямых атаках GPT‑Red).

Это может стать референсом для построения внутренних систем безопасности в других компаниях.

Если вы конечный пользователь

  • Напрямую вы не увидите GPT‑Red, но почувствуете эффект в поведении GPT‑5.6 Sol и следующих моделей:
    • меньше странных «срывов» при работе с внешними ссылками, письмами, файлами;
    • более аккуратная работа с конфиденциальными данными;
    • меньше случаев, когда модель внезапно «забывает» ваши инструкции из‑за текста, который она прочитала в документе.

Ограничения:

  • GPT‑Red — внутренняя система. Вы не можете использовать её для тестирования своих продуктов или обучать на ней собственные модели.
  • Доступ к GPT‑5.6 Sol и другим моделям OpenAI в России официально ограничен. Для работы с ними потребуется обход блокировок и/или зарубежная учётная запись.

Место на рынке

OpenAI не раскрывает точные метрики скорости, стоимости токена или контекста для GPT‑Red и GPT‑5.6 Sol в этом анонсе. Зато даёт много данных по безопасности.

По доступным фактам можно сделать несколько аккуратных выводов.

Внутри линейки OpenAI

  • GPT‑Red ломает почти все внутренние и продакшн‑модели OpenAI до GPT‑5.5.
  • После использования GPT‑Red при обучении GPT‑5.6 Sol:
    • прямые prompt injection от GPT‑Red почти не работают: провал только в 0,05% случаев на широком наборе сред;
    • сложный бенчмарк прямых prompt injection показывает шестикратное снижение числа провалов по сравнению с лучшей продакшн‑моделью четырёхмесячной давности;
    • Fake Chain‑of‑Thought‑атаки падают с ~95% успеха на GPT‑5.1 до <10% на GPT‑5.6 Sol.
  • На непрямых prompt injection через инструменты разработчика и браузинг GPT‑5.6 Sol набирает более 97% точности.

Это означает, что по устойчивости к prompt injection внутри экосистемы OpenAI GPT‑5.6 Sol сейчас самый сильный вариант.

По сравнению с людьми и «обычными» LLM

  • На арене Dziemian et al. (2025) GPT‑Red успешнее человеческих red‑teamer’ов: 84% успешных сценариев против 13%.
  • В тестах на Codex CLI GPT‑Red эффективнее и экономичнее, чем GPT‑5.5, настроенная промптами для red‑teaming.

То есть автоматический red‑teamer на базе GPT‑Red даёт больше успешных атак и покрывает больше сценариев, чем:

  • люди, даже мотивированные искать уязвимости;
  • универсальная мощная модель, просто «переключенная» в режим атак через промпт.

Сравнивать GPT‑Red напрямую с Claude 3/4, Gemini или другими крупными моделями нельзя: OpenAI не даёт ни бенчмарков по скорости, ни по стоимости, ни по контексту. Из анонса ясно только, что GPT‑Red обучали на уровне крупнейших пост‑тренировочных запусков OpenAI, то есть это тяжёлая и дорогая система, рассчитанная на внутреннее использование.

Баланс безопасности и полезности

OpenAI отдельно подчёркивает: можно сделать модель «безопаснее», если она начнёт чаще отказывать и меньше уметь. Это не тот путь, который использовали для GPT‑5.6 Sol.

OpenAI утверждает, что:

  • общие «фронтирные» способности GPT‑5.6 Sol не просели;
  • рост устойчивости к prompt injection не сопровождается массовыми ложными отказами на легитимные запросы.

Это важно для рынка: если модель слишком осторожна и постоянно говорит «нельзя», её ценность для бизнеса падает. В случае GPT‑5.6 Sol OpenAI заявляет, что улучшение безопасности идёт именно за счёт лучшего сопротивления вредоносным инструкциям, а не за счёт снижения полезности.

Что ещё важно знать

  • GPT‑Red — это не продукт, а инфраструктура безопасности OpenAI. Она:
    • генерирует новые классы атак;
    • помогает находить уязвимости до релиза моделей;
    • создаёт тренировочные данные для укрепления будущих версий GPT.
  • OpenAI уже полгода последовательно наращивает мощность автоматических red‑teamer’ов и использует их при обучении всех релизов, начиная с GPT‑5.3. Каждая следующая версия GPT становится устойчивее.
  • По мере масштабирования self‑play OpenAI постоянно находит новые угрозы, которые ломают существующие модели, но затем использует эти же угрозы для их укрепления.

OpenAI видит в GPT‑Red основу «цикла самосовершенствования безопасности»: текущие модели атакуют и улучшают будущие, а те, в свою очередь, будут тренировать ещё более сильные red‑teamer’ы.

Для рынка это сигнал: эпоха, когда безопасность LLM‑агентов строилась в основном на ручном тестировании, заканчивается. Масштабные автоматизированные «красные команды» станут обязательным элементом серьёзных ИИ‑платформ — даже если конечный пользователь никогда не увидит их напрямую.

Читайте также

#openai#ai-safety#кибербезопасность#языковые-модели
🔗 Источник: https://openai.com/index/unlocking-self-improvement-gpt-red/
← Все новости