OpenAI навчила GPT-Red автоматично шукати prompt injection і посилила захист GPT-5.6

OpenAI представила внутрішню модель GPT-Red, яка автоматично створює атаки через приховані інструкції та допомагає тренувати виробничі моделі протистояти їм. Такі ін’єкції можуть міститися у вебсторінці, листі, локальному файлі, відповіді інструмента або репозиторії коду й намагатися змусити агента передати дані, виконати платіж чи змінити налаштування всупереч запиту користувача.

GPT-Red навчається через самогру: модель-нападник і набір моделей-захисників одночасно вдосконалюються на різних сценаріях. Нападник отримує винагороду за підтверджений збій, захисник — за відбиття атаки та виконання початкової задачі. Після навчання GPT-Red зміг зламувати майже всі моделі, з якими його тестували, включно з GPT-5.5. Саму атакувальну модель OpenAI не розгортає для користувачів, а застосовує її результати у навчанні виробничих систем.

Вимірюваний ефект для GPT-5.6

На окремому наборі сценаріїв непрямої ін’єкції GPT-Red досяг успіху у 84% випадків, тоді як людські фахівці — у 13%. У реалістичному тесті модель змусила автономного агента торгового автомата знизити ціну дорогого товару до $0,50, замовити новий товар вартістю понад $100 і виставити його за $0,50, а також скасувати чуже замовлення. OpenAI повідомила про ці проблеми розробнику системи, який уже перевіряє додаткові запобіжники.

Згенеровані GPT-Red атаки використали для змагального навчання GPT-5.6. За даними OpenAI, GPT-5.6 Sol має у шість разів менше збоїв на найскладнішому внутрішньому тесті прямої ін’єкції, ніж найкраща виробнича модель чотиримісячної давності, а на широкому наборі середовищ провалює лише 0,05% прямих атак GPT-Red. Це захисний шар для тієї самої генерації, яку OpenAI зробила пріоритетною моделлю Microsoft 365 Copilot. Компанія наголошує, що автоматичне тестування доповнюватиме, а не замінюватиме людські й незалежні команди, багаторівневі обмеження та моніторинг після запуску.