Інструмент GRIEF виявив витоки запитів і збої в інфраструктурі ШІ

Дослідники Університету Меріленду створили інструмент GRIEF для перевірки безпеки систем, які обслуговують великі мовні моделі. Робота показує: навіть безпечна за поведінкою модель може працювати всередині вразливого програмного шару. GRIEF розшифровується як Greybox Inference Engine Fuzzer і застосовує фазинг — автоматично генерує багато варіативних запитів, щоб знайти помилки, які не проявляються під час звичайного тестування.

Інференс-рушії одночасно керують запитами тисяч користувачів. Для продуктивності вони динамічно групують завдання, кешують пам’ять і розподіляють спільні обчислювальні ресурси. Традиційні перевірки часто надсилають запити по одному, тому не бачать проблем, які виникають лише за конкурентного навантаження. GRIEF натомість створює синхронізовані потоки складних запитів і відтворює реальну взаємодію багатьох користувачів.

Що зламалося під одночасним навантаженням

Під час тестів команда зафіксувала порушення кількох критичних меж безпеки. В окремих випадках приватний запит одного користувача з’являвся в сесії іншого. В інших рушій непомітно спотворював відповіді на сторонні запити або повністю зависав, створюючи відмову в обслуговуванні. Автори наголошують, що ці збої спричиняли не шкідливі промпти, а взаємодія кількох коректних запитів у спільній інфраструктурі.

Дослідження доповнює попередження партнерів Five Eyes про новий рівень ШІ-кіберризиків: контролювати лише вхід і вихід моделі недостатньо, якщо серверний шар не гарантує ізоляцію даних. Стаття команди нині проходить рецензування для подання на велику конференцію з нейронних інформаційних систем.