MIT представив аудит шкідливої спеціалізації ШІ-моделей без генерації зображень

Дослідники MIT, Boston University і організації Thorn представили метод Gaussian probing для перевірки донавчених генераторів зображень без створення їхніх результатів. Підхід має виявляти LoRA-адаптери, спеціалізовані на незаконному матеріалі сексуального насильства над дітьми, не запускаючи модель до фінального зображення. Це усуває головну проблему звичайного аудиту: для такої категорії сам процес генерації може бути незаконним і травматичним для модераторів.

Метод подає в модель набір випадкових гаусівських станів і фіксує, як адаптер змінює внутрішні представлення на кількох етапах обчислення. Отримані сигнали усереднюють і використовують як компактний опис того, на яку поведінку було налаштовано LoRA. Перевірка відбувається у прихованих шарах: дослідники не вводять запит на заборонений матеріал і не доводять дифузійний процес до готового зображення.

Що показали тести і де межі результату

У дослідженні Gaussian probing перевіряли на варіантах Stable Diffusion 1.5, SDXL 1.0 та FLUX.1-dev. На оціненому наборі метод правильно виявив усі адаптери, спеціалізовані на забороненій категорії. Він також виявився стійкішим за базові підходи, що аналізують сирі ваги, до масштабування параметрів — одного з можливих способів приховати характер донавчання.

Показник 100% стосується конкретного експериментального набору, а не гарантує безпомилковість для всіх майбутніх моделей. Автори планують перевірити метод на більшій кількості варіантів і дослідити інші способи обходу. Найближче практичне застосування — попередня автоматична перевірка завантажуваних LoRA на платформах відкритих моделей із подальшим рішенням за правилами платформи та людським наглядом.