Британський AISI та американський CAISI оцінили кіберможливості Kimi K3

Британський Інститут безпеки штучного інтелекту AISI та американський Центр стандартів та інновацій у сфері ШІ CAISI оприлюднили попереднє спільне оцінювання кіберможливостей моделі Kimi K3 від Moonshot AI. Дослідники встановили, що вона поступається найсильнішим закритим моделям США, але перевершує GLM-5.2 — попереднього лідера серед моделей із відкритими вагами.

На бенчмарку ExploitBench, який охоплює 41 вразливість рушія V8, Kimi K3 набрала 32% проти 24% у GLM-5.2. Водночас модель не змогла досягти довільного виконання коду в жодному з 41 завдання, тоді як найсильніші протестовані системи в середньому досягали цього результату у 20 випадках.

Що показав тест корпоративної мережі

У симульованій 32-кроковій атаці «The Last Ones» Kimi K3 у середньому доходила до 17-го кроку. Провідні американські моделі досягали в середньому 28,5 кроку, а GLM-5.2 — одинадцятого. В одному з десяти запусків Kimi K3 завершила весь ланцюг у межах ліміту 100 млн токенів. Дослідники наголошують, що тестове середовище не мало активних захисників, не карало за дії, які викликали б сповіщення, і містило навмисно побудований шлях атаки.

Оцінювання додає технічні дані до дискусії навколо Kimi K3, після того як США звинуватили Moonshot AI у несанкціонованій дистиляції моделі Anthropic Fable. Окремий ризик у новому звіті стосується запобіжників: вони не зупинили модель від спроб розробляти експлойти або виконувати наступальні кібероперації. Автори називають результати попередніми, бо використали обмежений набір тестів і для Kimi K3 провели вибіркове оцінювання.