MIT представив SceneSmith для створення тренувальних середовищ роботів

Дослідники MIT CSAIL і Toyota Research Institute представили систему SceneSmith, яка за текстовим описом створює деталізовані тривимірні приміщення для навчання та перевірки роботів у симуляції. Система згенерувала понад 1 300 сцен — від кухонь і спалень до готелів та майстерень. У них роботи можуть відпрацьовувати побутові дії до випробувань на фізичному обладнанні, де помилки коштують більше часу й ресурсів.

SceneSmith розподіляє роботу між трьома агентами на основі мультимодальної моделі. Агент-дизайнер додає планування, меблі та дрібні предмети, критик оцінює правдоподібність, а оркестратор керує їхніми повторними спробами й завершує сцену. Після цього до об'єктів додають фізичні властивості, зокрема масу, тертя та інерцію, щоб середовище можна було одразу завантажити у робототехнічний симулятор.

Як перевірили придатність середовищ

Створені кімнати містили до шести разів більше предметів, ніж середовища попередніх методів. У випробуванні на 100 просторах окремий агент оцінював виконання роботизованих сценаріїв, а людські експерти погодилися з його висновками більш ніж у 99% випадків. Попередньо навчена система керування, яка не бачила даних SceneSmith під час навчання, змогла виконати в новій сцені завдання з переміщення яблука з миски на дошку. Дослідники також дистанційно керували роботами у цих просторах: вони відкривали шафи, переставляли пляшки та пересувалися між кімнатами.

Понад 200 учасників порівняння частіше обирали сцени SceneSmith як реалістичніші та точніші щодо запиту. Водночас генерація одного середовища може тривати кілька годин, а робота з деформівними предметами на кшталт губок поки залишається наступним етапом. Команда представила результат як spotlight-доповідь на Міжнародній конференції з машинного навчання.