ReProbe перевіряє кроки міркування LLM через їхні внутрішні стани

Дослідники MBZUAI, ETH Zürich і Національного університету Сінгапуру представили ReProbe — компактний модуль для перевірки проміжних кроків міркування великих мовних моделей. Він не запускає поруч ще одну повнорозмірну модель-критика, а аналізує внутрішні сигнали тієї LLM, яка розв’язує задачу. Для кожного згенерованого токена ReProbe отримує ознаки з прихованих станів, ваг уваги та логітів і оцінює ймовірність того, що поточний крок є правильним. Базову модель при цьому не змінюють.

Такий підхід потрібен для test-time scaling, коли система створює кілька можливих ланцюжків розв’язання, а потім має вирішити, який шлях продовжувати. Зазвичай для цього використовують process reward model — окрему мовну модель, яка читає кроки й виставляє їм оцінки. Такі верифікатори можуть мати мільярди параметрів, додавати значні обчислювальні витрати та гірше переноситися між різними типами завдань. ReProbe містить менш ніж 10 млн параметрів і працює поверх замороженої LLM як окремий модуль.

Що показало порівняння з великими верифікаторами

Для навчання автори використали понад 10 тисяч математичних задач із набору PRM800K, на яких базова модель створила більш як 30 тисяч траєкторій міркування. Кроки розмічали двома способами: за допомогою DeepSeek-R1 як зовнішнього судді або самою базовою моделлю у самоконтрольованій схемі. Після цього ReProbe тестували з Qwen-3 і Phi-4 на математиці, плануванні та запитаннях із загальних знань.

У середньому варіанти ReProbe зрівнялися або перевершили process reward models, які були до 810 разів більшими. Під час beam search модуль працював у 2,6–25 разів швидше за порівнювані верифікатори, а на завданнях поза математичним доменом у середньому показав кращий результат. Водночас найсильніші великі PRM зберегли невелику перевагу саме на математиці, де їх навчали. Тому робота не доводить, що внутрішня впевненість завжди означає правильність, і не перетворює LLM на безпомилковий фактчекер. Її підтверджений результат вужчий: внутрішні стани моделі можуть бути корисним і значно дешевшим сигналом для вибору кращих кроків міркування. Автори також отримали покращення, поєднавши ReProbe з традиційним PRM, що вказує на можливість гібридних верифікаторів.