Поєднання моделі міркування та ШІ-агентів дало найкращий результат у MedicalAgentsBench

Дослідники Єльської школи медицини оприлюднили MedicalAgentsBench — набір для порівняння двох способів розв’язання складних медичних задач великими мовними моделями. Перший підхід використовує одну модель із внутрішнім покроковим міркуванням, як DeepSeek-R1, o1-mini або o3-mini. Другий додає зовнішню агентну схему, у якій кілька моделей або ролей розбивають питання на частини, обговорюють варіанти й узгоджують відповідь.

Benchmark містить 862 складні клінічні запитання, відібрані з восьми медичних наборів даних через багатоступеневу фільтрацію за складністю та перевірку на можливе потрапляння відповідей до навчальних даних. Автори порівняли три моделі з внутрішнім міркуванням, сім базових моделей і дев’ять агентних методів. Такий дизайн потрібен через те, що звичайні тестові питання дедалі частіше дають стелю результатів і не завжди відрізняють реальне багатокрокове міркування від запам’ятованої відповіді.

Яка конфігурація спрацювала найкраще

Дослідження не виявило універсальної переваги одного підходу над іншим. Внутрішнє міркування та зовнішня агентна координація окремо покращували результат, а їхнє поєднання давало додатковий ефект. Найвищу точність — 35,1% — показала конфігурація o3-mini з агентним методом MDAgents. Вона також опинилася на межі найкращого співвідношення вартості й результативності у проведеному авторами аналізі. Водночас внутрішньо навчене міркування могло підвищувати точність із меншими витратами під час запиту, тоді як агентна схема вимагала додаткових звернень до моделей, але давала ще один приріст якості.

Показник 35,1% одночасно показує межу результату: навіть найкраща перевірена комбінація не розв’язала більшість спеціально відібраних складних питань. MedicalAgentsBench не є клінічним випробуванням, не вимірює результати лікування і не доводить, що така система готова радити лікарям чи пацієнтам. Його практична роль — допомогти дослідницьким і медичним організаціям порівнювати точність, обчислювальну вартість та глибину міркування власних локальних систем. Підтверджений висновок роботи полягає не в заміні медичної команди, а в тому, що модель із внутрішнім міркуванням та зовнішній агентний процес варто розглядати як взаємодоповнювальні компоненти.