Исследователи проверили девять агентных систем на открытых вопросах, предложенных специалистами национальных лабораторий США. Задания требовали не пересказать известное, а самостоятельно выбрать путь исследования, использовать инструменты и подготовить результат, который выдержит экспертную проверку. Ни одна система порог не прошла.1
Это полезнее ещё одного рейтинга ответов на экзаменационные вопросы. Открытая научная работа начинается там, где нет готового ключа, а качество зависит от постановки задачи, выбора допущений и проверки промежуточных выводов. Уверенный текст в такой среде легко скрывает неверный метод или пропущенное ограничение.1
Особенно важна роль экспертов. Автоматическая метрика хорошо сравнивает известные ответы, но плохо замечает, что система выбрала бессмысленную величину или сделала вывод, который нельзя воспроизвести. Здесь оценивался не стиль отчёта, а пригодность работы для настоящего научного продолжения.1
Нулевой результат не означает, что агенты бесполезны. Они могут искать литературу, писать код, строить черновые графики и проверять вычисления. Но эти функции следует отделять от права самостоятельно объявить исследовательский вывод. Продукт должен сохранять происхождение данных, журнал инструментов и точки, где решение подтвердил человек.1
Следующий хороший тест — разложить провал по стадиям. Одна система может неверно понять вопрос, другая — выбрать слабый эксперимент, третья — ошибиться в вычислении, четвёртая — не заметить противоречащий источник. Такой разбор помогает улучшать рабочий процесс, а не только наращивать общий балл.1
Для команд практический вывод довольно спокойный: сегодня агент — ускоритель отдельных операций, а не замена исследователя. Его полезность измеряется тем, насколько быстрее человек получает проверяемый черновик и насколько легко обнаруживает ошибку до дорогого эксперимента. Автономность без наблюдаемости здесь лишь быстрее переносит неопределённость в красивый документ.1
Есть и организационная цена завышенного доверия. Если лаборатория принимает вывод агента без просмотра исходных шагов, следующая команда наследует не знание, а непрозрачное допущение. Поэтому интерфейс должен заставлять систему предъявлять цитаты, код, версии данных и отрицательные результаты. Отсутствие уверенного ответа иногда является самым полезным результатом работы.1
Такой экзамен также защищает от неверного сравнения с человеком. Исследователь опирается на оборудование, коллег и накопленную практику; агенту нужно дать сопоставимые инструменты, но не скрывать помощь. Честный протокол отдельно показывает автономную работу, ручные подсказки и исправления после замечаний эксперта.1