OpenAI представила BioBasicsBench — набор задач, собранных вокруг повседневной работы в биологической лаборатории. Его цель — проверить, может ли агент не только пересказать учебник, но и последовательно рассчитать разведения, подобрать контроль, понять протокол и заметить условие, которое делает эксперимент ненадёжным.1
Это важное различие. В научной работе убедительный текст сам по себе ничего не доказывает: ошибка в единицах, концентрации или порядке шагов может испортить образец и несколько дней работы. Поэтому полезный тест должен оценивать промежуточные решения и давать возможность воспроизвести результат, а не только сравнивать финальный ответ с эталоном.1
Авторы описывают задачи, близкие к реальной лабораторной рутине. Для продукта это означает необходимость работать с таблицами, протоколами, контекстом конкретного оборудования и неоднозначными инструкциями. Хороший агент должен уметь сказать, каких данных не хватает, вместо того чтобы достраивать правдоподобный эксперимент из предположений.1
Есть и граница ответственности. Даже высокий балл не превращает модель в автономного исследователя: физическая лаборатория добавляет к цифровой задаче качество реагентов, калибровку приборов, биологическую вариативность и требования безопасности. Решение должно оставлять журнал расчётов и требовать подтверждения на опасных или необратимых шагах.1
Главная ценность BioBasicsBench — перенос проверки из области общего впечатления в область конкретной работы. Команда может увидеть, где агент экономит время, а где создаёт дополнительную проверку для человека. Следующий полезный шаг — публиковать не только итоговый процент, но и типы ошибок: неверные единицы, пропущенные контроли, слабую оценку неопределённости и склонность продолжать при недостатке данных.1
Бенчмарку также понадобится защита от запоминания. Если задания и ответы широко попадут в обучающие данные, новый результат начнёт измерять знакомство с формулировкой. Независимые лаборатории должны добавлять закрытые варианты с другими реагентами, приборами и ограничениями, сохраняя одинаковый проверяемый навык. Так станет видно, переносит ли модель метод, а не шаблон ответа.1
Для лабораторий метрика успеха должна быть скучной и практичной: меньше переделок, понятнее протоколы, быстрее подготовка без роста риска. Если агент умеет остановиться перед сомнительным действием и объяснить почему, это ценнее эффектного ответа на сложный вопрос.1