Новый полевой тест кодовых агентов показал неприятную, но полезную величину: почти три четверти выполненных задач потребовали дополнительной работы человека. Агент мог предложить правдоподобный патч и даже пройти часть проверок, однако этого часто не хватало, чтобы изменение стало готовым к слиянию и эксплуатации.1
Такой результат важнее очередного процента на известном бенчмарке. В реальном репозитории нужно учитывать стиль проекта, скрытые зависимости, миграции, обратную совместимость и требования, которые нигде не собраны в одном файле. Ошибка проявляется не только красным тестом: иногда код формально работает, но усложняет поддержку или нарушает соседний сценарий.1
Главная метрика здесь — не время до первого diff, а время до принятого изменения. Если разработчик тратит сэкономленные минуты на чтение лишнего кода, восстановление контекста и исправление побочных эффектов, обещанная производительность превращается в перенос труда. Полезно отдельно считать долю полностью принятых патчей, объём ручной правки и число возвратов после review.1
Это не делает агентов бесполезными. Они хорошо снимают рутину: находят места использования, готовят тестовые заготовки, обновляют повторяющиеся конструкции и объясняют незнакомый участок. Но степень автономии должна зависеть от риска. Изменение документации и платёжная миграция не заслуживают одинаковых разрешений.1
Командам нужен наблюдаемый процесс. Агент должен показывать, какие файлы и документы прочитал, какие команды запускал и почему выбрал решение. Патч проходит обычный review, запускается в изолированной среде и получает план отката. Постоянное разрешение на запись в основную ветку превращает удобство в неконтролируемую доверенность.1
Ещё один вывод касается оценки моделей. Нельзя сравнивать только число закрытых задач, не учитывая сложность и помощь людей. Честный отчёт отделяет автономный результат от подсказок, повторных запусков и ручных исправлений. Тогда становится видно, где агент действительно экономит время, а где лишь быстрее создаёт убедительный черновик.1
Практический ориентир довольно прост: хороший агент уменьшает общую стоимость принятого изменения, не снижая надёжность. Пока почти три задачи из четырёх требуют уборки, продукт следует проектировать как сильного помощника внутри инженерного контроля, а не как безнадзорную замену разработчику.1