Одна и та же агентная обвязка может вытянуть одну модель и утопить другую. Причина не в «уме» модели, а в том, как она взаимодействует с инструментами и обрабатывает сбои. Если команда зависла, а оболочка не вернула ошибку, агент просто не узнает, что застрял — и продолжит ждать.
Что показал препринт NTU
Исследователи прогнали пять моделей через несколько агентных оболочек. Результат оказался неожиданным: новая модель в привычном агенте может сработать хуже прежней, даже если в рейтингах она выше. Всё решает сочетание модели и обвязки.
Pi 0.84.4: тайм-аут, которого нет
В минималистичной оболочке Pi 0.84.4 у шелла нет тайм-аута по умолчанию. GPT-6 Astra сама ставит лимит времени больше чем в половине вызовов. На Terminal-Bench 4 в Pi она решила больше задач, чем в DeepSeek Harness, и обошлась в четыре с лишним раза дешевле на задачу.
А вот Kimi K3 в той же Pi на задаче в GIMP из набора TUA-Bench запустила скрипт без команды выхода. За все 40 минут лимита Pi ничего ей не вернула — агент остался без обратной связи и не понял, что завис.
openJiuwen: ошибка приходит вовремя
В openJiuwen такой же зависший вызов через пять минут вернулся ошибкой. Kimi сама разобралась в причине, нашла уже сохранённую картинку, проверила её и сдала задачу. Разница только в том, получил ли агент сигнал о сбое.
Сочетание важнее рейтинга
У четырёх моделей из пяти победившая оболочка менялась при смене набора задач. На трёх графиках цвет означает модель, и разброс точек одного цвета по высоте и цене показывает, сколько решает сочетание целиком. Справа внизу — разобранный случай с GIMP.
Код запуска оболочек и все траектории выложены. По логам видно, где агент получил сигнал о сбое, а где остался без него.
Что с этим делать на практике
Не стоит выбирать модель по одной строчке в рейтинге. Проверяйте её в той обвязке, с которой будете работать. Если оболочка не умеет возвращать ошибку по тайм-ауту, добавьте лимит времени на уровне инструмента или самого агента — иначе зависший вызов так и останется незамеченным.
Материал основан на препринте NTU и открытых логах экспериментов.
