NVIDIA SoL-Pi: автоматизация ИИ-агентов сокращает трафик на 49%

Исследователи NVIDIA, Nanyang Technological University и MIT разработали SoL-Pi — набор из четырёх механизмов оптимизации для кодирующего ИИ-агента Pi. Главное: на бенчмарке EdgeBench (51 задача) система сокращает объём токенов на 44,7–49% в зависимости от модели, одновременно снижая расходы на API примерно на 33%. При этом качество выполнения задач остаётся практически неизменным — 93,7–94,3% от исходной производительности Pi.

Проблема, которую решает SoL-Pi, проста: при длительной работе ИИ-агента (часы вместо минут) каждое редактирование кода, каждый тестовый запуск и чтение логов добавляют новые токены в контекст модели. Стандартные подходы обычно режут затраты через более быстрые вычисления, квантизацию или более дешёвые модели. SoL-Pi пошёл другим путём: система сама ищет, как уменьшить количество токенов, необходимых для выполнения задачи, оптимизируя работу слоя, который управляет вызовами инструментов, контекстом и делегированием.

Технология использует автоматизированный поиск на базе другого ИИ-агента, который наблюдает за работой базовой версии Pi, предлагает изменения в архитектуре и тестирует их. Критически важно: система имеет жёсткие правила отбора, установленные до начала поиска. Любые изменения должны сохранять качество в объявленных границах и улучшать хотя бы один показатель эффективности. Половина бенчмарка (40 из 51 задачи) специально изолирована от оптимизации, чтобы исключить переобучение на узком наборе примеров — проблема, которая беспокоила исследователей в аналогичных системах раньше.

SoL-Pi уже доступна в GitHub под лицензией MIT как расширение для стандартной версии Pi. Система протестирована с Pi 0.85.1 и Node.js 22.19 и выше. Экономия осязаема: на GPT-4o Turbo full stack снижает затраты с $1339 до $894, то есть на $8,75–$13,50 за час работы по сравнению с нативными инструментами Codex и Claude Code, и на $4,36–$5,71 по сравнению с обычной Pi.

Однако есть нюансы. Разработчики признают, что перенос оптимизаций между разными моделями пока предварительный: механизмы, найденные на GPT-4o Turbo, срабатывают реже на Claude 3.5 Opus, вероятно потому что поиск основывался только на траекториях первой модели. Кроме того, издание не приводит деталей о скорости работы оптимизированного агента — улучшилось ли время выполнения или изменилось ли только количество потребляемых токенов. Для разработчиков и операторов систем автоматизации кода это может быть важным практическим вопросом.