AT&T снизила расходы на ИИ на 56% за счёт роутинга между моделями

AT&T удалось существенно сократить расходы на искусственный интеллект: по сообщению The Information, компания снизила затраты на разработку кода и ряд других продвинутых ИИ-задач сразу на 56%. Такое снижение расходов стало возможным благодаря внедрению специальных инструментов, которые автоматически направляют запросы сотрудников к более дешёвым ИИ-моделям — если задача позволяет не использовать дорогостоящие системы. При этом качество работы ИИ снизилось всего на 2%, что компания считает приемлемой платой за столь значительную экономию. Эти результаты подтвердил вице-президент AT&T по ИИ Марк Остин.

В техническом плане AT&T использует маршрутизаторы моделей LiteLLM — эти сервисы анализируют сложность запроса и сами решают, достаточно ли возможностей недорогой модели, или же стоит подключать более продвинутое решение. Такой подход позволяет распределять нагрузку между коммерческими и открытыми ИИ-моделями. Сегодня около 40% всех запросов сотрудников AT&T уже обрабатываются с помощью открытых моделей, таких как Nvidia Nemotron, Meta Llama и Google Gemma. Компания планирует увеличить этот показатель до 60–70% в ближайшие годы. Стоит отметить, что AT&T не использует китайские модели DeepSeek и Moonshot, анализируя потенциальные риски их применения.

В контексте последних тенденций это закономерный шаг: резко возросшие расходы на ИИ стали заметной проблемой после того, как компании начали массово внедрять не только чат-ботов, но и цифровых агентов, требующих больше вычислительных ресурсов. Дополнительную нагрузку принесла смена системы оплаты у ведущих ИИ-лабораторий — вместо фиксированных подписок появились тарифы на количество обработанных токенов. По оценкам самого AT&T, открытые модели обычно отстают от передовых (frontier) на 6–10 месяцев по функционалу, но эта разница быстро сокращается, и иногда open source оказывается не хуже, чем старые версии продуктов Anthropic и OpenAI.

Для заведений общепита и гостиничного сектора опыт AT&T может быть особенно полезен, когда ИИ нужен для автоматизации стандартных внутренних задач: генерации документации, обработки типовых запросов, анализа данных. Выбор маршрутизаторов моделей и открытых решений позволяет не переплачивать за технологии, особенно если нет необходимости в использовании самых свежих топовых моделей во всех процессах. Такой подход помогает контролировать бюджеты ИИ-проектов и снижает зависимость от сервисов крупных корпораций.

Остаются и некоторые нерешённые вопросы: качество работы менее дорогих и открытых моделей по-прежнему может отставать в сложных сценариях, и придётся внимательно тестировать их на реальных задачах. Кроме того, вопросы рисков, связанных с использованием моделей из нерегулируемых юрисдикций, требуются отдельной экспертизы по информационной безопасности. Детальный экономический эффект AT&T описан только в общем виде — для других компаний финальные показатели эффективности могут отличаться.