BMW Group обнаруживает аномалии расходов ИИ на 14 тысячах облачных счётов

BMW Group создала систему мониторинга затрат на облачные вычисления, которая ежедневно обнаруживает аномалии в расходах на 14 тысячах облачных счётов. Система называется Cloud Efficiency Analytics (CLEA) и была разработана совместно с компанией Data Reply на базе AWS. Раньше BMW использовала только информационные панели в Amazon QuickSight, но они показывают только уже произошедшие события — когда кто-то их открывает. Новый подход автоматически анализирует затраты каждый день и отправляет владельцам счётов письма с оповещениями, если расходы отклоняются от обычного паттерна.

CLEA обрабатывает огромные объёмы данных: ежемесячно система получает от AWS около 3 миллиардов строк данных по 500 колонкам. Данные идут с задержкой в один день (T-1), поэтому расходы вчерашнего дня анализируются и обсуждаются сегодня. Система разбивает данные на самый мелкий уровень — ежедневные затраты на каждый счёт по каждому сервису. Один счёт, использующий 15 сервисов, генерирует 15 временных рядов затрат, и в масштабе 14 тысяч счётов это превращается в сотни тысяч комбинаций счёт-сервис. Для каждой комбинации система строит свой прогноз и проводит свой анализ аномалий.

Основу системы составляет технология Prophet — открытая библиотека прогнозирования от Meta. CLEA обучает модель на 365 днях истории затрат для каждой пары счёт-сервис, затем рассчитывает, насколько текущие затраты отклоняются от прогноза. Но прогноз сам по себе — это не оповещение. Чтобы отфильтровать шум и пустые тревоги, система применяет многоуровневую логику фильтрации. Сначала исключаются малозначительные сервисы (с средними затратами ниже 10 центов за три дня), затем проверяется отклонение минимум на 40% от ожидаемых расходов. Дальше срабатывают фильтры по кластерам счётов (разбитым по объёму расходов за три месяца) — маленький скачок на дешёвом сервисе не подлежит оповещению, даже если процентное отклонение велико. Некоторые сервисы, такие как AWS Glue и Amazon Athena, имеют повышенный порог отклонения (60% вместо 40%), потому что их стоимость изначально более волатильна. Добавляются ещё и индивидуальные переопределения для команд с заведомо нестабильными рабочими нагрузками.

Система понимает, что произошло (скачок затрат), но не понимает, зачем (был ли это плановый запуск нового сервиса или ошибка). Эта граница между обнаружением и принятием решения остаётся постоянной, поэтому пороги чувствительности настраиваются на основе обратной связи от владельцев счётов, а не путём попыток полностью автоматизировать различение. Каждое оповещение содержит контекст для действия: таблицу с ожидаемыми и фактическими затратами, ссылку на детальную панель в QuickSight с графиками по типам операций и использованию, а также просьбу дать обратную связь о том, была ли это реальная проблема.

Архитектура полностью построена на бессерверных сервисах AWS: AWS Step Functions с Distributed Map запускает до 500 параллельных Lambda-функций, каждая обрабатывает затраты для одного счёта, весь цикл из 14 тысяч счётов завершается примерно за 20 минут. Стоимость всей системы составляет около 50 долларов в месяц, или менее половины цента на счёт в месяц. Система спроектирована модульно — компонент прогнозирования можно заменить, не трогая слои обнаружения и оповещения, на которые полагаются владельцы счётов.

Для практического применения в других организациях этот подход наиболее полезен для компаний, которые управляют множеством облачных счётов и хотят автоматизировать отслеживание ненормальных расходов без необходимости вручную следить за панелями мониторинга. Модель экономична на масштабах и требует минимальной инфраструктуры. Главная сложность, по признанию команды BMW, оказалась не в самом прогнозировании, а в определении пороговых значений для оповещений — это требует итеративной настройки на основе реальной обратной связи от пользователей. Система не охватывает всё: издание не уточняет, как она работает с внезапными появлениями новых сервисов или с аккаунтами, которые по-настоящему растут экспоненциально (в таких случаях модель может начать воспринимать новый уровень расходов как норму через несколько дней).