Redis LangCache: семантический кэш, который снижает расходы на API в 9 раз

Redis представила LangCache — сервис семантического кэширования, который запоминает ответы языковых моделей не по точному совпадению текста, а по смыслу вопроса. Система встраивается между приложением и моделью: перехватывает входящие запросы, преобразует их в векторные представления и ищет похожие вопросы, на которые уже получены ответы. Если совпадение близко (порог настраивается), пользователь получает сохранённый результат без нового обращения к API. Redis заявляет о снижении затрат на API до 90% и ускорении закэшированных ответов до 15 раз. Сервис доступен в публичной бета-версии на Redis Cloud через REST API с SDK для Python и JavaScript.

Практическая ценность видна на примере: три переформулировки одного вопроса в чат-боте поддержки клиентов без кэша означают три полных обращения к модели с начислением за входные и выходные токены. При стандартном префиксном кэшировании экономия меньше — модель всё равно обрабатывает новые части запроса и генерирует ответ. LangCache кэширует сам результат, минуя саму генерацию. В демонстрации переформулированный вопрос через LangCache обработан за 0,37 секунды с нулевыми затратами токенов, тогда как прямой запрос занял 2,2 секунды и потребовал 514 входных и 250 выходных токенов.

Важно понимать реальную механику экономии. Вы не платите за выходные токены закэшированного ответа, но затраты на входные токены компенсируются стоимостью преобразования в вектор и хранения. Redis рекомендует расчёт: месячная экономия равна (месячным затратам на выходные токены) × (доля попаданий в кэш). При $200 месячных трат на модель (60% на выходные токены) и 50% попаданиях получится $60 экономии. Компания Mangoes.ai достигла 70% попаданий в своём приложении голосовой поддержки пациентов, снизив расходы на 70% и ускорив ответы в четыре раза.

Критический элемент — правильная настройка порога семантического совпадения. Слишком низкий порог приведёт к возврату неправильного ответа (политика возврата для вопроса об улучшении); слишком высокий почти каждый вариант отправит обратно в модель, обнулив экономию. Сервис предусматривает управление областями доступа, фильтры, TTL для устаревания данных, изоляцию между клиентами и мониторинг ошибочных совпадений через панель Redis Cloud. Данные остаются на серверах пользователя, Redis не использует их для обучения.

Практичен LangCache в первую очередь для систем с повторяющимся трафиком: поддержка клиентов с типовыми вопросами, RAG-конвейеры, голосовые ассистенты. Максимальный выигрыш даёт не столько частотность вопросов, сколько их естественная переформулировка пользователями — именно туда нацелена семантика. Слабые стороны: нужна аккуратная работа с порогами (требует тестирования на реальных данных), и в бета-версии поведение может измениться. Для критичных систем нужна готовность к внезапным изменениям в API.