Amazon Bedrock добавил поиск по видео и изображениям через Marengo 3.0

Amazon Bedrock, облачная платформа машинного обучения AWS, официально запустила поддержку Marengo Embed 3.0 — многомодальной модели поиска от TwelveLabs. Теперь сервис Amazon Bedrock Knowledge Bases позволяет искать по видео, изображениям и аудио через естественный язык. Это означает, что вместо просмотра часов записей или ручного индексирования можно просто запросить, например, «покажи мне штрафной удар во втором тайме» — и система вернёт релевантные момент видео.

До сих пор видео и медиаконтент оставались практически недоступны для смыслового поиска. Компании в медиа, спорте, образовании, безопасности и розницы вынуждены были собирать сложные конвейеры: расшифровка аудио, извлечение кадров, встраивание текста в векторное пространство, хранение в базах данных векторов — всё это требовало ручного согласования и настройки. Marengo Embed 3.0 решает задачу за счёт единого 512-мерного векторного пространства, куда одновременно кодируются видео, аудио, изображения и текст. Managed Knowledge Bases автоматически обрабатывает весь конвейер: разбивает видео на сегменты (по умолчанию по 4 секунды), извлекает кадры, транскрибирует речь и генерирует эмбеддинги.

Процесс использования предельно упростился. Нужно загрузить видеофайлы (MP4, MOV) в Amazon S3, создать базу знаний в консоли Bedrock, выбрать Marengo Embed 3.0 как модель эмбеддинга, указать S3-путь и запустить синхронизацию. Предварительная обработка не требуется — система сама всё сделает. После этого можно тестировать поиск прямо в консоли, получая результаты с временными кодами (начало и конец сегмента) и типом контента. Для интеграции в приложения предусмотрены API Retrieve и возможность подключения как целевого объекта для AWS Bedrock Gateway.

Сервис доступен пока только в двух американских регионах AWS: us-east-1 (N. Virginia) и us-west-1 (N. California). Цена зависит от объёма хранения и количества выполненных поиском, эмбеддинги генерируются по стандартному тарифу Amazon Bedrock. Это открывает возможности для медиа-библиотек, спортивной аналитики, систем видеонаблюдения и учебных платформ, которые смогут предложить поиск по смыслу без собственной инфраструктуры. Однако стоит уточнить: издание не раскрывает точные цены, время обработки больших архивов, ограничение на размер видео и качество распознавания речи на разных языках — это важно проверить перед внедрением в боевую систему.