AXIS: браузерная платформа для сбора данных робот-манипуляторов с 207 задачами

Команда исследователей из Axis Robotics совместно с университетами UC Berkeley, Georgia Tech и NTU создала AXIS — браузерную платформу для сбора данных манипуляции роботов, которая переворачивает традиционный подход к созданию обучающих датасетов. Вместо классической схемы, когда операторы в лаборатории собирают демонстрации на реальном или виртуальном оборудовании, а затем передают готовый, уже неизменяемый датасет исследователям, AXIS превращает сбор данных в непрерывный процесс, где браузер становится интерфейсом телеоперации, а облачные GPU берут на себя всю вычислительную нагрузку. На сегодня платформа содержит 207 различных задач, 50 129 эпизодов и более 60 тысяч вариаций сцен, собранных при участии более 70 тысяч контрибьюторов.

Архитектура системы построена на принципе асимметрии: пользователь управляет роботом Franka Research 3 через браузер с помощью клавиатуры, мыши, виртуального джойстика или геймпада, а все ресурсоёмкие операции выполняются на серверной стороне. Для управления используется симулятор MuJoCo, вернувшийся на WebAssembly, а отрисовка и физический расчёт синхронизируются так, чтобы логируемые состояния и действия всегда соответствовали внутреннему состоянию симулятора, а не интерфейса. Рендеринг и обучение происходят на мощных GPU-кластерах: восемь RTX 4090 для рендеринга и восемь A100 для обучения и оценки.

Важная особенность платформы — автоматическое генерирование задач вместо ручного описания. Система разбирает текстовую инструкцию на параметры задачи, сцены и объектов, генерирует или извлекает трёхмерные модели через конвейер image-to-3D, масштабирует их до физически правдоподобных размеров и создаёт трёхмерный макет. После этого контролер сцены проверяет корректность конфигурации и корректирует положение, ориентацию или восстанавливает объекты при нарушении ограничений. Каждая задача поставляется со встроенной функцией проверки успеха, которая переопределяется на сервере, а не полагается на сигнал из интерфейса браузера.

Очистка данных рассматривается как полноценный производственный этап: последовательности с суставными движениями менее 0,005 радиана отбрасываются как статичные, фильтр Савицкого-Голея сглаживает движения, а кубические сплайны ресэмплируют траектории с частоты 6–8 Гц (что дает браузерный интерфейс) до целевых 20 Гц. Издание честно указывает на компромиссы: среднее ускорение снижается с 1,35 до 0,49, средний рывок падает с 11,59 до 2,22, но процент успешного воспроизведения снижается со 100% до 86,2%. Затем очищенные эпизоды переиграют в IsaacSim, фиксируя проверенные траектории как авторитетные, но случайно варьируя сцены, камеры, материалы и освещение.

Обучение базируется на checkpoint π0.5 (модель PaliGemma с Gemma-2B и экспертом действий Gemma-300M): модель либо предварительно обучается на симуляционных данных полным параметром, либо сразу переходит к тонкой настройке на датасете LIBERO. Результаты впечатляют: добавление полного датасета AXIS улучшает точность на тесте LIBERO-Plus с 83,9% до 88,8% (прирост 4,9 точки), что значительно опережает контроль на датасете RoboCasa365 с той же численностью траекторий (57,5%). Масштабирование работает линейно: улучшение проявляется уже на 25% данных и продолжается до полного датасета.

Для заведений общепита и сферы услуг этот прорыв означает потенциал для разработки роботизированных решений, обученных на реальных, постоянно пополняемых данных, а не на статичных лабораторных наборах. Однако платформа остаётся открыта лишь для академических проектов некоммерческого характера: датасет на Hugging Face заблокирован объёмом в 2,36 ТБ и ограничен неторговым использованием, а готовые контрольные точки моделей не публикуются. Остаётся неясным, как быстро эта база будет расширена, насколько стабильна система при переносе из симулятора на реальных роботов и готова ли инфраструктура к потоку коммерческих заявок.