Роботы учатся новым задачам из одного видеоролика с помощью ИИ NVIDIA

Компания Skild AI представила модель S1 для роботов, которая решает одну из главных проблем современного промышленного автоматизма: необходимость полного переобучения при любом изменении задачи. Новинка создана на инфраструктуре NVIDIA и способна учиться выполнять новые, ранее неизвестные задачи из одного видеоролика. Оператор просто записывает видео нужного действия, модель анализирует его без дополнительного обучения (используя технику in-context learning) и переводит увиденное в команды для конкретного робота. За десять месяцев после первого коммерческого внедрения Skild достигла годового дохода в $100 млн и заключила более 60 партнёрств в производстве, логистике, сборке, контроле качества и приготовлении пищи.

В тестах S1 справляется с многошаговыми задачами длительностью до десяти минут — посадка растений, изготовление блинов, приготовление кофе, сборка наборов. Робот не только выполняет незнакомые последовательности, но и адаптируется к смещению объектов, восстанавливается после ошибок и комбинирует навыки в новых комбинациях. На практике система показывает около 66% успеха на каждом шаге незнакомой задачи — в семь раз лучше, чем сравнимые ИИ-системы, дающие 9%. По оценкам Skild, одно видео эквивалентно примерно 380 часам ручного обучения робота (человеку потребовалось бы 50–100 часов на сбор столько примеров). В одном испытании переход от записи демонстрации к автономному выполнению на оборудовании занял всего 11 минут.

Достичь этого удалось благодаря интеграции с экосистемой NVIDIA. Skild использует NVIDIA Cosmos для обогащения тренировочных данных видео и преобразования видеофрагментов в структурированные описания, а NVIDIA Isaac Sim и Isaac Lab обеспечивают виртуальные среды для симуляции, валидации edge cases и обучения с подкреплением. Физический движок Newton помогает точно моделировать силы, контакты и давление, сокращая разрыв между симуляцией и реальностью. На этапе развёртывания NVIDIA TensorRT оптимизирует вывод, чтобы робот мог быстро реагировать. Skild и NVIDIA совместно разрабатывают ускоренные GPU-солверы для симуляции захватывания и манипуляции объектами, которые вскоре будут открыты для всех разработчиков.

На практике технология уже работает: Skild и NVIDIA совместно развёртывают Skild Brain на двуруких манипуляторах Foxconn для высокоточной сборки систем NVIDIA Blackwell. Робот самостоятельно устанавливает шинопровод, зажимает блоки, завинчивает 16 винтов и адаптируется к возмущениям сцены, требуя точного движения, контроля контакта и восстановления при отклонениях от плана.

Для общепита и гостинично-ресторанного сервиса модель S1 потенциально полезна везде, где нужна гибкая роботизация: приготовление блюд по видеодемонстрации, упаковка, разносочные работы, уборка. Главная выгода — отсутствие недель переналадки и переобучения при смене меню или процесса, операторы могут быстро показать роботу новую задачу без привлечения программистов. Однако в материале не раскрывается, сколько стоит такая система, какие требования к железу в самом заведении и насколько устойчива модель к реальному хаосу кухни (жиры, пары, движущиеся люди). Остаётся непонятным и то, на какие типы рук рассчитана S1 и получит ли её функциональность меньшие и дешёвые роботы для малого бизнеса.