GEN-1.5: робот учится физическим задачам с одной короткой демонстрации

Компания Generalist AI представила новую базовую модель для роботов — GEN-1.5, которая умеет осваивать физические задачи всего по одной короткой демонстрации. По заявлению разработчиков, достаточно загрузить 3–12 секунд данных об одном выполнении задачи (например, перемещении предмета или простом действии), чтобы робот смог повторить это задание самостоятельно. Для этого не требуется дополнительное обучение модели, никаких модификаций кода или специальной настройки — просто одна демонстрация через интерфейс перетаскивания данных, и робот сразу приступает к выполнению.

GEN-1.5 — крупная мультимодальная система: она “видит” видео, обрабатывает сенсорные данные, текстовые описания и чувствует собственное положение, а её память охватывает 30 секунд событий. Модель генерирует последовательность действий с частотой 100 Гц. Обучали модель более восьми месяцев, используя данные взаимодействий с физическими объектами, собранные в реальных условиях — домах, складах, фабриках. Значимый результат: без дополнительного обучения (one-shot) успех выполнения 10 разных задач составил 59% (плюс-минус 10%), а небольшое обучение на 5 минутах новых данных поднимает этот показатель до 83%.

Особенность подхода Generalist AI в том, что “физическое промптинг” — умение изучать новые физические навыки из демонстрации — не закладывалось целенаправленно: не было изменений архитектуры, не внедряли методики типа meta-learning, не задавались вспомогательные задачи. Подобная способность появилась сама за счёт масштабного предобучения — как это ранее произошло в языковых ИИ. Одно из открытий исследования: даже лёгкое дообучение (10 шагов оптимизации) почти не меняет веса модели, то есть она уже содержит «гибкую» инструкцию, и дополнительное обучение только актуализирует уже имеющиеся знания.

Характер задач, которые выполняет GEN-1.5, пока остаётся довольно простым и краткосрочным: это базовая манипуляция предметами. Однако есть примеры интересной генерализации: обучившись перемещать кубик в миску с помощью щётки, модель может заменить один инструмент на другой (например, использовать банан вместо щётки или совок вместо рук), а также адаптироваться к новой обстановке — убирать бумагу с миски или работать обеими руками, хотя демонстрировали действие одной.

Сейчас GEN-1.5 — чисто исследовательская разработка: веса модели и продукт недоступны на открытом рынке, API нет, воспользоваться системой можно только через прямое партнёрство с Generalist AI. Применение технологии для ресторанов, кафе или гостиниц пока ограничено простыми задачами: автоматизация рутинных манипуляций (уборка, сортировка, выдача предметов), где быстрое обучение новым действиям может дать преимущество без сложной настройки под каждый сценарий. Минусы: технология далека от коммерческой зрелости, продукт недоступен “с коробки”, задачи, решаемые моделью, пока довольно просты, перспективы работы с более сложными сценариями не заявлены. Неочевидным остаётся и масштаб применимости — насколько легко система перейдёт от небольших манипуляций к сложным операциям, требует дополнительной проверки.