PrismML сжала модель Qwen в 5,9 ГБ для смартфонов

Развёрнутый разбор

Компания PrismML выпустила новую модель Bonsai 2 27B, которая представляет собой сжатую версию модели Qwen 3.8 27B от китайской Alibaba. Главное достижение — исходная модель весом примерно 50 ГБ удалось уменьшить до 5,9 ГБ без критической потери производительности. При этом сжатая версия сохраняет 98,2% от результатов оригинальной модели на стандартных тестах. Благодаря такому размеру Bonsai 2 теперь может работать непосредственно на смартфонах и других устройствах с ограниченной памятью, не требуя подключения к облачным серверам.

Технология компрессии моделей становится всё более актуальной, так как позволяет развёртывать мощные нейросетевые системы на периферийных устройствах — это называют edge computing. Такой подход даёт несколько практических преимуществ: снижается задержка отклика (нет нужды отправлять запрос на удалённый сервер), улучшается приватность (данные обрабатываются локально), и снижаются расходы на облачные вычисления. Уменьшение с 50 ГБ до 6 ГБ при сохранении почти полной производительности — это существенный прорыв в доступности.

Для сектора HoReCa этот прогресс имеет практическое значение. Рестораны и отели могут использовать такие компактные модели для локальных ассистентов — например, для управления заказами, рекомендаций меню, обработки жалоб клиентов или анализа отзывов прямо на смартфоне менеджера без зависимости от интернета. Это особенно полезно в местах с нестабильной сетью или если нужна максимальная конфиденциальность при работе с чувствительными данными гостей.

Остаётся открытым вопрос, насколько публикация ограничивает детали технического процесса сжатия и как точно этот результат воспроизводим для других моделей. Издание не указывает стоимость решения и сроки доступности для разработчиков, что затрудняет оценку реальной применимости в конкретных проектах.