SD3.5-Flash: генеративные картинки уровня десктопа на смартфоне

Что появилось / что изменилось

Stability AI представила SD3.5-Flash — упрощённую версию SD3.5, заточенную под очень быстрое генеративное изображение на массовых устройствах. Главное: модель учат генерировать картинку за несколько шагов, а не за десятки или сотни, как в классических диффузионках.

Ключевые изменения по сравнению с «тяжёлыми» rectified flow-моделями:

• Генерация за несколько итераций вместо длинного шума-шума-шума. Это резко снижает требования к GPU и времени рендера.
• Оптимизации по памяти: модель нацелена на запуск не только на десктопах, но и на смартфонах и слабых ноутбуках.
• Перестроенный пайплайн текста: Stability AI перекроила работу текстового энкодера и добавила специализированное квантование, чтобы уменьшить размер и ускорить инференс.
• Улучшенная работа с промптами: добавлена отдельная фаза дообучения для лучшего совпадения результата с запросом пользователя.

Конкретных цифр по скорости, VRAM и стоимости Stability AI в анонсе не даёт. Но компания подчёркивает, что SD3.5-Flash в пользовательских тестах стабильно обгоняет другие few-step-подходы по качеству картинки и соответствию промпту.

Как это работает

Базовый источник — тяжёлая rectified flow-модель, которая генерирует изображения с высоким качеством, но требует много шагов и ресурсов. SD3.5-Flash — это дистилляция этой модели в компактный «few-step» вариант.

Stability AI делает два ключевых трюка.

1. Новый objective для дистилляции. Вместо классического обучения «повторять» поведение большой модели по шагам, команда переписала задачу как distribution matching, специально под сценарий с малым числом шагов. Модель сразу учат попадать в правильное распределение картинок за ограниченное количество итераций, а не имитировать полный длинный процесс.

2. Timestep sharing. При обучении few-step-моделей часто страдает стабильность градиентов: слишком мало шагов, слишком много шума. Timestep sharing перераспределяет обучение по временным шагам так, чтобы разные примеры «делились» информацией о шагах. Это снижает шум в градиентах и делает обучение устойчивее.

3. Split-timestep fine-tuning. На финальном этапе модель дообучают, разделяя временные шаги на поддиапазоны и отдельно подстраивая их под промпт-выравнивание. Результат — лучшее совпадение картинки с текстовым запросом без сильной потери качества.

Плюс к этому Stability AI оптимизировала весь пайплайн:

• переконфигурировала текстовый энкодер, чтобы убрать лишние операции и уменьшить задержки;
• использовала специализированное квантование весов, чтобы модель помещалась в память на более широком спектре устройств.

Что это значит для вас

Если вы художник, дизайнер, маркетолог или просто активно пользуетесь генеративной графикой, SD3.5-Flash интересен в трёх сценариях:

1. Быстрые наброски и прототипы. Few-step-генерация хорошо подходит, когда важна скорость: скетчи для презентаций, сториборды, идеи для рекламных креативов. Можно генерировать десятки вариантов подряд без ожидания по минуте на каждый.

2. Локальный запуск на слабом железе. SD3.5-Flash проектировали с прицелом на потребительские устройства. Это шанс запускать генерацию на:

   • ноутбуке без топовой видеокарты;
   • мини-ПК;
   • потенциально — на смартфоне или планшете (зависит от конкретных портов и приложений).

   Для тех, кто не хочет или не может гонять всё через облако, это плюс к приватности и экономии.

3. Интерактивные приложения. Если вы разрабатываете продукт — игру, редактор, сервис для генерации аватарок или обложек — SD3.5-Flash можно встраивать как быстрый генератор, который укладывается в жёсткие лимиты по памяти и задержке.

Где SD3.5-Flash может не подойти:

• Фотореалистичные финальные рендеры для печати и кино. Здесь всё ещё логично использовать тяжёлые модели с большим числом шагов или высокобюджетные облачные решения.
• Сложные промпты с кучей мелких деталей. Few-step-подходы часто проигрывают по микродеталям и сложным сценам, даже с улучшенным prompt alignment.

Доступность в России зависит от того, где именно Stability AI и партнёры выложат SD3.5-Flash. Если модель появится только в зарубежных облаках, для работы может понадобиться VPN и зарубежный аккаунт. Если выйдут локальные порты под Windows / Linux / Android, запустить можно будет без обходных путей.

Место на рынке

Stability AI позиционирует SD3.5-Flash не как конкурента GPT-4o или Claude 3.5 Sonnet, а как инструмент для офлайн- и on-device-графики. Корректнее сравнивать его с:

• компактными версиями Stable Diffusion (например, SDXL Turbo);
• быстрыми генеративными моделями в мобильных приложениях;
• кастомными few-step-пайплайнами, которые команды собирают поверх SDXL или SD3.

Stability AI заявляет, что SD3.5-Flash «стабильно обгоняет существующие few-step-методы» по качеству, но не приводит конкретных процентов или метрик. Есть только ссылка на масштабные пользовательские исследования, без подробных таблиц.

По скорости, потреблению VRAM и стоимости инференса прямых сравнений тоже нет. Можно лишь предположить:

• по качеству SD3.5-Flash ближе к тяжёлым rectified flow-моделям, чем к старым лайт-версиям Stable Diffusion;
• по скорости и требованиям к железу он должен быть существенно легче полноценных SD3.5-конфигураций.

Если вы уже используете SDXL или SD3 в облаке и вас устраивают задержки и цена, переходить на SD3.5-Flash имеет смысл только ради локального запуска и скорости. Если вы делаете продукт, который должен работать «на устройстве пользователя» — SD3.5-Flash один из немногих вариантов, который изначально проектировали под такие сценарии, а не просто ужали постфактум.