Seed3D 2.0: генеративный 3D-движок, который отдельно прокачивает геометрию и материалы — VogueTech

Что нового

Seed3D выпустила Seed3D 2.0 — обновлённую 3D foundation-модель для генерации объектов и сцен из картинок, видео и текста.

Главные изменения по сравнению с Seed3D 1.0:

Двухстадийная Coarse-to-Fine генерация геометрии
Модель сначала строит общий объём и форму объекта, а потом отдельно дорисовывает мелкие детали. Это помогает лучше справляться с:
- острыми гранями;
- тонкими стенками;
- сложной топологией.
Единая PBR-модель для материалов
Seed3D 2.0 генерирует полный набор PBR-карт (например, цвет, нормали, roughness и т.п.) не по отдельности, а совместно. Это даёт более согласованную картинку между разными картами материалов.
Архитектура Mixture-of-Experts (MoE) для текстур
Разные «эксперты» внутри модели отвечают за разные аспекты материала. Это повышает детализацию на высоком разрешении и точность границ между материалами.
VLM-приоры для работы с освещением
Seed3D 2.0 использует визуально-языковые модели (VLM), чтобы устойчивее разбирать материалы на PBR-карты при неизвестных условиях освещения.
Расширенная поддержка downstream-задач:
- генерация на уровне отдельных частей объекта (part-level);
- генерация артикулируемых объектов с суставами и URDF-описанием;
- построение целых сцен на основе текста, изображений и видео;
- подготовка контента для симуляции в движках вроде Isaac Sim.
Результаты пользовательского исследования:
Команда провела слепое сравнение с 6 базовыми моделями.
В оценке участвовали 60 специалистов по 3D-моделированию.
- По «голой» геометрии Seed3D 2.0 чаще выбирали как более качественный вариант, чем все сравниваемые модели.
- По текстурированным 3D-объектам Seed3D 2.0 получал более 69% предпочтений по сравнению с текущими массовыми решениями.

Конкретные цифры по скорости, стоимости и ограничениях по размеру сцен в описании нет, но по результатам сравнений модель заметно подняла качество и геометрии, и материалов относительно Seed3D 1.0.

Как это работает

Двухстадийная Coarse-to-Fine геометрия

Seed3D 2.0 разделяет генерацию на две фазы:

Coarse-этап — построение общей структуры:
- модель восстанавливает базовый объём, пропорции и топологию объекта;
- на этом шаге проще контролировать целостность формы и избежать «сломанных» мешей.
Fine-этап — детализация:
- отдельная сеть или блоки дорабатывают мелкие элементы: фаски, отверстия, тонкие детали, сложные вырезы;
- оптимизация идёт уже при фиксированной общей структуре, поэтому модель меньше «ломает» геометрию.

Такое разделение помогает целенаправленно улучшать проблемные зоны 3D-генерации: острые ребра, тонкие элементы, сложные поверхности.

Единая PBR-генерация + MoE

Для материалов Seed3D 2.0 использует единый генеративный PBR-блок:

модель одновременно предсказывает полный набор PBR-карт;
разные карты согласованы между собой, потому что их учат как единую задачу, а не как набор независимых выходов.

Поверх этого используется Mixture-of-Experts:

внутри модели есть несколько «экспертов», каждый специализируется на своём типе текстуры или паттерна;
роутер выбирает, какой эксперт важнее для конкретного фрагмента поверхности;
это повышает:
- резкость мелких деталей на высоком разрешении;
- аккуратность границ между разными материалами (например, металл/пластик).

VLM-приоры для разложения материалов

Когда на вход подаётся картинка с неизвестным освещением, задача разложить её на PBR-карты неоднозначна. Seed3D 2.0 подключает визуально-языковые модели (VLM):

VLM помогает понять, что именно изображено: тип объекта, материалы, контекст сцены;
на основе этого Seed3D 2.0 делает более устойчивое разложение на альбедо, отражения и другие карты, не «записывая» тени и блики в цвет.

Артикулируемые объекты и симуляция

Для объектов с подвижными частями Seed3D 2.0 делает несколько шагов:

Сегментация на части
Модель делит объект на логические модули.
Классификация суставов с помощью VLM:
- VLM определяет, какие части связаны шарниром, какие закреплены жёстко;
- различает, например, вращательные (revolute) и фиксированные соединения.
Оценка осей и диапазона движения:
- геометрические приоры помогают найти оси вращения и допустимые пределы;
- для правдоподобных движений Seed3D 2.0 использует image-to-video модель, чтобы сгенерировать визуальные референсы движения и откалибровать диапазон.
Экспорт в URDF:
- итоговый объект содержит полное описание суставов в формате URDF;
- это сразу совместимо с физическими симуляторами, включая Isaac Sim.

Генерация сцен

Seed3D 2.0 расширяет генерацию одиночных объектов до целых сцен.

По тексту:
- используется дообученная LLM, которая решает задачу пространственного разума: где что должно стоять, как объекты соотносятся по размеру и расстоянию;
- на выходе — план сцены и расположение объектов.
По нескольким изображениям или видео:
- модель использует:
  - оценку глубины;
  - instance-сегментацию объектов;
  - дорисовку перекрытых областей (occlusion inpainting);
- на основе этих сигналов она восстанавливает 3D-раскладку сцены.

После этого Seed3D 2.0 генерирует 3D-объекты по отдельности и собирает их в единую сцену по рассчитанным координатам.

Что это значит для вас

Кому Seed3D 2.0 реально пригодится

3D-художники и аутсорс-студии
Можно быстрее получать базовую геометрию и материалы из референса (фото, видео) и дальше дорабатывать руками.
Отдельная генерация частей упростит создание модульных ассетов.
Игровые студии и VR/AR-команды
Seed3D 2.0 подходит для:
- прототипирования окружения по текстовому описанию;
- генерации интерактивных объектов с суставами для геймплея;
- подготовки ассетов для симуляции поведения в физическом движке.
Робототехника и симуляция
Модель генерирует артикулируемые объекты с URDF-описанием, совместимым с Isaac Sim.
Это полезно для:
- симуляции манипуляторов и взаимодействия с объектами;
- генерации разнообразных сценариев для обучения и тестирования.
Продуктовые и R&D-команды, которые строят свои 3D-сервисы
Seed3D 2.0 можно использовать как ядро для:
- генерации 3D по картинке/видео;
- текст-ту-сцене сервисов;
- инструментов для разметки и сегментации 3D.

Где модель особенно сильна

сложная геометрия: острые кромки, тонкие элементы, сложная топология;
материалы с богатыми деталями и чёткими границами между разными поверхностями;
задачи, где важна физическая правдоподобность движения и возможность симуляции.

Где могут быть ограничения

Точный контроль под продакшн-пайплайн
Для проектов с жёсткими требованиями к поликаунту, UV-развёртке и специфическим PBR-стекам всё равно понадобится ручная доработка.
Фотореализм в экстремальных условиях
При очень сложном освещении или нестандартных материалах результат может потребовать ручного тюнинга, несмотря на использование VLM-приоров.
Доступность и инфраструктура
В описании нет деталей о публичном API, ценах и географических ограничениях.
Перед интеграцией в продакшн стоит проверить, доступен ли сервис из вашей инфраструктуры и не требует ли обходных путей вроде VPN.

Как встроить Seed3D 2.0 в рабочий процесс

использовать модель как быстрый генератор черновиков 3D-объектов по референсам;
собирать библиотеки модульных ассетов с разбиением на части для конструкторов уровней и конфигураторов;
генерировать артикулируемые объекты для симуляции и тестов в Isaac Sim и других движках;
строить автоматизированные пайплайны: картинка/видео → 3D-объект → симуляция.

Место на рынке

Seed3D 2.0 конкурирует с другими генеративными 3D-моделями, которые умеют строить объекты по картинкам и тексту и выдавать текстурированные меши.

По данным пользовательского исследования:

в сравнении с шестью базовыми моделями Seed3D 2.0 чаще выбирали по качеству геометрии;
по текстурированным моделям Seed3D 2.0 получил более 69% голосов против актуальных массовых решений.

Отдельные сильные стороны Seed3D 2.0:

упор на точность геометрии через двухстадийную Coarse-to-Fine архитектуру;
единая PBR-генерация с MoE для материалов высокого разрешения;
фокус на артикулируемых объектах и симуляции с экспортом в URDF и поддержкой Isaac Sim;
расширение от одиночных объектов к полноценной генерации сцен с использованием LLM и VLM.

Цены, скорость работы и ограничения по размеру сцен или количеству запросов не раскрыты. Для команд, которым важны именно геометрическая точность, качество материалов и связка с физическими симуляторами, Seed3D 2.0 выглядит как сильный кандидат на роль ядра 3D-пайплайна или инструмента ускорения производства контента.