Microsoft Foundry Labs: полигон для фронтирных AI‑моделей, где можно сразу нажать Run — VogueTech

Что нового

Microsoft запустила Foundry Labs — витрину живых AI‑экспериментов из внутренних лабораторий. Это не презентации и не PDF, а вещи, которые можно сразу запустить, форкнуть и встроить в продукт.

Ключевые новинки на сегодня:

Единая площадка с 50+ живыми экспериментами
- Фронтирные модели и фреймворки из Microsoft Research и продуктовых команд.
- Всё в одном каталоге с фильтрами по доменам и типам артефактов.
- Акцент на шесть направлений, где AI уже даёт ощутимый эффект:
  • Creative & Generative Media
  • Code & Software Engineering
  • GeoAI / Earth Observation
  • Агентные системы и компьютерное использование
  • Речь и мультиязычная коммуникация
  • Наука и биомолекулярные структуры.
Новые флагманские модели и проекты
- MAI-Image-2.5 — генерация и редактирование изображений, включая image‑to‑image и режим «control with preservation».
  • По данным Arena.ai, заняла 2‑е место по качеству редактирования среди семейств моделей для изображений.
- MAI-Thinking-1 — первый крупный LLM от Microsoft AI, заточенный под рассуждения и математику.
  • Цель — сильное качество reasoning при существенно меньшей стоимости, чем у моделей фронтирного масштаба (конкретный множитель Microsoft не раскрывает).
- MagenticLite — open‑source агентное приложение для небольших моделей.
  • Наследник Magentic-UI.
  • Использует оркестратор MagenticBrain и SLM Fara 1.5.
  • Работает автономно и прозрачно на вашем железе.
- Fara 1.5 — маленькая агентная языковая модель для компьютерного использования.
  • Понимает интерфейс по скриншотам.
  • Сразу предсказывает клики и действия.
- EO/OS Object Detection — модель для спутниковых и аэрофотоснимков.
  • Детектирует и локализует объекты на петабайтных объёмах данных.
  • Базовый кирпич новой категории GeoAI в связке с Microsoft Planetary Computer.
Живой каталог с быстрым доступом
- На главной — блок «Breakthrough AI you can try today» с каруселью экспериментов.
- У каждого: Try it now (сразу в Microsoft Foundry) и Learn more (подробности).
- Лента «Just added to Labs» показывает последние поступления. Среди свежих:
  • VibeVoice ASR
  • MAI-Image-2-Efficient
  • Magentic Marketplace
  • BugPilot.
Интерактивные playground’ы прямо на страницах
- Пример — TRELLIS: из одной картинки или текстового промпта делает текстурированный 3D‑объект.
- Playground на сайте: загружаете изображение, крутите параметры, жмёте Generate 3D Model, смотрите результат.
- В один клик экспортируете GLB и забираете в свой пайплайн.
Проверенные кейсы с конкретными цифрами
На странице Stories собраны проекты, где эксперименты из Labs ушли в прод:
- Space Intelligence (лесные карты):
  • Ускорили выпуск данных в 100 раз.
  • Сократили цикл картирования лесов с 6 месяцев до 6 недель (минус 75%).
  • Покрыли 3 млрд гектаров в 50+ странах за год.
- Sight Machine: +10% к производительности производства за счёт возможностей на базе Foundry.
- Commerzbank: масштабировали до 30 000 клиентских диалогов в месяц на Foundry Agent Service.
- MediaTek: получили +50% к скорости on‑device AI с помощью семейств Phi.
Комьюнити на 25 000+ человек
- Общая площадка для разработчиков и исследователей: Discord, Reddit, Microsoft Research Blog, Tech Community.
- Календарь событий: Microsoft Build, Ignite, KubeCon, GitHub Universe, NeurIPS и др.
- Лента блогов и публикаций от команд, которые делают сами эксперименты.

Доступность в России Microsoft официально не описывает. На практике часть сервисов Microsoft Foundry и Labs может открываться только через зарубежный аккаунт и/или VPN.

Как это работает

Архитектура Foundry Labs

Foundry Labs — это витрина поверх инфраструктуры Microsoft Foundry:

Витрина (Labs)
• Каталог экспериментов с фильтрами и поиском.
• Страницы проектов с описаниями, playground’ами и ссылками на код и статьи.
• Секции Stories и Community.
Исполнительный уровень (Foundry)
• Там живут реальные деплойменты моделей.
• Кнопка Try it now ведёт в Foundry, где вы запускаете inference, настраиваете масштабирование и интеграцию.
• Оттуда же тянете модель в свой продукт.
Исходники и исследования
• GitHub‑репозитории с кодом.
• Научные статьи.
• Блоги с архитектурными решениями и пайплайнами обучения.

Что под капотом у TRELLIS

TRELLIS — показательный пример глубины экспериментов в Labs.

Что он делает:

Принимает одну картинку или текстовый промпт.
Генерирует полноценный 3D‑объект с текстурами.
Умеет экспортировать в несколько 3D‑форматов:
• меши
• радианс‑поля (NeRF)
• 3D Gaussian Splatting.

Ключевые технические детали:

Structured LATent (SLat) — новая структура латентного представления.
• Латент отделён от декодера, поэтому один и тот же базовый представитель может рендерить разные форматы 3D.
Rectified-flow трансформеры, масштабированные до 2 млрд параметров.
Обучение на 500 000 разнообразных 3D‑объектов.
Производительность:
• Генерация текстурированного меша < 10 секунд на одной A100.
Поддержка локального редактирования:
• Меняете отдельные регионы 3D‑объекта, не трогая остальное.

Технологический стек TRELLIS:

PyTorch
Диффузионные модели
NeRF
3D Gaussians
CUDA.

В сентябре 2025 TRELLIS попал в NVIDIA AI Blueprints, что говорит о достаточной зрелости для реальных пайплайнов. На странице счётчик показывает 2,4+ млн пользователей.

Как устроены страницы экспериментов

Каждый проект в каталоге следует одинаковой схеме:

Краткое описание и теги
- Пример для TRELLIS:
  • Creative & Generative Media
  • Model
  • Vision
  • Experimental.
Playground (если есть)
- Веб‑интерфейс прямо на странице: загружаете данные, крутите параметры, запускаете inference.
- Для TRELLIS доступны настройки:
  • latent CFG scale
  • sparse-structure CFG scale
  • sampling steps
  • seed.
Технический разбор
- Архитектура модели.
- Объём данных, параметры, особенности обучения.
- Ограничения и статус (experimental / production‑ready).
«Ready to Explore?»
- Ссылки на GitHub, research paper и проектный блог.
- Отдельная кнопка для развёртывания в Microsoft Foundry.

После игры в playground вы буквально в пару кликов переносите то же самое в свой пайплайн — без переписывания с нуля.

Что это значит для вас

Если вы разработчик продуктов

Foundry Labs полезен в двух сценариях:

Быстрая разведка фронтирных подходов
- Вместо чтения десятков статей вы открываете каталог и фильтруете по своему домену.
- Примеры:
  • Нужен vision‑движок для генеративной графики — смотрите MAI-Image-2.5 и связанные проекты.
  • Нужен готовый фреймворк для агентных приложений — берёте MagenticLite и Fara 1.5.
  • Нужен GeoAI для спутниковых снимков — смотрите EO/OS Object Detection.
Путь от прототипа до продакшена в одном экосистемном стеке
- Прототипируете в веб‑playground.
- Читаете код и статью, чтобы понять ограничения.
- Деплоите в Microsoft Foundry и оборачиваете в свой сервис.

Где это особенно уместно:

Продуктовые команды B2B и B2G
• Аналитика спутниковых данных, наблюдение за инфраструктурой, ESG‑отчётность.
• Инструменты для промышленных компаний (пример Sight Machine).
• Финансовые сервисы и чат‑агенты (пример Commerzbank).
Игровые и 3D‑студии
• TRELLIS сокращает ручной труд по созданию ассетов.
• Экспорт в GLB позволяет быстро протащить результат в Unity, Unreal или собственный движок.
Производители железа и embedded‑решений
• MediaTek показала +50% к on‑device AI с Phi — это сигнал, что в Labs есть материал для оптимизации под ограниченные ресурсы.

Где Foundry Labs вряд ли поможет:

Если вам нужен готовый B2C‑продукт «из коробки» без разработки. Здесь всё заточено под людей, которые умеют писать код и строить пайплайны.
Если вы хотите стабильный API уровня SLA для критичных систем — часть экспериментов помечена как experimental, и их поведение может меняться.
Если вы не готовы жить в экосистеме Microsoft: Foundry и Labs лучше всего работают с Azure и сопутствующими сервисами.

Если вы исследователь или ML‑инженер

Foundry Labs даёт:

Доступ к реализациям свежих идей без много месяцев reverse engineering.
Playground’ы, чтобы быстро понять, где модель ломается и как ведёт себя на ваших данных.
Ссылки на paper и код, чтобы копнуть архитектуру и дообучить под свои задачи.

Хорошие кейсы использования:

Быстро проверить, насколько SLat + rectified‑flow в TRELLIS подходят под ваш пайплайн 3D‑контента.
Посмотреть, как Microsoft реализует агентные сценарии (MagenticLite + Fara 1.5).
Взять EO/OS Object Detection как baseline для своих задач наблюдения за Землёй.

Юридические и практические нюансы

Модели и сервисы работают в инфраструктуре Microsoft. Для продакшена вам понадобится Azure/Foundry‑стек и корпоративный договор.
Для пользователей из России доступ может быть ограничен санкциями и политикой Microsoft. Часто нужен зарубежный аккаунт и VPN.
Лицензии и условия использования зависят от конкретного проекта:
• open source (как MagenticLite)
• проприетарные модели с доступом через Foundry.
Перед интеграцией имеет смысл проверить репозиторий и страницу проекта.

Место на рынке

Прямых численных сравнений с конкурентами Microsoft не приводит, но по позиционированию Foundry Labs можно понять нишу.

По отношению к классическим AI‑платформам

Не аналог GPT‑Store или Hugging Face Spaces в чистом виде.
• Hugging Face даёт огромный зоопарк моделей разного качества.
• Foundry Labs фокусируется на отобранных фронтирных экспериментах из внутренних команд Microsoft.
В отличие от витрин приложений поверх GPT‑4o или Claude 3.x, Labs заточен на уровне моделей и фреймворков, а не конечных consumer‑продуктов.

По глубине интеграции с продакшеном

Labs — это фасад. Настоящая мощь в Microsoft Foundry, где вы:
- Деплоите модели.
- Масштабируете inference.
- Встраиваете в свои сервисы.
Истории Space Intelligence, Commerzbank, MediaTek и Sight Machine показывают, что стек подходит для крупных корпоративных внедрений.

По типам задач

Сильные стороны Foundry Labs:

GeoAI и наблюдение за Землёй: EO/OS Object Detection + Planetary Computer — редкое сочетание промышленных масштабов (петабайты данных) и готовых моделей.
3D‑генерация и графика: TRELLIS с SLat и поддержкой мешей, NeRF и 3D Gaussians.
Агентные сценарии и компьютерное использование: Fara 1.5 и MagenticLite для SLM‑агентов, работающих на локальном железе.
Мультиязычная речь и ASR: VibeVoice ASR и связанные проекты.

Слабые стороны:

Нет ощущения «универсального магазина всего» — это скорее витрина флагманских экспериментов, а не полный каталог всех возможных моделей.
Многое завязано на экосистему Microsoft. Если вы строите инфраструктуру вокруг других облаков, придётся либо мириться с гибридной схемой, либо вытаскивать только open‑source‑части.

Как запустить и работать с Labs

Код в исходном материале не приводится, но по описанию можно выстроить типовой сценарий.

1. Исследование через веб

Открываете Foundry Labs в браузере.
На главной смотрите блок «Breakthrough AI you can try today» и ленту «Just added to Labs».
Переходите на вкладку Innovations, фильтруете по домену и типу артефакта.
Выбираете, например, TRELLIS:
- Загружаете изображение.
- Настраиваете параметры: latent CFG scale, sampling steps, seed.
- Жмёте Generate 3D Model.
- Просматриваете результат и экспортируете GLB.

2. Переход к коду и деплою

В блоке «Ready to Explore?» открываете GitHub‑репозиторий.
Клонируете его в свой проект, изучаете архитектуру и обучение.
При необходимости модифицируете под свои данные.
Через Microsoft Foundry:
- Создаёте деплоймент модели.
- Настраиваете endpoint.
- Подключаете к своему приложению (backend, микросервис, internal tool).

3. Работа с комьюнити и поддержкой

Заходите на вкладку Community.
Смотрите календарь событий — если вы едете, например, на NeurIPS или KubeCon, можно спланировать живую встречу с командой.
Подписываетесь на релевантные каналы: Discord, Reddit, Tech Community.
Если у вас уже есть продакшен‑кейс, подаёте заявку, чтобы попасть в раздел Stories.

Foundry Labs — это короткий путь от PDF с формулами до работающего прототипа, и дальше — до продакшена в стеке Microsoft. Если вы строите что‑то вокруг AI и готовы жить в экосистеме Azure, имеет смысл хотя бы раз пройтись по каталогу Innovations и посмотреть, какие эксперименты можно встроить в ваши дорожные карты уже сейчас.