Amazon SageMaker AI научился сам подбирать инфраструктуру для генеративных моделей — теперь через UI — VogueTech

Что нового

Amazon добавила в Amazon SageMaker AI Studio новый интерфейс для рекомендаций по инференсу генеративных моделей. Раньше этот механизм работал только через API, теперь всё доступно из консоли в режиме low-code / no-code.

Ключевые изменения:

UI для оптимизации инференса генеративных моделей в SageMaker AI Studio, раздел Jobs → Inference optimization.
Готовые профили нагрузок:
- Interact — чат, короткий ввод, средний вывод.
- Generate — длинная генерация текста.
- Summarize — суммаризация документов с большим входом и коротким выходом.
- Custom — свой датасет, свои параметры.
Три цели оптимизации:
- Minimize latency — минимальная задержка ответа.
- Maximize throughput — максимум токенов в секунду.
- Minimize cost — минимальная стоимость инференса при заданном трафике.
Поддержка разных источников моделей:
- foundation-модели из каталога Amazon SageMaker JumpStart;
- свои артефакты в Amazon S3;
- модели из Model Registry;
- уже развёрнутые или обученные SageMaker модели.
Автоматический подбор железа:
- можно доверить выбор инстансов SageMaker AI;
- или вручную ограничить список, например ml.g6e.2xl, ml.g7e.2xl;
- для цели Minimize cost SageMaker сам выбирает рекомендуемый тип инстанса.
Интерфейс полного цикла без кода:
- создание optimization job;
- настройка профиля и цели;
- выбор модели и железа;
- запуск бенчмарков и просмотр метрик (TTFT, ITL, throughput, cost);
- одна кнопка Deploy для вывода рекомендованной конфигурации в прод.
Скорость цикла:
- типовые нагрузки (Interact и другие пресеты) — рекомендации за несколько минут;
- кастомные нагрузки с собственным датасетом — от нескольких часов.
Стоимость:
- за сами рекомендации доплаты нет;
- платите только за вычисления, использованные в optimization jobs и временных endpoint’ах.
Автоуправление инфраструктурой бенчмарков:
- SageMaker AI сам поднимает endpoints и training jobs для тестов;
- после завершения optimization job эти endpoints удаляются автоматически.

Идея: сократить цикл «подбор инстанса → контейнер → настройки → бенчмарки» с недель ручной возни до минут или часов и отдать этот процесс в руки команд без глубокой экспертизы по инфраструктуре.

Как это работает

Новый UI — это обёртка над уже существующим API inference recommendations в SageMaker AI.

1. Анализ модели и сужение пространства конфигураций

Когда вы запускаете optimization job, SageMaker AI:

Читает архитектуру модели и требования к памяти из артефакта (S3, JumpStart и т.д.).
Отбрасывает неподходящие конфигурации:
- инстансы, где модель физически не помещается в память;
- варианты, которые не удовлетворяют выбранной цели (например, слишком медленные для latency-профиля).

Это уменьшает количество комбинаций «модель + тип инстанса + настройки сервинга», которые нужно прогнать через бенчмарки.

2. Профили нагрузок задают бенчмарк

Вместо того чтобы вручную прописывать распределение длин промптов и ответов, вы выбираете профиль:

Interact — короткие сообщения, умеренная длина ответа, сценарий «чат».
Generate — основной упор на длинный выход, генерация контента.
Summarize — большой вход, короткий выход.
Custom — вы указываете:
- S3 URI на датасет в формате JSONL;
- уровень concurrency — сколько одновременных запросов имитировать;
- максимальную длину выходных токенов.

Выбранный профиль автоматически подставляет параметры бенчмарка, чтобы вам не разбираться в распределениях токенов и прочих тонкостях нагрузочного тестирования.

3. Цель оптимизации задаёт стратегию

Вы выбираете одну цель:

Minimize latency:
- SageMaker AI подбирает конфигурации с минимальным временем до первого токена (TTFT) и минимальной задержкой между токенами (ITL);
- под капотом используются оптимизации уровня ядер (kernel tuning) и настройки сервинга, которые уменьшают задержки.
Maximize throughput:
- цель — максимум токенов в секунду при заданном профиле нагрузки;
- если архитектура и инстанс это поддерживают, SageMaker AI использует speculative decoding:
  - сначала обучает draft-модель в отдельном training job;
  - затем использует её для ускорения инференса основной модели.
Minimize cost:
- SageMaker AI сам выбирает рекомендованный тип инстанса;
- поднимает endpoint и прогоняет по нему бенчмарки;
- ранжирует конфигурации по стоимости инференса при вашем трафике.

4. Реальные бенчмарки на GPU

Для измерений SageMaker AI использует NVIDIA AIPerf:

бенчмарки идут на реальных GPU-инстансах AWS;
каждый вариант конфигурации прогоняется несколько раз;
результаты агрегируются с учётом доверительных интервалов, чтобы сгладить шум.

Меряются:

TTFT (time to first token) — насколько быстро модель начинает отвечать;
ITL (inter-token latency) — задержка между токенами, важна для стриминга;
throughput — сколько токенов в секунду выдаёт конфигурация;
стоимость — сколько вы заплатите за обработку трафика с таким профилем.

5. Управление инфраструктурой

В зависимости от цели оптимизации SageMaker AI строит разную «лестницу» шагов:

Minimize cost:
- создаёт endpoint на рекомендованном типе инстанса;
- запускает benchmark jobs, которые бьют по этому endpoint’у;
- прогресс можно смотреть в разделах Deployments → Endpoints и Training → Training Jobs.
Minimize latency:
- если архитектура модели и инстанс это позволяют, разворачивает конфигурацию с kernel-тюнингом;
- если нет — поднимает один или несколько стандартных endpoint’ов (по одному на тип инстанса);
- для каждой комбинации «модель + инстанс» запускает training job как бенчмарк.
Maximize throughput:
- сначала запускает training job для обучения draft-модели под speculative decoding;
- затем поднимает endpoints для разных типов инстансов;
- по каждому варианту прогоняет benchmark jobs.

После завершения optimization job:

временные endpoints автоматически удаляются;
в UI остаётся список ранжированных рекомендаций, логов и артефактов.

Что это значит для вас

Для кого это вообще нужно

Новый интерфейс полезен, если вы:

запускаете генеративные модели в проде на AWS (чат-боты, ассистенты, генерация текста, суммаризация документов);
тратите много времени на подбор типа инстанса и настроек сервинга;
хотите понимать стоимость и задержки до выхода в прод, а не по факту;
не держите в штате отдельного инженера по инфраструктуре ML.

SageMaker AI Studio позволяет:

быстро проверить несколько конфигураций без ручной сборки Docker-образов и Terraform;
сравнить профили «быстрее», «дешевле», «пропускает больше запросов» на одной панели;
развернуть лучший вариант в прод одной кнопкой Deploy.

Типичные сценарии

Чат-ассистент для сотрудников или клиентов
- Профиль Interact, цель Minimize latency.
- Задача — чтобы пользователь видел ответ как можно быстрее.
- UI покажет, какой тип инстанса даёт лучшую TTFT и ITL при вашем уровне concurrency.
Генерация длинных текстов (статей, описаний, отчётов)
- Профиль Generate, цель Maximize throughput или Minimize cost.
- Если задача пакетная — throughput важнее, можно пожертвовать задержкой.
- Для ночных батчей UI поможет выбрать конфигурацию, которая выжимает максимум токенов в секунду.
Суммаризация документов
- Профиль Summarize.
- Большие входные тексты, короткий выход.
- SageMaker AI подберёт конфигурации, которые лучше всего справляются с таким соотношением токенов.
Свой специфический трафик
- Профиль Custom.
- Вы загружаете в S3 JSONL с реальными запросами, задаёте concurrency и max output tokens.
- Бенчмарки будут максимально близки к продовой нагрузке.

Когда это не поможет

Если вы не используете AWS или не готовы платить за GPU-инстансы — эта функция вам не пригодится.
Если у вас маленький объём трафика и одна-две конфигурации «на глаз» уже работают нормально, выигрыш от сложной оптимизации будет минимальным.
Если вы запускаете модели не в SageMaker, а, например, в Kubernetes кластере вне AWS, UI из Studio не интегрируется напрямую с вашей инфраструктурой.

Важные нюансы

Функция доступна только при наличии AWS аккаунта и SageMaker AI Studio domain.
Нужны права IAM на операции inference optimization и доступ к артефактам моделей в S3.
За сами рекомендации вы не платите, но optimization jobs и endpoints во время бенчмарков тарифицируются как обычные вычислительные ресурсы AWS.
Если вы работаете из России, доступ к AWS может потребовать VPN и регистрацию аккаунта за пределами РФ. Это отдельный организационный и юридический вопрос, который нужно решать внутри компании.

Практические советы по использованию

Перед крупным релизом: прогоните optimization job с реальным профилем нагрузки (Custom) и целью Minimize cost или Maximize throughput, чтобы оценить бюджет и SLA.
После fine-tuning модели: перезапустите оптимизацию. Изменившаяся архитектура/веса могут вести себя иначе на тех же инстансах.
При появлении новых типов инстансов в регионе: добавьте их в Compute и сравните с текущими. Иногда новый тип даёт лучшее соотношение цена/производительность.
Регулярно: запускать optimization jobs каждые несколько недель — разумная стратегия, потому что команда SageMaker AI добавляет новые оптимизации и настройки в инфраструктуру рекомендаций.

Место на рынке

SageMaker AI Studio с inference optimization UI решает задачу, которую многие компании до сих пор закрывают вручную: подбор конфигураций для генеративных моделей под конкретный трафик.

Прямых численных сравнений с конкурентами в материале нет, но можно зафиксировать несколько фактов по позиционированию:

В отличие от абстрактных «AI платформ», SageMaker AI:
- завязан на конкретную инфраструктуру AWS (EC2-инстансы, S3, JumpStart);
- умеет автоматически поднимать и удалять endpoints и training jobs.
Новый UI делает то, что обычно приходится делать через собственные скрипты нагрузочного тестирования:
- формировать профили трафика;
- прогонять бенчмарки по нескольким инстансам;
- собирать метрики и считать стоимость;
- разворачивать лучшую конфигурацию.

Если вы уже живёте в экосистеме AWS и используете SageMaker для обучения и инференса, этот инструмент закрывает нишу «автоматического SRE для генеративных моделей». Он не заменяет сами модели (GPT-5, Claude 4 и т.д.), а помогает эффективнее их обслуживать, когда вы разворачиваете их на своей инфраструктуре в AWS.

Как запустить через UI SageMaker AI Studio

Ниже — краткий чек-лист без кода, только консоль.

1. Подготовка

Вам нужно:

AWS аккаунт с развернутым SageMaker AI Studio domain.
IAM-права на операции inference optimization.
Execution role с доступом к артефактам моделей в S3 (если используете свои модели).

2. Создать optimization job

Откройте SageMaker AI Studio.
В левой панели выберите Jobs → Inference optimization.
Нажмите Create или Optimize inference.

3. Настроить стратегию

Выберите use-case profile:
- Interact;
- Generate;
- Summarize;
- Custom.
Выберите optimization goal:
- Minimize cost;
- Minimize latency;
- Maximize throughput.
Если выбрали Custom, укажите:
- S3 URI на датасет в формате JSONL;
- concurrency (число одновременных запросов);
- максимальную длину выходных токенов.

4. Выбрать модель и вычисления

В секции Model нажмите Select.
В появившемся окне выберите вкладку:
- JumpStart — если берёте foundation-модель из каталога;
- S3 — если у вас есть свой артефакт модели в S3;
- Logged — если хотите использовать модель из Model Registry;
- Deployable — уже развёрнутая или обученная модель.
Для S3 укажите:
- имя модели в Studio;
- S3 URI с артефактом.
В секции Compute (опционально):
- либо ничего не трогайте, и SageMaker AI сам подберёт инстансы;
- либо выберите конкретные типы (например, ml.g6e.2xl, ml.g7e.2xl).

5. Запустить и следить за прогрессом

Нажмите Optimize.
Откроется Detail page optimization job’а.
Статус сменится с Running на Completed, когда бенчмарки завершатся.
Для остановки в процессе используйте Actions → Stop.

Пока job работает, вы можете:

смотреть статус endpoint’ов в Deployments → Endpoints;
смотреть training jobs в Training → Training Jobs.

6. Посмотреть рекомендации и задеплоить

После завершения откройте вкладку Overview на странице job’а.
Вы увидите список inference packages с ранжированными рекомендациями.
Для каждой конфигурации показаны:
- тип инстанса и настройки инференса;
- TTFT, ITL, throughput, стоимость;
- кнопка Deploy.
Нажмите Deploy на понравившемся варианте.
В появившемся окне:
- проверьте имя endpoint’а и тип инстанса;
- выберите, создать новый endpoint или обновить существующий.
SageMaker AI выполнит три шага автоматически:
- зарегистрирует оптимизированную модель;
- создаст endpoint configuration;
- поднимет endpoint до статуса In Service.

После этого endpoint можно вызывать из вашего приложения через стандартные API SageMaker.

7. Управление старыми job’ами

На странице Jobs → Inference optimization вы можете:

искать job’ы по имени через строку поиска;
останавливать активные job’ы: Actions → Stop;
удалять завершённые или упавшие job’ы: Actions → Delete;
открывать Detail page любой job’ы и смотреть вкладки Overview, Settings, Details.

Amazon SageMaker AI научился сам подбирать инфраструктуру для генеративных моделей — теперь через UI