Дата публикации
ai_products

Microsoft выпустила Agent Governance Toolkit: как держать автономных AI-агентов под контролем

Что нового

Microsoft открыла исходники Agent Governance Toolkit — набора из девяти модулей, который привозит в мир автономных AI-агентов то, чем живут SRE и DevOps: политики доступа, изоляцию, доверие между сервисами, SLO и аудит.

Ключевые новшества:

  • Готовая архитектура из 9 пакетов (v3.0.0 Public Preview):

    • Agent OS — без状態ный policy engine для перехвата действий агента до их выполнения.
    • Agent Mesh — криптографическая идентичность агентов (DID + Ed25519) и протокол доверия IATP.
    • Agent Hypervisor — «кольца привилегий» как в CPU, с лимитами ресурсов и сагами для многосоставных операций.
    • Agent Runtime — надзор за выполнением: kill switch, динамическое распределение ресурсов.
    • Agent SRE — SLO, error budget, circuit breakers, chaos engineering для агентов.
    • Agent Compliance — оценка соответствия OWASP Agentic AI Top 10 / ASI 2026, EU AI Act, NIST AI RMF, HIPAA, SOC 2.
    • Agent Lightning — управление RL-тренингом агентов через политики.
    • Agent Marketplace — управление плагинами с подписями Ed25519 и SBOM.
    • Integrations — 20+ адаптеров к популярным фреймворкам.
  • Фокус на OWASP Agentic AI Top 10 / ASI 2026: toolkit закрывает риски вроде подмены целей, злоупотребления инструментами, отравления памяти, каскадных отказов и «бешеных» агентов через жёсткое применение политик, крипто-идентичность, изоляцию и практики SRE.

  • Двухслойный policy engine:

    • паттерн-матчинг для SQL-инъекций, эскалации привилегий, prompt injection;
    • семантическая классификация намерений (DESTRUCTIVE_DATA, DATA_EXFILTRATION, PRIVILEGE_ESCALATION) с разными сценариями реакции.
  • Всё на конфигурации, а не вшито в код: правила, паттерны и пороги чувствительности вынесены в YAML. Поддерживаются YAML, OPA Rego и Cedar.

  • Trust scoring для агентов: криптографические идентификаторы (DID + Ed25519), протокол доверия, «распад доверия» во времени и строгая модель делегирования прав.

  • Кольца исполнения (Ring 0–3) с порогами доверия и разными лимитами ресурсов. Новые агенты стартуют в самом «узком» кольце с read-only и песочницей.

  • Интеграция с observability-стеком: OpenTelemetry, Prometheus, Grafana, Datadog, Langfuse, LangSmith, Arize, MLflow, плюс брокеры Kafka, Redis, NATS, Azure Service Bus, AWS SQS, RabbitMQ.

  • Готовые чарты для Kubernetes (AKS) и sidecar-паттерн: Agent OS, Agent Mesh и Agent SRE можно разворачивать рядом с любым контейнеризованным агентом.

  • Открытая лицензия MIT и публичный репозиторий: github.com/microsoft/agent-governance-toolkit.

Числовые факты:

  • 9 отдельных пакетов в одном монорепозитории.
  • 20+ интеграций с фреймворками: LangChain, CrewAI, AutoGen, Semantic Kernel, Google ADK, Microsoft Agent Framework, OpenAI Agents SDK и другие.
  • 9 шаблонов для chaos engineering (задержки сети, сбои LLM-провайдеров, таймауты инструментов, манипуляции trust score, повреждение памяти и гонки).
  • Trust score оценивается по шкале 0–1000; пороги по умолчанию:
    • Ring 0 — ≥ 900;
    • Ring 1 — ≥ 700;
    • Ring 2 — ≥ 400;
    • Ring 3 — < 400.

Как это работает

Архитектура: «ядро», mesh и SRE-слой для агентов

Agent Governance Toolkit — это монорепозиторий с девятью пакетами, которые можно ставить вместе или по отдельности. Архитектура напоминает привычную инфраструктуру:

  • Agent OS — как «ядро» для агентов. Перехватывает каждый вызов инструмента и прогоняет его через политики до фактического выполнения.
  • Agent Mesh — как service mesh: даёт агентам криптографическую идентичность и zero-trust-коммуникации.
  • Agent Hypervisor — как гипервизор: управляет уровнями привилегий и ресурсами.
  • Agent SRE — как SRE-платформа: SLO, error budget, circuit breakers, хаос-тесты.

Остальные модули добавляют комплаенс, RL-управление и маркетплейс плагинов.

Agent OS: policy engine с паттернами и семантикой

Agent OS работает как без状態ный policy engine. Каждый запрос несёт контекст: идентификатор агента, набор политик, лимиты. Пример из документации:

from agent_os import StatelessKernel, ExecutionContext, Policy

kernel = StatelessKernel()

ctx = ExecutionContext(
    agent_id="analyst-1",
    policies=[
        Policy.read_only(),                    # No write operations
        Policy.rate_limit(100, "1m"),          # Max 100 calls/minute
        Policy.require_approval(
            actions=["delete_*", "write_production_*"],
            min_approvals=2,
            approval_timeout_minutes=30,
        ),
    ],
)

result = await kernel.execute(
    action="delete_user_record",
    params={"user_id": 12345},
    context=ctx,
)

Движок делает две вещи:

  1. Паттерн-матчинг: готовые наборы правил для SQL-инъекций, эскалации привилегий, prompt injection. Их нужно адаптировать под свою среду.
  2. Семантическая классификация намерений: движок пытается понять, что именно хочет сделать агент, а не только по ключевым словам. Например, запрос может быть помечен как:
    • DESTRUCTIVE_DATA — разрушительные операции с данными;
    • DATA_EXFILTRATION — попытки утечки данных;
    • PRIVILEGE_ESCALATION — попытки получить лишние права.

В зависимости от политики такие действия можно:

  • заблокировать;
  • отправить на ручное одобрение;
  • понизить уровень доверия агента.

Все правила и пороги вынесены в YAML-конфиги (examples/policies/), которые нужно пересмотреть перед продом. Встроенные конфиги — это стартовый набор, а не «полный щит».

Policy engine по дизайну stateless, поэтому его можно масштабировать как обычный микросервис: за балансировщиком, в sidecar-контейнере в Kubernetes или в serverless-функции. Для Kubernetes есть готовые Helm-чарты для agent-os, agent-mesh и agent-sre.

Agent Mesh: крипто-идентичность и zero-trust для агентов

В классическом service mesh сервисы доказывают свою личность через mTLS-сертификаты. Agent Mesh переносит эту идею на агентов:

  • каждый агент получает DID (Decentralized Identifier), подписанный Ed25519;
  • коммуникации между агентами проходят через Inter-Agent Trust Protocol (IATP);
  • любой вызов между агентами можно «загородить» порогом доверия.

Пример:

from agentmesh import AgentIdentity, TrustBridge

identity = AgentIdentity.create(
    name="data-analyst",
    sponsor="alice@company.com",          # Human accountability
    capabilities=["read:data", "write:reports"],
)

# identity.did -> "did:mesh:data-analyst:a7f3b2..."

bridge = TrustBridge()

verification = await bridge.verify_peer(
    peer_id="did:mesh:other-agent",
    required_trust_score=700,  # Must score >= 700/1000
)

Ключевые механики:

  • Trust decay — доверие к агенту со временем падает, если он не даёт новых положительных сигналов. Агент, который «вёл себя хорошо» неделю назад, но молчит сейчас, постепенно теряет статус доверенного.
  • Цепочки делегирования — агент с правами read+write может делегировать дочернему агенту только часть прав, например только read. Эскалировать права через делегирование нельзя.

Agent Hypervisor: кольца привилегий и саги

Agent Hypervisor привозит в мир агентов модель привилегий из CPU:

| Ring | Уровень доверия | Возможности | |------|------------------------|------------------------------------------------------------| | 0 | Score ≥ 900 | Полный доступ, изменение политик | | 1 | Score ≥ 700 | Координация агентов, повышенный доступ к инструментам | | 2 | Score ≥ 400 | Обычные операции в рамках выданного scope | | 3 | Score < 400 | Только чтение, песочница |

Новые и непроверенные агенты стартуют в Ring 3. Повышение уровня идёт через накопление доверия.

Для каждого кольца можно настроить:

  • максимальное время выполнения;
  • лимиты памяти;
  • ограничение CPU;
  • rate limit на запросы.

Если агент из Ring 2 пытается выполнить операцию уровня Ring 1, гипервизор блокирует её, как ядро блокирует доступ пользовательского процесса к памяти kernel.

Структуру колец, пороги trust score и ресурсные лимиты можно переопределить в политике.

Дополнительно гипервизор даёт саги для многосоставных операций. Пример: агент делает цепочку черновик письма → отправка → обновление CRM. Если финальный шаг падает, запускаются компенсирующие действия в обратном порядке. Это классический шаблон из распределённых транзакций, перенесённый на оркестрацию агентов.

Agent SRE: SLO и хаос-инженерия для агентов

Agent SRE переносит подход SRE к сервисам на автономных агентов.

  • Можно задать safety SLO, например 99% действий агента должны укладываться в политики.
  • Если safety SLI падает ниже 99% (больше 1% действий нарушают политики), toolkit автоматически:
    • урезает возможности агента;
    • может перевести его в более низкое «кольцо»;
    • ограничивает доступ к чувствительным инструментам.

Есть девять шаблонов для хаос-тестов:

  • задержки сети;
  • сбои LLM-провайдеров;
  • таймауты инструментов;
  • манипуляции trust score;
  • повреждения памяти;
  • гонки при конкурентном доступе и другие сценарии.

Интеграции с observability:

  • Datadog, PagerDuty, Prometheus, OpenTelemetry;
  • Langfuse, LangSmith, Arize, MLflow;
  • брокеры: Kafka, Redis, NATS, Azure Service Bus, AWS SQS, RabbitMQ.

Toolkit отдаёт метрики:

  • количество policy-решений в секунду;
  • распределение trust score;
  • переходы между кольцами;
  • скорость «сжигания» SLO (burn rate);
  • состояние circuit breakers;
  • задержку governance-пайплайна.

Compliance и интеграции

Agent Compliance помогает выстроить соответствие:

  • OWASP Agentic AI Top 10 / ASI 2026 (ASI01–ASI10);
  • EU AI Act;
  • NIST AI RMF;
  • HIPAA;
  • SOC 2.

Пакет даёт автоматическую «оценку управления» для агентов и маппинг на эти фреймворки.

Toolkit не привязан к конкретному фреймворку агентов. Есть более 20 адаптеров к:

  • LangChain;
  • CrewAI;
  • AutoGen;
  • Semantic Kernel;
  • Google ADK;
  • Microsoft Agent Framework;
  • OpenAI Agents SDK и другим.

Обычно достаточно нескольких строк конфигурации, а не переписывания агента с нуля.

Azure-интеграции и sidecar-паттерн

Agent Governance Toolkit платформенно нейтрален, но Microsoft даёт быстрый путь в прод на Azure:

  • Azure Kubernetes Service (AKS) — policy engine как sidecar рядом с агентами. Helm-чарты для agent-os, agent-mesh, agent-sre.
  • Azure AI Foundry Agent Service — встроенный middleware для агентов, развернутых через Azure AI Foundry.
  • OpenClaw Sidecar — сценарий, когда OpenClaw (open-source автономный агент) крутится в контейнере вместе с governance-toolkit как sidecar. Они общаются по localhost в одном pod.

Sidecar-паттерн подходит для любого контейнеризованного агента, не только для OpenClaw.

Что это значит для вас

Когда Agent Governance Toolkit реально нужен

Если вы:

  • запускаете агентов, которые пишут или удаляют данные в продовых базах;
  • даёте агентам доступ к внутренним API и микросервисам;
  • строите multi-agent-системы, где агенты вызывают друг друга и делегируют задачи;
  • работаете в доменах с регуляторикой (финансы, медицина, гос, крупный B2B),

то Agent Governance Toolkit закрывает сразу несколько болей:

  1. Контроль действий агента: можно чётко задать, что агент может делать, а что — только с ручным одобрением.
  2. Минимизация ущерба: кольца привилегий и лимиты ресурсов не дадут новому или «сорвавшемуся» агенту снести прод.
  3. Отчётность и регуляторика: есть связка с OWASP Agentic AI Top 10 / ASI 2026, EU AI Act, NIST AI RMF, HIPAA, SOC 2. Это аргумент для безопасности и compliance-команд.
  4. Надёжность: SLO, error budget, circuit breakers, хаос-тесты — всё, к чему привыкли SRE, но применённое к агентам.

Где toolkit особенно полезен

  • Enterprise-продукты на базе агентов:

    • ассистенты для аналитиков, которые ходят в DWH и BI;
    • внутренние «копилоты» для саппорта, которые могут менять статусы тикетов и обновлять CRM;
    • DevOps-агенты, запускающие пайплайны и меняющие конфиги.
  • Multi-agent-платформы:

    • системы, где агенты порождают других агентов;
    • сложные оркестрации наподобие: анализ → планирование → действие → валидация.
  • Организации с жёсткими требованиями к аудиту:

    • банки и финтех;
    • медтех и клиники;
    • крупные корпорации с SOC 2 и HIPAA.

Где можно обойтись без него

  • Простой чат-бот без доступа к продовым данным и внешним инструментам.
  • R&D-прототипы, которые работают на копиях данных и в полностью изолированной среде.
  • Малые проекты, где агент делает только read-only запросы к ограниченному набору источников, а риски минимальны.

В этих случаях overhead от настройки политик и интеграции может не окупиться.

Доступность из России

Agent Governance Toolkit — это open-source-проект на GitHub под лицензией MIT. Код можно клонировать и запускать локально или в своём облаке.

Для работы не нужен VPN как обязательное требование самого toolkit. Но для доступа к GitHub, Azure, OpenAI Agents SDK и другим внешним сервисам в российских сетях часто используют VPN или другие способы обхода ограничений. Это зависит от вашей инфраструктуры и текущих сетевых условий.

Место на рынке

Agent Governance Toolkit решает задачу, которую сейчас многие команды закрывают самописными решениями: ограничение действий агентов, логирование, ручные approval-флоу, «обёртки» вокруг LangChain или собственных фреймворков.

Что у Microsoft есть «из коробки»:

  • Централизованный стек: от policy engine до SRE и compliance в одном репозитории и с общей моделью доверия.
  • Поддержка популярных фреймворков: LangChain, CrewAI, AutoGen, Semantic Kernel, Google ADK, Microsoft Agent Framework, OpenAI Agents SDK.
  • Готовые интеграции с observability: OpenTelemetry, Prometheus, Datadog, Langfuse, LangSmith, Arize, MLflow.
  • Kubernetes-first-подход: Helm-чарты и sidecar-архитектура.

На рынке уже есть решения для безопасности LLM-приложений: фильтрация промптов, защита от утечек данных, прокси между приложением и LLM. Но они чаще работают на уровне промпта и ответа.

Agent Governance Toolkit опускается ниже — на уровень:

  • вызовов инструментов (DELETE FROM users...),
  • доступа к API,
  • распределения привилегий между агентами,
  • SLO и хаос-тестов поведения агентов.

Прямых цифр по сравнению с конкурентами (скорость, стоимость, overhead) Microsoft не приводит. Фокус не на производительности LLM, а на управлении рисками и соответствием стандартам безопасности.

Toolkit подойдёт командам, которые уже:

  • используют Kubernetes и observability-стек;
  • строят серьёзные agentic-системы, а не просто чат-ботов;
  • упираются в требования безопасности и compliance.

Если вы только начинаете экспериментировать с агентами и у вас нет продовой нагрузки, Agent Governance Toolkit может оказаться избыточным.

Установка

Toolkit доступен в нескольких языковых экосистемах:

  • Python (основные примеры и демо);
  • TypeScript (@microsoft/agentmesh-sdk в npm);
  • Rust;
  • Go;
  • .NET (Microsoft.AgentGovernance в NuGet).

Установка всех пакетов сразу:

# Install all packages
pip install agent-governance-toolkit[full]

Установка отдельных модулей:

# Or individual packages
pip install agent-os-kernel agent-mesh agent-sre

Как запустить

Клонирование репозитория и запуск демо

git clone https://github.com/microsoft/agent-governance-toolkit
cd agent-governance-toolkit

pip install -e "packages/agent-os[dev]" \
            -e "packages/agent-mesh[dev]" \
            -e "packages/agent-sre[dev]"

# Run the demo
python -m agent_os.demo

Пример использования Agent OS (policy engine)

Код из репозитория показывает базовый сценарий: агент с read-only, rate limit и обязательным ручным одобрением для опасных действий.

from agent_os import StatelessKernel, ExecutionContext, Policy

kernel = StatelessKernel()

ctx = ExecutionContext(
    agent_id="analyst-1",
    policies=[
        Policy.read_only(),                    # No write operations
        Policy.rate_limit(100, "1m"),          # Max 100 calls/minute
        Policy.require_approval(
            actions=["delete_*", "write_production_*"],
            min_approvals=2,
            approval_timeout_minutes=30,
        ),
    ],
)

result = await kernel.execute(
    action="delete_user_record",
    params={"user_id": 12345},
    context=ctx,
)

Пример использования Agent Mesh (идентичность и доверие)

from agentmesh import AgentIdentity, TrustBridge

identity = AgentIdentity.create(
    name="data-analyst",
    sponsor="alice@company.com",          # Human accountability
    capabilities=["read:data", "write:reports"],
)

# identity.did -> "did:mesh:data-analyst:a7f3b2..."

bridge = TrustBridge()

verification = await bridge.verify_peer(
    peer_id="did:mesh:other-agent",
    required_trust_score=700,  # Must score >= 700/1000
)

Что дальше

Microsoft делает Agent Governance Toolkit открытым и планирует в перспективе передать его в отраслевой фонд, например AI and Data Foundation (AAIF), чтобы проектом управляли не только внутри Microsoft.

Команда ждёт:

  • результатов ред-тиминга и отчётов о найденных уязвимостях;
  • новых адаптеров к фреймворкам;
  • правил детекции и маппингов к комплаенс-фреймворкам от сообщества.

Если вы уже строите или планируете строить автономных агентов в проде, Agent Governance Toolkit даёт готовую основу для безопасности, доверия и надёжности — вместо очередного самописного «ограждения» вокруг ваших LLM-пайплайнов.


Читайте также