Mistral AI запустила La Plateforme: три чат‑модели и эмбеддинги с MT-Bench до 8.6

Что появилось / что изменилось

Mistral AI открыла бета‑доступ к La Plateforme — своему облачному API. Сейчас там четыре основных сервиса:

1. Три чат‑эндпоинта для генерации текста:

   • mistral-tiny — самый дешёвый, на базе Mistral 7B Instruct v0.2.
     Работает только на английском, набирает 7.6 балла на MT-Bench.
     Саму модель можно скачать и запускать локально.
   • mistral-small — Mixtral 8x7B.
     Поддерживает английский, французский, итальянский, немецкий, испанский и код.
     Оценка 8.3 на MT-Bench.
   • mistral-medium — прототип более мощной модели.
     Те же языки: EN/FR/IT/DE/ES и код.
     Оценка 8.6 на MT-Bench, сейчас это один из самых сильных сервисных моделей по открытым бенчмаркам.

2. Эмбеддинги Mistral-embed.
   Размер вектора — 1024.
   Модель оптимизировали под поиск и ретривал.
   Результат на MTEB (retrieval) — 55.26.

3. API в формате “chat” — синтаксис совместим с популярным форматом, который впервые предложила OpenAI для GPT‑серии.
   Можно задавать system prompt и усиливать модерацию ответов под конкретное приложение.

4. Официальные клиенты для Python и JavaScript для работы с API.

Доступ к платформе пока бета. Mistral AI постепенно наращивает мощности и обещает перейти к полностью самообслуживаемому режиму позже.

Как это работает

Под генеративными эндпоинтами скрываются разные семейства моделей:

• mistral-tiny обслуживает Mistral 7B Instruct v0.2. Это компактная 7‑миллиардная модель, дообученная на инструкциях.
  Mistral сначала учит базовую модель на данных из открытого веба, потом делает instruction fine-tuning по размеченным примерам.

• mistral-small использует Mixtral 8x7B — это sparse mixture of experts. У модели несколько “экспертов”, и во время инференса активны только часть из них.
  За счёт этого Mixtral даёт качество крупной модели при меньших вычислениях.

• mistral-medium — прототип, который Mistral тестирует уже в проде.
  По бенчмаркам база этой модели ближе к топовым системам на рынке, но конкретных FLOPS, токен/сек или цен в Mistral не раскрывают.

Для настройки поведения Mistral использует efficient fine-tuning и direct preference optimisation (DPO) — это когда модель обучают на парах ответов “лучше/хуже” и подстраивают под человеческие предпочтения.

Эмбеддинги Mistral-embed выдают вектор размером 1024. Архитектуру компания не раскрывает, но по MTEB видно, что модель заточена под задачи retrieval: поиск похожих текстов, RAG‑сценарии, FAQ‑боты.

Инфраструктуру Mistral строит на TensorRT-LLM и NVIDIA Triton. NVIDIA помогла адаптировать sparse mixture of experts под TensorRT-LLM, чтобы Mixtral работал быстрее и дешевле на GPU.

Что это значит для вас

Если вы делаете продукт на генеративном ИИ, La Plateforme закрывает сразу несколько сценариев:

• mistral-tiny:
  Подойдёт для массовых задач, где критична цена:
  — автодополнение в интерфейсе;
  — простые чат‑боты на английском;
  — генерация шаблонных текстов, черновиков, описаний.
  Не стоит использовать, если вам нужен хороший многоязычный диалог или сложное рассуждение.

• mistral-small (Mixtral 8x7B):
  Хороший вариант для продакшена, если вы работаете с EN/FR/IT/DE/ES или кодом:
  — ассистенты для разработчиков;
  — поддержка пользователей на нескольких языках;
  — генерация и правка текстов среднего уровня сложности;
  — RAG‑системы, где LLM переписывает найденные документы.
  Если вам нужен русский, Mistral про это ничего не говорит — качество придётся проверять руками.

• mistral-medium:
  Логичный выбор, если важнее качество, чем цена:
  — сложные диалоговые ассистенты;
  — аналитические ответы, многошаговые рассуждения;
  — генерация кода и ревью для нескольких языков программирования.
  Минус — модель пока прототип, поведение и доступность могут меняться.

• Mistral-embed:
  Нужен, если вы строите поиск по своим данным:
  — корпоративный поиск по документам;
  — чат‑бот поверх базы знаний;
  — дедупликация и кластеризация текстов.
  Вектор размером 1024 — разумный компромисс между точностью и затратами на хранение.

API копирует формат chat‑моделей OpenAI, так что перенос с GPT‑серии будет несложным: достаточно сменить URL и имена моделей.

Официально Mistral AI не таргетирует российский рынок. Для доступа, скорее всего, понадобится зарубежная карта и иногда VPN — это нужно учитывать, если вы строите продукт для пользователей из России.

Место на рынке

Mistral напрямую сравнивает свои модели с топовыми сервисами, но в посте даёт только один численный ориентир — MT-Bench:

• mistral-tiny — 7.6
• mistral-small (Mixtral 8x7B) — 8.3
• mistral-medium — 8.6

Сравнительная таблица с конкурентом есть, но без названия. Из текста понятно только, что база mistral-medium и mistral-small близка к уровню сильнейших коммерческих моделей. Конкретных цифр по GPT‑4, GPT‑4o или Claude 3 Mistral не приводит, поэтому честно сравнить “быстрее/медленнее” и “дороже/дешевле” по данным из блога нельзя.

По эмбеддингам ориентир один — 55.26 на MTEB (retrieval). Для разработчиков это полезнее, чем абстрактные заявления: можно открыть лидерборд MTEB и сравнить Mistral-embed с другими моделями.

Сильная сторона La Plateforme — открытые модели: Mistral 7B Instruct v0.2 можно скачать, а Mixtral 8x7B уже разобрали в сообществе. Это снижает vendor lock‑in: вы можете начать в облаке Mistral, а потом часть нагрузки перенести на свой inference.

Слабое место — бета‑статус сервиса и неполная прозрачность: нет цен, нет официальных скоростей, нет чётких сравнений с GPT‑4o и Claude 3. Для продакшена придётся заложить время на нагрузочное тестирование и возможные сбои по мере масштабирования платформы.