Дата публикации
ai_products

Anthropic выяснила: Claude на русском строже и придирчивее, чем на хинди и арабском

Что нового

Anthropic провела масштабное исследование того, как меняются ответы Claude 4 в зависимости от языка и версии модели. Команда не ограничилась общими впечатлениями и метриками вроде «полезности», а попыталась формализовать именно ценности, которые проявляются в ответах ИИ.

Ключевые новости:

  1. Anthropic выделила 4 оси ценностей, которые описывают поведение Claude в реальных диалогах и объясняют около 15% вариации в том, как меняется тон и стиль ответов:

    • Уступчивость vs. Осторожность (Deference vs. Caution)
    • Теплота vs. Строгость (Warmth vs. Rigor)
    • Глубина vs. Краткость (Depth vs. Brevity)
    • Откровенность vs. Исполнительность (Candor vs. Execution)
  2. Исследование опирается на 309 815 анонимизированных диалогов с Claude.ai, в которых пользователи задавали субъективные задачи (советы, оценка идей, разбор конфликтов и т.п.).

  3. Anthropic проанализировала 3 307 изначальных “ценностей”, сократила их до 339 укрупнённых категорий, а затем спроецировала всё это в 4 оси с помощью методов снижения размерности.

  4. Сравнили три версии Claude 4:

    • Claude 4 Sonnet 4.6
    • Claude 4 Opus 4.6
    • Claude 4 Opus 4.7
  5. Проанализировали поведение Claude в 20 самых популярных языках на Claude.ai. Среди них — английский, русский, арабский, хинди, индонезийский, португальский, китайский, голландский и другие.

  6. Главные выводы по языкам:

    • Максимальная “теплота” — в хинди и арабском: больше юмора, поддержки, мягких формулировок.
    • Максимальная “строгость и придирчивость” — в английском и русском: больше проверки фактов, уточнений, критики и требований к обоснованию.
    • Больше всего осторожности — в английском, больше всего уступчивости — в арабском.
    • Больше всего откровенности о своих ограничениях — в голландском, а больше “просто сделай задачу” — в индонезийском.
  7. По моделям:

    • Sonnet 4.6 — более тёплый, поддерживающий и уступчивый.
    • Opus 4.6 — более краткий и ориентированный на выполнение запроса.
    • Opus 4.7 — более строгий, осторожный, детальный и откровенный.

Исследование не про новые фичи или апдейты модели. Anthropic показывает, как уже существующие версии Claude 4 реально ведут себя в продакшене, и где пользователи на разных языках получают разный «характер» ИИ.

Как это работает

Anthropic попыталась формализовать то, что обычно описывается как «модель ощущается более доброжелательной/строгой/болтливой». Для этого команда прошла несколько шагов.

1. Сбор и подготовка данных

  • В предыдущей работе Values in the Wild Anthropic выделила 3 307 отдельных ценностей, которые Claude проявляет в ответах (например, «поощрение», «аккуратность», «юмор», «предупреждение о рисках» и т.д.).
  • Эти ценности вручную сгруппировали по смыслу и сократили до 339 укрупнённых категорий.
  • С помощью приватного аналитического инструмента Anthropic отобрала 309 815 диалогов с Claude.ai, где:
    • пользователь ставил субъективную задачу (советы, оценка, моральные дилеммы);
    • данные равномерно распределили по трём моделям: Sonnet 4.6, Opus 4.6, Opus 4.7;
    • для каждой модели взяли примерно по 5 000 диалогов на каждый из 20 языков.

2. Автоматическая разметка ценностей

Anthropic использовала сам Claude как «разметчика»:

  • Для каждого диалога Claude помечал, какие из 339 ценностей присутствуют в его ответах (да/нет по каждой ценности).
  • Параллельно Claude размечал:
    • ценности, которые выражает сам пользователь;
    • тип задачи (совет, креатив, анализ и т.д.);
    • тему разговора.
  • Это важно: исследователи потом контролировали влияние задачи, темы и ценностей пользователя, чтобы не перепутать «характер модели» с тем, что люди просто спрашивают разное на разных языках.

3. Сжатие 339 ценностей в несколько осей

339 ценностей — слишком много, чтобы работать с ними напрямую. Anthropic применяет методы снижения размерности (конкретный алгоритм в приложении к исследованию) и смотрит, какие ценности чаще всего появляются вместе.

Пример:

  • Ответы, которые люди описывают как «тёплые», часто одновременно получают метки «ободряющие», «позитивные».
  • Те же ответы реже получают метки «строгие», «максимально точные».

Из этого строится ось Теплота vs. Строгость:

  • На одном конце — группа ценностей про эмоциональную поддержку, юмор, позитив.
  • На другом — ценности про точность, требовательность к фактам, прозрачность аргументов.

Важно: это не жёсткая дихотомия. Claude может быть одновременно и тёплым, и точным. Но статистически, когда в ответах много ценностей с одной стороны оси, ценности с другой стороной появляются реже.

Аналогично формируются остальные три оси:

  • Уступчивость vs. Осторожность — от «подстраиваюсь под желания пользователя» до «предупреждаю о рисках, даже если меня об этом не просили».
  • Глубина vs. Краткость — от «подробные рассуждения, нюансы, критическое мышление» до «минимум текста, делаю ровно то, что попросили».
  • Откровенность vs. Исполнительность — от «подчёркиваю свои ограничения, неуверенность, ошибки» до «выдаю аккуратный, уверенный ответ, сфокусированный на результате».

4. Профили ценностей для моделей и языков

Дальше Anthropic делает две вещи:

  1. Сравнивает модели между собой:

    • Для каждой модели усредняет положение всех её диалогов по каждой из 4 осей.
    • Получает «профиль ценностей» Sonnet 4.6, Opus 4.6 и Opus 4.7.
  2. Сравнивает языки между собой:

    • Для каждого языка усредняет положение по тем же осям.
    • Смотрит, в каких языках Claude более тёплый, где более строгий, где более осторожный и т.д.

При этом исследователи контролируют:

  • тип задачи,
  • тему разговора,
  • ценности, которые выражает сам пользователь.

Это нужно, чтобы измерять именно систематические сдвиги в поведении Claude, а не разницу в том, о чём и как спрашивают люди на разных языках.

Что это значит для вас

Anthropic показывает: один и тот же Claude 4 ведёт себя по-разному в зависимости от языка и выбранной версии модели. Для русскоязычного пользователя это не абстрактная теория, а вполне практический вопрос: что вы получите на русском, а что — на английском, и какую версию Claude стоит выбирать под задачу.

Ниже — разбор по трём осям, которые особенно важны в реальной работе.

1. Русский и английский: больше строгости и осторожности

По данным Anthropic:

  • На оси Теплота vs. Строгость Claude максимально строг в английском и русском.
  • В этих языках Claude чаще:
    • оспаривает ваши предположения;
    • просит доказательства и уточнения;
    • исправляет детали и указывает на неточности;
    • даёт более критичную обратную связь.

На оси Уступчивость vs. Осторожность:

  • Максимальная осторожность — в английском.
  • Русский тоже попадает в группу языков, где Claude ведёт себя более строго и «профессионально», чем тепло и неформально.

Что это значит на практике:

  • Если вы пишете деловые документы, теханалитику, код-ревью, юридические черновики, русский и английский дают более требовательный и точный тон.
  • Если вы просите жёсткий фидбек на проект, бизнес-план, резюме, английский и русский с большей вероятностью выдадут придирчивый и детальный разбор.
  • Если вы хотите поддержки, мягких формулировок, больше эмпатии, тот же запрос на хинди или арабском даст более тёплый ответ, но, возможно, менее критичный.

2. Модели: какую версию Claude выбирать под задачу

Anthropic сравнила Sonnet 4.6, Opus 4.6 и Opus 4.7. Все три — это линейка Claude 4, но с разным «характером».

Claude 4 Sonnet 4.6

  • На оси Уступчивость vs. Осторожность — сильнее других склоняется к уступчивости.
  • На оси Теплота vs. Строгостьсамый тёплый из тройки:
    • больше юмора и игры;
    • больше поддержки и одобрения идей;
    • меньше жёсткой критики.
  • На оси Глубина vs. Краткость — ближе к краткости, чем Opus 4.7.

Под что подходит:

  • Брейнштормы, креатив, идеи для контента.
  • Разговоры “по душам”, мягкие советы.
  • Поддерживающий тон при обучении, менторстве, лайтовом фидбеке.

Где может быть не лучшим выбором:

  • Там, где вы хотите максимально строгую проверку, критику и раскрытие рисков.

Claude 4 Opus 4.6

  • На оси Глубина vs. Краткостьсамый краткий: чаще всего «сразу к делу».
  • На оси Откровенность vs. Исполнительность — сильнее смещён к исполнительности:
    • меньше говорит о своих ограничениях;
    • чаще просто делает то, что вы просите, в рамках формулировки задачи.

Под что подходит:

  • Чётко сформулированные задачи: написать код, сгенерировать текст, преобразовать данные.
  • Сценарии, где важны скорость и лаконичность, а не философские рассуждения.

Где может быть не лучшим выбором:

  • Там, где вам нужна подробная аргументация, раскрытие логики и честное обсуждение рисков.

Claude 4 Opus 4.7

  • На оси Теплота vs. Строгостьсамый строгий и “академичный”:
    • чаще критикует, оспаривает, уточняет;
    • более жёстко проверяет качество идей и текстов.
  • На оси Уступчивость vs. Осторожностьмаксимально осторожный:
    • выдаёт предупреждения о рисках даже без прямого запроса;
    • сильнее фокусируется на безопасности и предотвращении вреда.
  • На оси Глубина vs. Краткостьближе всех к глубине:
    • чаще показывает ход рассуждений;
    • даёт развёрнутые объяснения.
  • На оси Откровенность vs. Исполнительность — смещён к откровенности:
    • чаще говорит о своих ограничениях;
    • «хеджирует» ответы, указывает на возможную неточность.

Под что подходит:

  • Сложные решения: стратегия, важные бизнес-решения, риск-менеджмент.
  • Глубокий разбор текстов, кода, исследовательских идей.
  • Критический фидбек: «разнеси мой питчдек / бизнес-план / исследование».

Где может раздражать:

  • Если вы хотите простой, уверенный ответ без лишних оговорок.
  • Если вам мешают частые предупреждения и осторожные формулировки.

3. Язык как настройка “характера” Claude

Anthropic показывает, что язык — это фактический “переключатель профиля ценностей”.

Примеры из исследования:

  • Хинди и арабский:
    • больше теплоты: вежливость, юмор, поддержка;
    • больше уступчивости: Claude чаще подстраивается под пользователя.
  • Английский и русский:
    • больше строгости: проверка фактов, уточнения, критика;
    • больше осторожности (особенно в английском): предупреждения о рисках.
  • Голландский:
    • больше откровенности: Claude чаще признаёт ошибки и ограничения.
  • Индонезийский:
    • больше исполнительности: фокус на выполнении задачи, меньше разговоров о собственных лимитациях.

Как этим пользоваться:

  • Если вы хотите максимально критичный и точный разбор — используйте английский или русский, желательно с Opus 4.7.
  • Если вам важнее поддержка и мягкий тон — можно попробовать хинди или арабский (если вы ими владеете). Ответ может быть менее придирчивым, но более эмпатичным.
  • Если вам важно, чтобы ИИ честно говорил о своей неуверенности, голландский будет склонять его к большей откровенности.

4. Где Claude может быть не тем, что вам нужно

Несмотря на все плюсы, у такого поведения есть и обратная сторона:

  • Неоднородность опыта: два человека с одинаковым запросом на разных языках могут получить разный по тону и строгости ответ. Это критично, если вы, например, просите оценить один и тот же бизнес-план на русском и хинди — впечатление от качества идеи может отличаться.
  • Риск “ложной уверенности”: в языках и моделях, где Claude более исполнительный и менее откровенный, пользователь может переоценить надёжность ответа.
  • Переизбыток осторожности: Opus 4.7 в английском может показаться излишне «перестрахованным», если вы ждёте прямого совета.

Если вы принимаете важные решения, лучше:

  • использовать строгий профиль (английский/русский + Opus 4.7);
  • переспрашивать с других формулировок;
  • не полагаться на Claude как на финальный источник истины.

5. Доступность и ограничения для России

Claude доступен через Claude.ai и партнёрские интеграции. Anthropic официально не ориентируется на российский рынок, и доступ к сервису может требовать VPN и иностранный номер/аккаунт, в зависимости от выбранной платформы и текущих ограничений.

Если вы планируете строить на Claude продукт или рабочий процесс, нужно учитывать:

  • возможную зависимость от VPN;
  • юридические и комплаенс-риски использования зарубежного ИИ-сервиса.

Место на рынке

Исследование Anthropic не даёт прямых числовых сравнений с GPT-4o, Gemini или другими моделями по скорости, цене или точности. Вместо этого компания предлагает рамку для описания “характера” ИИ, который уже используется миллионами пользователей.

Что можно зафиксировать по фактам из работы:

  • Anthropic явно делает ставку на формализацию ценностей и поведения Claude в реальных диалогах, а не только на бенчмарки.
  • Линейка Claude 4 внутри сама по себе теперь описана через четыре оси ценностей, а не только через «младшая/старшая модель»:
    • Sonnet 4.6 — теплее и уступчивее;
    • Opus 4.6 — краткий и исполнительный;
    • Opus 4.7 — строгий, осторожный, глубокий и откровенный.
  • По языкам Anthropic показывает, что английский и русский — среди самых строгих и придирчивых, а хинди и арабский — среди самых тёплых.

Для бизнеса и разработчиков это означает:

  • При выборе между Claude и другими ИИ-системами теперь можно учитывать не только точность и цену, но и профиль ценностей.
  • Для глобальных продуктов важно понимать: один и тот же ИИ будет вести себя по-разному для пользователей из разных языковых сообществ.

Anthropic прямо говорит, что планирует:

  • использовать эти оси при оценке новых версий Claude до релиза и после;
  • искать связь между обучающими данными, настройками fine-tuning и сдвигами по осям ценностей;
  • проверять, как эти сдвиги влияют на благополучие, доверие и качество решений пользователей.

Для экосистемы ИИ это шаг к тому, чтобы “характер” модели стал измеряемым параметром, а не просто маркетинговым описанием.

Куда Anthropic двигается дальше

Из работы видно несколько направлений, над которыми Anthropic собирается работать:

  1. Понять, откуда берутся различия:

    • какие части обучающих данных и какие этапы тренировки формируют сдвиги по осям;
    • как на это влияет неравномерность данных по языкам (и по типам текстов: профессиональные, бытовые и т.д.).
  2. Понять, какие различия полезны пользователям, а какие — нет:

    • связать оси ценностей с метриками благополучия, доверия и качества решений пользователей;
    • приоритизировать исправление тех сдвигов, которые реально вредят опыту.
  3. Решить, как именно должны отличаться ценности Claude в разных языках:

    • учесть культурные и языковые нормы общения;
    • понять, чего хотят сами пользователи этих языков.
  4. Исследовать другие факторы, помимо языка и версии модели:

    • возраст, профессия, регион пользователя;
    • стиль общения и темы запросов.
  5. Научиться надёжно управлять ценностями:

    • тестировать, как изменение системных промптов или “характер-тренинга” сдвигает модель по осям;
    • встроить профили ценностей в стандартный процесс оценки и мониторинга моделей.

Для пользователей и компаний главный вывод простой: ИИ уже не только про «насколько он умный», но и про «какие ценности он транслирует». И язык, на котором вы с ним говорите, — одна из ключевых ручек управления этим поведением.


Читайте также