Учёные предлагают определять причинность по тому, какая нейросеть учится быстрее

Что открыли

Исследователи предложили новый способ понять, что является причиной, а что — следствием, глядя не на статистику, а на скорость обучения нейросетей.

Они вводят принцип Causal Computational Asymmetry (CCA). Идея простая: берём две нейросети. Одну учим предсказывать Y по X. Вторую — X по Y. Сравниваем, какая из них выходит на заданное качество быстрее.

Если выполняется модель с аддитивным шумом: (Y = f(X) + \varepsilon), где шум (\varepsilon) не зависит от X, а функция f нелинейная и взаимно однозначная, возникает асимметрия. В «неправильном» направлении остатки предсказаний всегда статистически связаны с входом. Даже если нейросеть очень хорошо аппроксимирует функцию.

Это даёт два эффекта: во-первых, в обратном направлении всегда выше минимально достижимый лосс. Во-вторых, градиенты во время обучения более «шумные» и плохо разделимы. В итоге модель, которая пытается предсказать причину по следствию, в среднем требует строго больше шагов градиентного спуска, чтобы достичь любого фиксированного порога ошибки. А «правильная» причинная сторона сходится быстрее.

На синтетических бенчмарках CCA правильно определила направление причинности в 26 из 30 случаев, проверенных на шести разных архитектурах нейросетей. Для данных, сгенерированных синусом и экспонентой, метод попал 30 из 30 раз.

Авторы подчёркивают важную деталь: чтобы честно сравнивать скорость сходимости, нужно корректно z-нормировать обе переменные.

Как исследовали

Работа вышла на arXiv в разделе cs.LG под номером 2602.22254v1.

Исследователи проверяли CCA на синтетических датасетах, где они точно знают, что является причиной, а что — следствием. Они генерировали пары X и Y по формуле (Y = f(X) + \varepsilon) с разными нелинейными функциями f, включая синус и экспоненту.

Для каждой такой зависимости они обучали две нейросети: одну на задачу Y из X, вторую — X из Y. Так они оценивали, сколько шагов градиентного спуска в среднем нужно, чтобы обе сети дошли до одного и того же уровня лосса.

Эксперимент повторяли на шести архитектурах нейросетей. В сумме получили 30 конфигураций задач. Из них 26 раз метод правильно указал направление причинности. На подмножестве с синусом и экспонентой — идеальный результат 30 из 30.

Помимо CCA, авторы описали более широкий фреймворк Causal Compression Learning (CCL). Он объединяет три задачи: обучение структуры причинного графа, «сжатие» причинной информации и оптимизацию политики. Для всех заявленных гарантий они приводят математические доказательства и проверки на синтетических данных.

Что это меняет на практике

Классические методы причинного вывода — RESIT, IGCI, SkewScore — смотрят на статистическую независимость и асимметрии в распределениях. CCA делает ставку на динамику оптимизации: кто учится быстрее, тот и ближе к истинной причинности.

Это удобно там, где вы уже запускаете тяжёлое обучение нейросетей. Например, в рекомендательных системах, моделях спроса, системах ценообразования. Вместо того чтобы долго и сложно тестировать статистические критерии, вы можете обучить две версии модели и сравнить их по числу шагов до нужного качества.

Есть и минусы. Метод опирается на конкретные предположения: аддитивный шум, независимость шума от причины, нелинейность и инъективность функции. В реальных данных это часто нарушается. Плюс нужно аккуратно нормировать данные: без правильного z-скора сравнение скоростей может стать бессмысленным.

CCL как общий фреймворк интересен для тех, кто строит end-to-end системы: от оценки причинных связей до выбора действий. Например, в рекламе, медицине, управлении роботами. Но пока это в основном теоретическая конструкция, проверенная на синтетике.

До интеграции в массовые продукты уровня Google Ads или Meta Ads Manager ещё далеко. Сначала метод нужно обкатать на реальных датасетах, понять, как он ведёт себя при нарушении предположений, и упаковать в удобные библиотеки.

Что это значит для вас

Если вы работаете с машинным обучением и уже используете PyTorch или JAX, CCA — это потенциальный дополнительный тест на причинность прямо поверх вашего тренировочного цикла. Вам не нужно менять архитектуру модели, вы просто запускаете два обучения и сравниваете траектории лосса.

Если вы дата-сайентист в продуктовой компании и строите причинно-ориентированные модели для A/B‑тестов, uplift‑моделинга или оптимизации цен, метод может помочь проверить гипотезы о направлении влияния между признаками. Но полагаться только на него рискованно: лучше рассматривать CCA как ещё один сигнал в наборе, а не как окончательный арбитр.

Если вы просто пользуетесь сервисами, где под капотом работают нейросети — от TikTok до Spotify, — для вас это скорее долгосрочная история. Подобные методы могут со временем сделать рекомендации и персонализацию более устойчивыми: алгоритмы будут лучше различать, что действительно влияет на поведение, а что лишь с ним коррелирует.

Пока же CCA и CCL — инструменты для исследователей и инженеров, которые не боятся математики и любят смотреть не только на качество модели, но и на сам процесс её обучения.