- Дата публикации
Идеальный CLAUDE.md оказался контрпродуктивным: исследование ETH Zurich показало, как контекстные файлы ухудшают работу AI-агентов
Что открыли
Учёные из ETH Zurich обнаружили, что добавление в проект подробного контекстного файла (например, CLAUDE.md или AGENTS.md) может не помочь, а навредить. Анализ 5694 pull request'ов из 138 Python-репозиториев показал, что такие файлы, сгенерированные ИИ, снижают успешность выполнения задач (success rate) на 3% и увеличивают стоимость вычислений (inference cost) на 20%. Даже написанные вручную файлы дают лишь 4% прироста успешности, но требуют переплаты в 19%.
Как исследовали
Команда из ETH Zurich и LogicStar.ai использовала четыре модели: Claude Sonnet 4.5, Codex GPT-5.2, GPT-5.1 Mini и Qwen3-30B. Тестирование проходило в двух сценариях: на стандартном SWE-Bench Lite с задачами, сгенерированными LLM, и на собственном AgentBench с реальными задачами из нишевых репозиториев. Ключевой вывод: описания структуры проекта и обзоры директорий оказались бесполезными — агенты всё равно использовали собственные инструменты поиска (grep, glob).
Что это меняет на практике
Это исследование ставит под сомнение целесообразность создания объёмных контекстных файлов для AI-агентов. Разработчикам стоит пересмотреть их содержание. Как советует Addy Osmani: если агент может узнать информацию, прочитав код самостоятельно, её не нужно дублировать. Инструкции, которые не являются критичными для конкретной задачи (например, «всегда запускай тесты»), могут заставить агента выполнять лишние действия, увеличивая время и стоимость работы.
Что это значит для вас
Если вы используете AI-агентов для разработки, стоит провести аудит ваших контекстных файлов. Уберите из них очевидные вещи вроде списка технологий (они видны из pyproject.toml) и описания архитектуры (агент найдёт это сам). Сосредоточьтесь на специфичных для проекта нюансах, которые действительно нельзя вывести из кода. Помните, что модели вроде GPT-5.1 Mini склонны многократно перечитывать контекст, тратя дополнительные токены. Оптимизация этих файлов может сэкономить ваши деньги и повысить эффективность работы с инструментами от Anthropic, OpenAI и других вендоров.