AutoCog: GPT‑4 сам готовит ML‑репозиторий к запуску в Docker

Что появилось / что изменилось

Replicate представила AutoCog — надстройку над Cog, которая почти полностью автоматизирует упаковку ML‑репозитория в Docker‑образ.

Cog и раньше умел собирать образ по минимальному количеству кода‑обвязки. AutoCog снимает и этот слой: GPT‑4 сам пишет нужные файлы, запускает их и пытается исправлять ошибки.

Что конкретно умеет AutoCog:

• Берёт на вход репозиторий с машинным обучением.
• Анализирует файлы и README.
• Генерирует два ключевых файла для Cog: cog.yaml и predict.py.
• Формирует команду cog predict для запуска инференса.
• Запускает эту команду и при падении сам пытается исправить:
  • cog.yaml,
  • predict.py,
  • или саму команду.
• Повторяет цикл диагностики и исправлений до 5 раз.

AutoCog работает поверх GPT‑4, который сейчас принимает до 8096 токенов в контекст. Из‑за этого AutoCog заранее сортирует файлы по важности и обрезает «хвост», который не помещается в окно контекста.

Установить AutoCog можно из PyPI, а подробная документация лежит в репозитории GitHub andreasjansson/AutoCog.

Как это работает

Под капотом AutoCog — цепочка промптов к GPT‑4 и вспомогательный код, который разбирает ответы модели и запускает их в бою.

Схема работы:

1. AutoCog получает путь к ML‑репозиторию.
2. Сканирует структуру файлов, читает README.
3. Отправляет в GPT‑4 промпт: нужно упорядочить файлы по релевантности для инференса и сборки предсказательной модели в Cog.
   • Пример формата ответа:

     most_relevant.py
     second_most_relevant.py
     ...
     least_relevant.py
     

4. Берёт верхнюю часть списка, пока суммарный объём текста не укладывается в ~8096 токенов.
5. Скормливает эти файлы GPT‑4 с задачей: сгенерировать cog.yaml и predict.py.
6. На основе сгенерированных файлов формирует и запускает команду cog predict.
7. Если запуск падает, AutoCog анализирует ошибку и снова обращается к GPT‑4 с запросом на правку конфигурации, кода или команды.
8. Повторяет шаги диагностики и исправления до пяти итераций.

Автор AutoCog описывает процесс разработки как «микроменеджмент программиста с отличными скиллами кода, но слабым здравым смыслом». Задача — нарезать большую цель на мелкие подзадачи, где GPT‑4 реально справляется.

Что это значит для вас

AutoCog полезен, если вы:

• Регулярно оборачиваете ML‑модели в продакшн через Docker.
• Используете Cog или планируете его внедрить.
• Не хотите тратить время на ручное написание cog.yaml и обвязки для инференса.

Где AutoCog помогает:

• Быстрый прототипинг: можно взять чужой GitHub‑репозиторий с моделью и за несколько итераций получить рабочий cog predict.
• Онбординг в Cog: вместо чтения всей документации сначала даёте поработать AutoCog, а потом допиливаете конфиг руками.
• Рутинные задачи: обновили код модели — AutoCog снова собирает конфиг и проверяет, что всё запускается.

Где могут быть проблемы:

• GPT‑4 не всегда угадывает точные версии Python‑пакетов. Иногда AutoCog уходит в «дурную ветку» правок, которая только ломает окружение.
• Ограничение в 8096 токенов: большие репозитории с кучей Python‑файлов попадают в контекст не полностью, важные детали могут потеряться.
• Автоматические попытки ограничены пятью циклами. Если за это время конфиг не взлетел, придётся вмешиваться.

Для таких случаев есть режим человека в контуре: вы можете прервать AutoCog (Ctrl‑C), поправить код или cog.yaml вручную и запустить AutoCog с флагом --continue. Инструмент попробует продолжить с учётом ваших правок.

AutoCog не завязан на российские сервисы. Доступ к GPT‑4 в России официально ограничен, поэтому для реальной работы могут понадобиться VPN и зарубежный аккаунт, либо прокси‑доступ к GPT‑4 через сторонних провайдеров.

Место на рынке

AutoCog живёт в довольно узкой нише: автоматизация упаковки ML‑моделей в Docker через Cog. Прямых аналогов с тем же фокусом почти нет.

Если сравнивать по типу задач:

• Auto‑GPT и BabyAGI — это общие «агенты», которые могут писать код и запускать его, но не заточены под специфику Cog и формат cog.yaml.
• AutoCog — специализированный инструмент, который знает, какие файлы нужны Cog, как должен выглядеть predict.py, и сразу формирует команду cog predict.

По «скорости» или стоимости запросов к GPT‑4 AutoCog ничем не отличается от любого другого инструмента на GPT‑4: он просто делает больше последовательных вызовов. Конкретных цифр по времени сборки или расходу токенов автор не приводит.

Если вы уже используете Cog, альтернативы уровня «поставил пакет из PyPI и он сам пишет cog.yaml» сейчас по сути нет. Если же вы работаете с другими пайплайнами деплоя (например, собственные Dockerfile или BentoML), AutoCog напрямую не поможет: он жёстко привязан к экосистеме Cog и логике Replicate.