# Проверьте ИИ на реальной задаче разработки

Возьмите одну задачу и сравните работу с ИИ и без него. Что замерить, кто проверяет результат и когда эксперимент пора остановить.

## Возьмите задачу из обычной разработки

Возьмите работу, которую команда и так должна выполнить: небольшое изменение кода, исправление тестов, часть миграции, проверку кода или обновление документации к разработке. Принимать результат должен тот, кто обычно за это отвечает.

Не подгоняйте задачу под сильные стороны инструмента. Пусть в пилоте будут те же неполные сведения, неаккуратные исходные данные и нагрузка на проверяющих, с которыми команда сталкивается каждый день.

## Договоритесь об условиях до первого запуска

Опишите рядом текущий и новый процесс. Что делает ИИ, какие данные ему доступны, кто проверяет результат? Отдельно запишите, что в этот эксперимент не входит.

Выберите показатели, которые команда действительно сможет собрать до изменений. Это может быть время ожидания, трудозатраты на проверку, переделки, дефекты после приёмки или доля задач, принятых с первого раза. Если данных нет, не делайте вид, что исходный уровень известен.

- Один тип задач и назначенный ответственный
- Одинаковые требования к результату при работе с ИИ и без него
- Инструкции и контекст с сохранённой историей версий
- Явные ограничения доступа к данным, требования безопасности и правила проверки человеком
- Условие остановки, если страдает качество, растёт риск или нарушается работа команды

[Как организовать контроль разработки с ИИ](/ru/problems/ai-engineering-control/)

## Сохраняйте и удачные, и неудачные попытки

Сохраняйте инструкции и использованный контекст, версии модели и инструментов. К ним добавляйте правки проверяющего, сбои, повторные попытки, нестандартные ситуации и принятый результат. Неудачные попытки тоже нужны: часто они объясняют больше, чем аккуратный финал.

Не меняйте сразу несколько частей разработки. Если одновременно заменить процесс, модель, состав команды и правила приёмки, вы не поймёте, какое изменение повлияло на результат.

## Проверьте, что изменилось в работе

Сравните работу с ИИ и без него. Сократилось ли ожидание? Стало ли у проверяющих больше времени на оценку решения, или они по-прежнему собирают контекст по кусочкам? Переделки обнаруживаются раньше, исчезли совсем или просто выглядят иначе? Зафиксируйте и новые очереди, и дополнительную проверку, если они появились из-за ИИ.

Неоднозначный результат тоже полезен. Возможно, ИИ стоит поручить меньше, дать ему более полный контекст или изменить порядок проверки. Возможно, пора остановиться. Если скрыть случаи, в которых подход не сработал, принимать это решение всё равно придётся, только позже.

## Решите, что делать дальше

Определите, кто отвечает за следующий этап и что в него входит. Если эффект сохраняется, а меры контроля не слишком затратны, расширяйте пилот по одному параметру. Если данных мало, измените процесс и сравните ещё раз. Если затраты просто переместились на другой этап или риск неприемлем, остановитесь.

Если процесс стоит менять, но нужен внешний руководитель, который поможет спланировать и провести эту работу, для этого есть Activation Sprint.

[Посмотреть, как устроен Activation Sprint](/ru/activation-sprint/)

## Следующий шаг

[Описать процесс и приложить доступные данные](https://t.me/aleque)