Заметки / практическое руководство
Проверьте ИИ на реальной задаче разработки
Возьмите одну задачу и сравните работу с ИИ и без него. Что замерить, кто проверяет результат и когда эксперимент пора остановить.
Полезный пилот меняет один рабочий процесс в обычных условиях разработки. После него должны остаться данные, по которым можно решить, продолжать или остановиться.
Возьмите задачу из обычной разработки
Возьмите работу, которую команда и так должна выполнить: небольшое изменение кода, исправление тестов, часть миграции, проверку кода или обновление документации к разработке. Принимать результат должен тот, кто обычно за это отвечает.
Не подгоняйте задачу под сильные стороны инструмента. Пусть в пилоте будут те же неполные сведения, неаккуратные исходные данные и нагрузка на проверяющих, с которыми команда сталкивается каждый день.
Договоритесь об условиях до первого запуска
Опишите рядом текущий и новый процесс. Что делает ИИ, какие данные ему доступны, кто проверяет результат? Отдельно запишите, что в этот эксперимент не входит.
Выберите показатели, которые команда действительно сможет собрать до изменений. Это может быть время ожидания, трудозатраты на проверку, переделки, дефекты после приёмки или доля задач, принятых с первого раза. Если данных нет, не делайте вид, что исходный уровень известен.
- Один тип задач и назначенный ответственный
- Одинаковые требования к результату при работе с ИИ и без него
- Инструкции и контекст с сохранённой историей версий
- Явные ограничения доступа к данным, требования безопасности и правила проверки человеком
- Условие остановки, если страдает качество, растёт риск или нарушается работа команды
Сохраняйте и удачные, и неудачные попытки
Сохраняйте инструкции и использованный контекст, версии модели и инструментов. К ним добавляйте правки проверяющего, сбои, повторные попытки, нестандартные ситуации и принятый результат. Неудачные попытки тоже нужны: часто они объясняют больше, чем аккуратный финал.
Не меняйте сразу несколько частей разработки. Если одновременно заменить процесс, модель, состав команды и правила приёмки, вы не поймёте, какое изменение повлияло на результат.
Проверьте, что изменилось в работе
Сравните работу с ИИ и без него. Сократилось ли ожидание? Стало ли у проверяющих больше времени на оценку решения, или они по-прежнему собирают контекст по кусочкам? Переделки обнаруживаются раньше, исчезли совсем или просто выглядят иначе? Зафиксируйте и новые очереди, и дополнительную проверку, если они появились из-за ИИ.
Неоднозначный результат тоже полезен. Возможно, ИИ стоит поручить меньше, дать ему более полный контекст или изменить порядок проверки. Возможно, пора остановиться. Если скрыть случаи, в которых подход не сработал, принимать это решение всё равно придётся, только позже.
Решите, что делать дальше
Определите, кто отвечает за следующий этап и что в него входит. Если эффект сохраняется, а меры контроля не слишком затратны, расширяйте пилот по одному параметру. Если данных мало, измените процесс и сравните ещё раз. Если затраты просто переместились на другой этап или риск неприемлем, остановитесь.
Если процесс стоит менять, но нужен внешний руководитель, который поможет спланировать и провести эту работу, для этого есть Activation Sprint.