Как отличить реальный эффект ИИ‑инструмента от красивой презентации

Руководитель кивает, сохраняет презентацию, а через полгода уже не может вспомнить, с чем именно сравнивали эти проценты и на каких задачах они получены. Разбираем, как вендор AI Council проверил собственные цифры так же строго, как советует проверять чужие, и какие из этих вопросов можно использовать при оценке любого ИИ‑инструмента.

Когда бизнес сталкивается с этой проблемой

Проблема становится ощутимой не сразу, а спустя месяцы: компания уже купила лицензию, подключила команду и не может ответить на простой вопрос, действительно ли инструмент ускорил работу или просто изменилось ощущение от процесса. Разница между этими двумя состояниями видна не сходу, поэтому проверять цифры стоит до внедрения, а не после.

Три признака, что перед вами презентация, а не результат

Прежде чем разбирать, как проверять чужие цифры, стоит назвать то, что на рынке ИИ‑инструментов для разработки повторяется чаще всего.

Первый признак — демо на подготовленных данных: все эффектно работает на чистом тестовом примере и ведет себя иначе на реальном проде с legacy‑кодом, недописанной документацией и историческими костылями.

Второй — vanity‑метрика вместо бизнес‑метрики: формулировки вроде «пользователям нравится» звучат хорошо, но не отвечают на вопрос, что это дало бизнесу — деньги, срок или снижение риска.

Третий — единичный удачный кейс, поданный как системный результат: один показательный проект еще не значит, что паттерн воспроизводим.

Что стоит за цифрами AI Council

На сайте AI Council указаны цифры: ускорение разработки на 30%, экономия токенов на 40%, кратность до 2,5 раза на отдельных задачах. Прежде чем выносить эти цифры в статью, команда решила проверить их тем же способом, каким советует проверять чужие обещания.

С чем сравнивали. Одинаковые задачи запускали в двух режимах — просто с базовой моделью и с моделью, подключенной к AI Council. Это сравнение с работой без слоя контекста и знаний, а не с разработкой без ИИ вообще, и путать эти два сравнения не стоит.

Кто измерял. Независимый инженер, привлеченный по запросу компании, а не сертифицированный аудит с воспроизводимой методологией, в AI Council это прямо признают.

На каком объеме. Около двух месяцев активного использования на трех проектах, в каждом по несколько разработчиков.

Что означает кратность 2,5 раза. Это разовые показательные примеры на конкретных задачах, а не средний показатель. Средний эффект по скорости сильно зависит от задачи и составляет около полутора раз. Если вендор показывает только пиковую цифру без среднего значения — это и есть первый из трех признаков презентации, а не результата.

Три случая вместо одной презентации

Вместо одного эффектного примера в AI Council собрали три анонимизированных кейса из разных отраслей, и в каждом метрику выбирал сам клиент, а не получал ее готовой от вендора.

Компания из сферы недвижимости с командой из 11 сотрудников перевела проект с десятилетней историей на новый стек и уложилась меньше чем в год. Финансовая компания с командой из 6 человек ускорила подключение новых источников данных к корпоративному хранилищу данных.

Производитель станков с командой из 5 разработчиков снизил число обращений в поддержку, которые раньше шли напрямую разработчику. Ни одна из этих метрик не про удобство или удовлетворенность, все три считаются в деньгах, сроках или нагрузке на команду, и именно поэтому их сложнее подделать презентацией.

Что говорят те, кто работает с инструментом каждый день

В AI Council намеренно разделяют два источника отзывов и не сводят их к обезличенному «пользователям нравится». Один голос — из собственной команды, которая тестирует продукт на себе: тестировщик отмечает, что инструмент помогает определить, как работает система в крайних ситуациях, и не дает упустить нюансы задачи.

Два других голоса — от специалистов на стороне клиентов. Senior‑разработчик рассказывает, что время на кодревью сократилось примерно вдвое, поскольку автоматическая проверка на выполнение требований сразу дает комментарии junior‑специалистам, а на него самого остаются только архитектурные вопросы.

Где это работает, а где нет

В AI Council объясняют и выбор метрик — почему именно скорость и экономия токенов, а не более эффектный «процент довольных пользователей». Конечному пользователю все равно, как устроена система изнутри, если она работает, а объяснить бизнесу метрики качества кода — отдельная сложная задача.

Зато дешевле и быстрее становится поддержка проекта, и проще при необходимости добавить в команду нового сотрудника или сменить подрядчика, потому что архитектура и другие детали проекта не заперты в голове одного человека.

Что не подтвердилось с первого раза

Разработка с ИИ — это постоянные гипотезы, ошибки и корректировки, и часть из них команда прошла на себе. Например, на длинных диалогах пришлось отдельно решать проблему сжатия контекста, потому что модель может забывать инструкции, заданные в начале.

Это не готовое решение, а иллюстрация того, что даже у самого вендора первая гипотеза не всегда подтверждается сразу, и это нормальная часть процесса, а не то, что стоит скрывать.

Какие вопросы можно задать любому поставщику ИИ‑решения

Чтобы понять, стоит ли доверять цифрам конкретного вендора, полезно получить честные ответы на несколько вопросов:

1. С чем сравнивали цифры — с ручной работой, с другим ИИ‑инструментом или с предыдущей версией продукта.
2. Кто измерял результат — сам вендор или независимая сторона, и был ли это полноценный аудит или разовая проверка.
3. На каком объеме и за какой период получены цифры — это системный паттерн или один удачный пример.
4. Это бизнес‑метрика, которую заказчик выбрал сам, или красивая цифра для презентации.
5. И последнее — что не сработало или было скорректировано в процессе: если вендор не может ответить на этот вопрос, скорее всего, он ничего всерьез не проверял.

Если поставщик уверенно отвечает хотя бы на три из этих пяти вопросов — перед вами, вероятно, результат. Если нет ответа ни на один — перед вами презентация.