Вы внедрили ИИ. Но как понять, есть ли эффект?

Бизнес активно внедряет генеративный ИИ: автоматизирует поддержку, ускоряет документооборот, генерирует контент. При этом большинство компаний не могут ответить на простой вопрос: окупается ли это вообще? По данным Google Cloud, 74% руководителей сообщают о достижении ROI в первый год, но это опросные данные. Без строгих измерений на уровне конкретного проекта цифра бессмысленна.

Большинство AI‑проектов проваливаются не из‑за технологии, а потому что бизнес не понимает, как измерять результат.

Почему одна метрика не работает

Одна метрика не работает. Нужно смотреть сразу на четыре группы показателей.

Без этих четырёх слоёв решение о масштабировании принимается вслепую.

Четыре метрики, которые работают

Экономия времени. Самая понятная и самая легко фальсифицируемая метрика. Считать нужно так: зафиксировать время на задачу до внедрения, после — сравнить. Важен не только автоматически закрытый запрос, но и время на проверку результата человеком. Без учёта ручного контроля цифра завышена.

«Ренессанс Жизнь» сократила время обработки одного документа с 5–6 минут до 20–30 секунд. «Лемана ПРО» начала публиковать карточки товаров в день появления вместо двухнедельного ожидания, снизив стоимость одной карточки более чем на 95%.

Рост продаж. Выручка выросла — но из‑за ИИ или сезонности? Надёжный способ разделить — A/B‑тест: одна группа получает ответы от ИИ, другая — нет. «Золотое Яблоко» внедрило персонализацию подарочных карт с нейродизайном: конверсия выросла на 5 п. п., средний чек по таким картам оказался на 8% выше классических. Магазин напитков зафиксировал, что 12% заказов пришли после общения с ИИ‑ботом, а письма, сгенерированные с помощью ИИ, дали плюс 70% к конверсии.

Доля галлюцинаций. Иногда модель выдаёт уверенный, но фактически неверный ответ -это называют галлюцинацией. Считается как отношение ошибочных ответов к проверенным. Порог зависит от риска: для интернет‑магазина — одно, для страховой компании или юридического бюро — совсем другое.

Расчет окупаемости

ROI = (Эффект − Затраты) / Затраты

Затраты делятся на два типа:

На практике компании чаще всего недооценивают не стоимость модели, а скрытые операционные расходы: ручную проверку ответов, поддержку промптов, обновление базы знаний, очистку данных и контроль качества. Именно эти издержки часто «съедают» эффект пилота при масштабировании.

Пример для службы поддержки. 12 000 обращений в месяц, среднее время до — 11 минут. После: 25% закрываются автоматически, остальные — за 7 минут. До: 2 200 часов в месяц. После: 1 050 часов. Экономия — 1 150 часов. При стоимости часа 1 200 ₽ — 1,38 млн ₽ в месяц, или 16,6 млн ₽ в год. При CAPEX 4 млн ₽ и OPEX 5,4 млн ₽:

ROI первого года = (16,6 − 4,0 − 5,4) / (4,0 + 5,4) = 76%

Считать нужно три сценария — консервативный, базовый и оптимистичный. Если экономика работает только в оптимистичном сценарии — масштабироваться рано.

Как мониторить качество модели

Модели деградируют: меняются запросы клиентов, обновляется база знаний, смещается поведение пользователей. Без мониторинга это замечают только по жалобам.

Для пилотов подходят бесплатные инструменты — они записывают полный путь каждого запроса (трассировки), сравнивают версии промптов и следят за дрейфом данных: MLflow, Arize Phoenix, Evidently. Для крупных компаний — коммерческие платформы Datadog LLM Observability и LangSmith, которые объединяют скорость, стоимость и качество в одном дашборде.

В первую очередь важно смотреть не на среднее время ответа, а на худшие сценарии.

Например, сколько ждут самые «невезучие» пользователи — 5% и 1% аудитории (p95 и p99). Среднее значение эту проблему часто скрывает.

Также важно следить за:

• стоимостью одного запроса;
• долей эскалаций к оператору;
• динамикой оценки качества ответов (judge‑score).

Пять ошибок, которые убивают ROI

Нет замеров до внедрения. Без них любую цифру эффекта невозможно проверить.

Один показатель вместо системы. «Количество ответов» выглядит как успех даже при росте количества ошибок.

Игнорирование ручной проверки. Если каждый ответ проверяет человек — экономия может оказаться только на бумаге.

Только среднее вместо p95/p99. Если у 5% пользователей ответ ждёт 30 секунд — это плохой продукт.

Чек‑лист перед масштабированием

1. Есть ли первичные замеры?
2. Понятно ли, какая бизнес‑метрика главная?
3. Измеряются ли качество и галлюцинации?
4. Считается ли стоимость запроса и ручной проверки?
5. Настроен ли мониторинг после запуска?