Как повысить эффективность и масштабировать контроль качества. Кейс Aiston × Ленремонт

Контроль и оценка качества относится к тем процессам, которые плохо масштабируются линейно. Он упирается в человеческие ограничения и в то, что сам процесс исторически построен вокруг ручной работы — прослушивания, интерпретации и субъективной оценки.

Например, чтобы обработать больше заказов, вы можете нанять ещё одного менеджера — и объём увеличится почти пропорционально.

Но повысить эффективность контроля качества так не получится: один аналитик всё равно способен прослушать лишь ограниченное количество звонков. И даже если нанять второго или третьего, процесс не станет быстрее или объективнее.

Поэтому со временем бизнес‑процесс превращается в формальность, которая не помогает искать проблемы, а размножает их за счёт того, что просто съедает ФОТ.

18 тысяч звонков в день, 10 человек в отделе контроля качества и выборочная прослушка

Именно такие вводные данные были у компании «Ленремонт» — федерального сервиса по ремонту бытовой техники.

Для сервисной компании звонки — это фактически часть продукта; то, что формирует ожидание, продаёт услугу, объясняет условия и удерживает клиента до визита мастера.

В такой ситуации анализ фактически терял смысл:

• проверялась малая часть, а решения о стандартах, обучении и сервисе принимались для всех 100%;
• компания не видела настоящих паттернов, не понимала, где теряются клиенты;
• сотрудники контроля качества застревали в ручной рутине, при том что поток обращений только продолжал расти.

Как масштабировать и оптимизировать контроль качества

Вариант 1. Нанять больше сотрудников. Если масштабировать ручную оценку, штат ОКК пришлось бы увеличивать примерно в 10 раз (вместо 10 человек — около сотни).

Это десятки новых сотрудников и их адаптация; постоянный ФОТ, который растёт пропорционально численности и так далее. При этом процесс всё равно остался бы ручным, медленным и субъективным. Поэтому оптимизировать процесс за счет расширения отдела контроля качества в колл‑центре было бессмысленно.

Вариант 2. Сократить критерии и упростить оценку. Так иногда делают: оставляют 3–5 пунктов и слушают быстрее. Но вместе со скоростью исчезает смысл: процесс превращается в поверхностную оценку, которая показывает только следствия.

Вариант 3. Автоматизировать процесс. Перейти от выборочной ручной оценки к полному автоматическому контролю качества разговоров по единым правилам. Мы в Aiston предложили разработать систему речевой аналитики на основе искусственного интеллекта.

Люди при этом не заменяются — они просто перестают тратить время на рутину и могут заниматься тем, что реально влияет на качество сервиса и выручку.

На чём строится автоматизированный контроль качества

Чтобы создать рабочую систему речевой аналитики на основе искусственного интеллекта и повысить эффективность контроля и оценки качества, недостаточно просто расшифровать звонок и закинуть его в нейросеть. Получится какой‑то текст, разный от модели к модели, и который сам по себе ни о чём не говорит.

Вот что нужно на самом деле.

Первое — нормальная система оценки. То есть рамки и правила, по которым можно отличить хороший разговор от плохого, что считать ошибкой, а что считать допустимым отклонением.

Если критерии внутри компании расплывчатые или трактуются по‑разному, модель будет давать такие же размытые оценки. Например, оператор сказал фразу «мастер приедет сегодня вечером». Это нарушение или нет? Считается ли «вечер» допустимой формулировкой, или нужно озвучивать конкретный слот?

То же самое с длинными паузами, обсуждением цены, попытками удержать клиента, уточняющими вопросами, эмпатией и т.п.

Для ИИ разницы нет, пока правила не заданы — он не понимает, что есть ошибка в контроле качества. Поэтому сначала нужно привести методику к структуре, понятной как людям, так и алгоритмам.

Второе — нормальные данные. Чтобы анализ имел смысл, нужно не только аудио, но и контекст: кто говорит (клиент/оператор/мастер), к какой заявке привязан звонок, чем всё закончилось (заявка, отказ, повторный звонок).

Если данные шумные и разметка хаотичная, модель будет путать роли, не видеть связи между разговором и результатом.

Многие недооценивают этот блок, но в реальности промпт‑инжиниринг — это большая работа. Особенно для такой системы автоматического контроля качества: здесь миллион нюансов, а результат (то есть формат вывода) должен быть одинаковым каждый раз. Поэтому последовательный сценарий работы для модели должен быть зафиксирован.

Отдельная история — выбор модели. Их много, но все они пока на раннем уровне развития. Каждая со своими особенностями и ошибками, и если выбрать неправильно — ИИ‑система будет сбоить.

Поэтому мы провели внутреннее исследование: протестировали несколько моделей на реальных диалогах, сравнили стабильность, точность интерпретации и скорость. По итогу собрали оптимальный пайплайн (последовательность) из 3х моделей, в котором каждая отвечает строго за свой этап — от транскрибации до смыслового анализа.

И всё это — ключевая часть работы, помимо прямого программирования и проектирования интерфейсов.

Маршрут каждого звонка внутри ИИ‑системы

Далее звонок попадает в полностью выстроенный процесс. Вот, как система обрабатывает каждый звонок.

Звонок попадает из корпоративной телефонии. Телефония автоматически передаёт в систему аудиозапись и метаданные: кто звонил, кому, по какой заявке, какой сотрудник отвечал, чем закончился контакт.

Система классифицирует тип диалога. Перед анализом система речевой аналитики определяет, что это за разговор. У «Ленремонта» четыре типа коммуникаций:

• диспетчер принимает заявку;
• мастер уточняет детали перед выездом;
• отдел контроля качества звонит после оказания услуги;
• телемаркетинг работает с исходящими предложениями.

Каждый тип — это разные показатели контроля качества и разная логика разговора. Например, нельзя оценивать мастера по критериям диспетчера, а ОКК — по критериям телемаркетинга.

Расшифровка речи, подготовка текста, диаризация. Дальше включается первая модель, WhisperX, — она переводит аудио в текст с таймкодами. Важно получить структурированный текст для последующего анализа, а не полотно букв. То есть определить:

• где начинается и заканчивается каждая реплика;
• как они идут по времени;
• не слиплись ли фразы.

Вторая нейросеть (Pyannote.audio) определяет роли, чтобы понимать, что и как оценивать.

Смысловой анализ по критериям конкретного типа диалога. Третья модель получает уже чистый подготовленный текст и оценивает разговор по правилам, которые мы разработали для каждой роли.

Оценивается всё, что влияет на сервис:

• структура разговора;
• корректность формулировок;
• соблюдение стандартов;
• ошибки;
• поведение оператора;
• реакция клиента.

При этом система проводит глубокую аналитику, то есть видит реальные риски для бизнеса — моменты, когда компания теряет клиента, деньги или доверие. Например, клиент отменяет выезд мастера, а оператор просто ее отменяет. Это явно неотработанная причина отмены и потерянная заявка.

В потоке ручной и выборочной прослушки такие ситуации просто терялись. Система же всё фиксирует автоматически, без ручной прослушки, и для каждого звонка.

Формирование итоговой карточки разговора. На основе анализа система собирает единый результат:

• итоговая оценка разговора и конкретного оператора;
• тема звонка и его краткое содержание;
• расшифровка;
• поведенческие сигналы (жалоба, конфликт, перенос);
• привязка к заявке;
• список соответствия критериям;
• аналитика по каждому звонку.

В интерфейсе всё отображается так, чтобы сотрудник ОКК тратил секунды на понимание того, что произошло.

Например, он может отфильтровать звонки по типам ошибок, посмотреть динамику качества по конкретному сотруднику или открыть срез по заявкам — каждый раздел собран отдельно и показывает только нужные данные. Это значительно повышает эффективность работы отдела контроля качества.

Не всё так просто, или про сложности разработки

В процессе разработки системы мы сталкивались с несколькими трудностями.

Во‑первых, быстро выяснилось, что версия методики оценки заказчика, с которой мы стартовали, не подошла вовсе: одни и те же правила трактовались по‑разному. Пришлось переписывать её почти полностью и собирать новую структуру.

Во‑вторых, в технической части модели прекрасно работали на тестовых примерах, но на живых звонках резко проседали. Мы несколько раз перестраивали пайплайн, меняли модели транскрибации и диаризации, корректировали промпты, пока система не начала стабильно выдавать одинаковый результат.

Значительная часть работы была направлена на то, чтобы заставить все элементы — методику, модели, данные и интерфейс — работать одинаково хорошо на реальном, а не идеальном потоке.

В‑третьих, команде нужно было время, чтобы доверять системе. Автоматическая оценка сломала привычную логику работы. Чтобы в неё поверить, мы вместе с командой прошли этап ручных сверок и корректировок. Это снизило сопротивление и позволило встроить систему в процесс без конфликта.

Контроль качества вырос с 10% до 99%, нагрузка на отдел снизилась в 8–10 раз

После внедрения системы компания может автоматически оценивать и анализировать все звонки. При этом, время разбора одного разговора сократилось примерно на 70%.

Главное — решение помогло улучшить и изменить устройство самого процесса контроля качества и распределения ресурсов.

Инвестиции остаются внутри компании. Система не привязана к вендору и не требует постоянной подписки. Масштабирование контроля качества происходит за счёт технологий, которые работают 24/7 и не зависят от человеческой выработки.

Ручной анализ каждого звонка больше не имеет смысла. Человеку больше не нужно слушать весь поток звонков в принципе. Специалисты могут работать только с теми, где есть отклонения или риск. Это переход с операционки к управленческим задачам.

Контроль качества наконец масштабируется. Объём звонков может расти в два, пять или десять раз. И небольшой команды, которая разбирает реальные проблемы, становится вполне достаточно для управляемого бизнес‑процесса.

Пять важных инсайтов, которые подходят любому бизнесу

Работая над проектом, увидели, что проблемы, с которыми сталкивался «Ленремонт», типичны для большинства компаний, где есть поток обращений, живая коммуникация и сильная зависимость от человеческого фактора. Ниже — пять практических инсайтов:

Пока процесс завязан на ручной работе — он ограничен человеческим временем и вниманием. Массовые процессы трудно закрывать полностью. Это особенно видно в крупных компаниях, где тысячи сотрудников, которых нужно оценивать, помогать в развитии и слушать, перенанимать, развивать. Всё оказывается в зависимости от человеческой выработки.

Поэтому первым делом автоматизируйте процессы, где объём растёт быстрее, чем команда.

Ошибки, пропущенные из‑за ограничений ручной проверки, всегда обходятся дороже, чем автоматизация. Система автоматизации — это разовая инвестиция, которая остаётся внутри компании и масштабируется вместе с процессами. Если её нет, начинают накапливаться тихие потери (потерянные заявки, ушедшие клиенты), которые влияют на конверсию, стоимость привлечения и LTV.

Поэтому оценивайте не стоимость автоматизации, а стоимость инвестиций и невидимых ошибок.

Автоматизация и ИИ не заменяют экспертов, но освобождают ресурсы для глубокого анализа, обучения и работы с причинами. Когда нейросеть закрывает рутину, специалисты перестают тратить часы на ручные и рутинные операции. Внимание переключается на работу с причинами, а не следствиями.

Автоматизируйте базовые операции, чтобы эксперты могли заниматься тем, что меняет бизнес.

Без чётких правил внутри компании ИИ не спасёт. ИИ сам по себе не придумывает правила и стандарты — он воспроизводит то, что ему задают. Поэтому если у компании нет нормальных процессов или есть скрытые противоречия в правилах, то масштабироваться будет именно это.