Открытый диалог про ИИ: как мы сократили расходы на 40% при росте обращений на 25%
В мае 2024 года в Битрикс24 появился новичок ー Марта AI, сотрудница поддержки с искусственным интеллектом, которую спроектировали и обучили сами инженеры поддержки. Рассказываем, с каким успехом Марта AI справляется со своими задачами и как мотивирует команду развиваться.
Точка А
В месяц в службу поддержки компании поступает примерно 50 000 обращений (рост 25% г/г). До появления Марты AI их обрабатывали 110 сотрудников на трёх классических линиях — консультировании в чатах и двух технических. Такая система работала стабильно и качественно в среднем, но был и ряд проблем:
- Из поддержки люди быстро вырастают: сложно найти отдел внутри компании, где не было бы нескольких бывших сотрудников Льва. Поиск и обучение новых кадров — постоянная утечка времени и ресурсов руководителей и HR отдела.
- В работе поддержки есть сезонность (2 релиза в год), когда рук катастрофически не хватает на всех. Среднее время ответа в такие моменты существенно проседало.
- Стоимость решения одного обращения давно перевалила за 500 рублей и это только на первой линии.
Руководители направления вовремя поняли, что дальнейшее масштабирование службы только людскими ресурсами будет только усугублять проблематику. Решено было призвать на помощь искусственный интеллект.
Бесплатная рассылка: как использовать ИИ в бизнесе
Узнайте, как писать эффективные промпты, создавать ИИ‑агентов для решения бизнес‑задач, и проходите мини‑практикумы в популярных сервисах. Всего — семь писем, которые помогут разобраться, как работать с нейросетями
Чего опасались и как это закончилось
Конечно, у команды были сомнения. Озвученные риски выразили в вопросах, а ответы на них легли в основу ИИ‑решения и процессов.
Риск №1. Справится ли искусственный интеллект? В целом, наверное, нельзя сказать, что ИИ был для команды чем‑то новым и незнакомым. Когда‑то давно, более 10 лет назад, инженеры компании применили новаторский на тот момент подход и обучили нейросеть классифицировать входящие запросы по категориям и направлять вопрос клиента сразу на нужного специалиста. Сейчас этим уже никого не удивить, но тогда это позволило сэкономить сотни человекочасов в месяц и стало настоящей революцией в процессах.
Технологичность ребят сыграла в какой‑то момент с командой злую шутку я — на ранних этапах развития больших генеративных моделей (LLM) инженеры инвестировали ресурсы в разработку чат‑бота, но получили неприемлемые результаты и несколько утратили веру в эту технологию.
Однако, спектр общедоступных моделей и их качество начали расти гигантскими темпами буквально на глазах. Было решено провести новое исследование доступных технологий и начать действовать!
В итоге остановились на технологии RAG + LLM: часть кода взяли в open source, RAG полностью наш. Если объяснять по‑простому, то работает это примерно так: когда приходит вопрос от клиента, Марта AI ищет похожий по смыслу вопрос (с ответом) в своей базе знаний. Найденные фрагменты знаний вместе с вопросом клиента подаются на вход в языковую модель (LLM) с определенным промптом (который является гордостью отдела), на выходе мы получаем человекоподобный, клиентоориентированный и созданный по всем правилам и регламентам мгновенный ответ!
Прорывным моментом команда считает создание смысловой базы знаний. Она состоит из истории переписок с поддержкой за последние два года, сжатых (кстати, с помощью той же LLM) до формата “вопрос — решение”, и пополняется ежедневно. Старая информация постепенно замещается новыми кейсами, чтобы Марта AI всегда имела под рукой только актуальные знания.
Риск №2. Что если нейросеть будет галлюцинировать и таким образом вводить клиентов в заблуждение? Этого очень не хотелось. И, на самом деле, это был самый существенный по мнению ребят, риск. Мы гордимся тем, что мы никогда не обманываем пользователей, это наше основное правило. Доверение не хотелось терять даже на доли процентов.
Поэтому, решили сначала отладить на себе и начали с малого — внутреннего HR‑бота для адаптации новых сотрудников. По сути, это та же поддержка, только для своих. Использовали готовую базу знаний HR отдела и опубликовали в новостной ленте компании заметку, что теперь у каждого есть свой личный ассистент.
Как и ожидали, к сожалению, Марта AI, с ходу начала галлюцинировать и придумывать ответы, если нужных знаний не оказывалось в ее базе. Она словно бы боялась признаться, что чего‑то не знает и додумывала факты на лету. Совсем как иные “белковые” сотрудники.
Решение пришло совершенно неожиданным образом. Наш инженер догадался просто спросить саму Марту AI: «Как составить тебе промт, чтобы ты не галлюцинировала?». И она ответила. Она дала строчки, добавив которые в промпт, ребята добились почти нулевого уровня галлюцинирования. Фантастика!
Риск №3. Что если мы потеряем доверие клиентов? Вдруг они не захотят общаться с чат‑ботом и он начнёт их раздражать? Внедряли ИИ постепенно: дали ей только небольшую категорию вопросов. Сначала на линии сидели и оператор, и чат‑бот. Затем, когда пошли первые «самостоятельные» переписки, инженеры отсматривали их в ручном режиме и исправляли сценарные ошибки. Людям в целом нравилось: они позитивно и с пониманием относились даже к тому, что ИИ иногда ошибался.
Кроме этого, команда подготовила список эталонных вопросов и ответов к ним. Дальше решили проверить, кто лучше ответит: живые сотрудники или нейросеть. В итоге Марта AI вошла в топ‑10 сотрудников по качеству. Тогда ушли переживания, и инженеры стали постепенно увеличивать её трафик. Сейчас Марта AI получает 92% положительных оценок. Для сравнения: работа операторов набирает 95% лайков. Практически неотличимо.
Риск №4. А если решать обращения операторами будет дешевле, чем разрабатывать и поддерживать собственное решение на базе LLM? Здесь решили, что можем себе позволить инвестировать в решение и оценить стоимость после получения нужного качества. Ведь помимо стоимости (даже если она была бы сопоставимой) у ИИ есть еще несколько ключевых преимуществ — мгновенные ответы одновременно всем, работа 24/7, легкое масштабирование в сезон
Когда качество начало устраивать ребят, Марта AI стала работать со всем входящим трафиком. После первого полного месяца работы подсчитали расходы и метрики. Оказалось, что стоимость решения обращения (если его решила Марта AI) упала в 17 раз: теперь вместо 500 рублей она обходится 20‑30 и есть потенциал к оптимизации.
Очередь входящих запросов упала в 4 раза. Метрика «время реакции» в принципе перестала существовать: чат‑бот отвечает мгновенно. И самое впечатляющее — Марта AI забрала с команды 60% трафика!
Более того, компания получила косвенные дивиденды от внедрения ИИ в поддержке: удалось высвободить колоссальное количество ресурсов, которое раньше уходило на найм и адаптацию, теперь HR отдел может больше ресурсов уделять другим вакансиям.
Часть высвободившихся рук поддержки перенаправили на другие проекты, усилив смежные направления. Плюс, получив большую экспертизу в этом вопросе, команда инженеров поддержки помогает продуктовой команде в их разработках.
Риск №5: Что делать, если у уже существующей команды пропадёт мотивация? Здесь получилось интересно. Лев и его команда внедренцев ожидали, что будет сопротивление у операторов. И оно действительно возникло, в какой‑то момент мотивация у части сотрудников начала проседать.
Но каково же было удивление, когда подавляющая часть команды операторов стала настойчиво просить новые задачи, которые ИИ ещё не умеет выполнять. Естественно, такие задачи нашлись, сотрудники успокоились, а руководители не могли нарадоваться, смотря на рост компетенции своих ребят.
Люди начали работать как никогда раньше: внедряли, изучали технологию, тратили личное время. Мотивацию удалось сохранить до сегодняшнего дня.
Впрочем, были и те, кто покинул команду после внедрения чат‑бота. Когда ты работаешь с дефицитом рабочей силы, всегда очень сложно расставаться с людьми, с которыми, по хорошему, следовало бы уже расстаться на благо обеих сторон. Внедрение Марты AI сняло эту проблему и позволило наконец‑то принимать решение объективно, без оглядки на дефицит кадров.
Результаты и перспективы
Сейчас 100% обращений первой линии приходится на чат‑бота, 60% из них удаётся закрыть без помощи оператора, а оставшиеся передаются команде операторов уже проработанные Мартой AI. Оператор видит саммари переписки бота с клиентом и уже имеет более полную картину — ему не нужно уточнять детали.
Марта работает круглосуточно и мгновенно. Стоимость входящих запросов уменьшилась в 17 раз. В команде появилась новая должность промпт‑инженера, повысилась экспертиза и мотивация команды.
Следующая цель команды — научить Марту работать с голосом. Только представьте, вы можете позвонить в поддержку, и вы всегда номер один в очереди!
