Делать меньше = делать больше: как LLM меняет бизнес

Я разрабатываю алгоритмы назначения в сервисе такси. Алгоритмы назначения — это алгоритмы, которые выбирают и назначают водителя на пользовательский заказ после того, как пользователь вызвал машину. Именно от этих алгоритмов во многом зависят поездки, одна из главных метрик бизнеса: хороший алгоритм оптимизирует время водителя и обеспечивает больше выполненных заказов.

Я решаю задачи про исследование алгоритмов, их улучшения, создание новых логик. Еще я поддерживаю текущие процессы, занимаюсь мониторингом, «держу руку на пульсе». Конечно, задачи первого типа — самые интересные и прибыльные для бизнеса. Задачи второго типа — хоть и необходимая, но рутина, они съедают время и распыляют фокус. Поэтому за последний год я автоматизировала с помощью LLM всё, что делаю больше одного раза в неделю, и активно использую модели в ежедневной аналитике — чтобы больше придумывать и растить бизнес.

Про это статья — как внедрить LLM в работу, чтобы растить бизнес — успевать делать больше, успевать делать больше креативной работы, чаще использовать данные для принятия решений.

Минимум теории

Задача общения с моделью — строить контекст и вопрос так, чтобы повлиять на эти вероятности «в нужную сторону», ведь от этого зависит качество ответа. Чем более узкая или нетривиальная задача, тем критичнее это «влияние».

Есть четыре вещи, которые я говорю всем начинающим, чтобы лучше понять, как думать про общение с моделью:

1. Модель ответит так, как она поймет смысл вопроса. Не проговорить конкретный вопрос, неправильно расставить акценты в тексте, не определить ограничения — все это уведет «вероятности» в сторону и повлияет на качество ответа.
2. Модель знает очень много, но ничего — про конкретный бизнес. Ей неизвестно, как в нем считается выручку, что означают колонки в таблицах, кто главные конкуренты и почему зимой бизнес приносит больше прибыли, чем летом. Не зная этой информации, она ее додумает или упустит — и выдаст менее качественный ответ.
3. Модель будет отвечать лучше (влияние на вероятности выбираемых токенов будет лучше), если модели все это рассказать (далее расскажу, как сделать это один раз, а не в каждом чате).
4. Модель экономит собственные ресурсы. Она может не перепроверить себя, не рассмотреть corner case, красиво соврать. Поэтому результаты надо проверять — задавать модели вопросы о результатах и/ или валидировать их о здравый смысл.

Теперь к делу. Большинство рабочих задачи с LLM я разложила на четыре класса — что‑то автоматизировала, что‑то ускорила, что‑то переосмыслила. Предполагаю, что у вас могут быть те же четыре.

Класс 1. Всё, что делается больше одного раза

Все, что делается больше одного раза по одному алгоритму, делает модель.

Что это значит для вашего бизнеса. Выпишите всё, что вы делаете регулярно — еженедельный отчет по продажам, собираемый руками из трех источников; сверка остатков; разбор заявок с сайта по категориям; ответ на вопрос «как прошла неделя» для инвестора — и спросите себя, почему это до сих пор делаете вы.

Класс 2. Метрика ведет себя аномально, надо понять почему

Когда в метрике просадка или неожиданный рост и нужно определить причину — спросите модель.

Что это значит для вашего бизнеса. Быстро посмотреть на метрику в срезах, разобраться в причинах роста или падения, построить нужный вам для принятия решения список метрик на одном экране — модель это сделает быстро, и не нужно ждать аналитика.

Класс 3. Данные есть, а как посчитать — непонятно

Пример из моей практики. Поиск водителя на заказ итеративный, на каждой итерации алгоритм собирает список водителей‑кандидатов на заказ и решает, надо ли кого‑то из списка назначить. Вопрос: может быть такое, что итерации случаются зря? Например, мы назначили водителя во время третьей итерации, но список кандидатов был одним и тем же во всех трех. Я пришла к модели с вопросом и данными про списки кандидатов. Она предложила метрику из теории множеств, посчитала ее и сделала вывод. Мне не пришлось думать про математику или искать‑гуглить «how to measure set similarity for business» — это все знает модель.

Что это значит для вашего бизнеса. Если у вас есть вопрос и данные, которые могут на него ответить — «Какая вероятность, что клиент вернется сам; когда нужно использовать инструменты роста возвращаемости?»; «Как пользователи реагируют на изменение цен, если есть много данных про их изменение?» — спросите модель.

Класс 4. Эксперимент провести нельзя, а узнать ответ надо

Когда нет возможности провести эксперимент, но нужно понять размер эффекта или его направление, модель может помочь придумать способ.

Однажды я искала ответ на вопрос «Как ограничения аренды самокатов в городе влияют на трафик на дорогах». Тогда я потратила много времени, чтобы придумать, как аккуратно посчитать эффект — я не могла провести никакой эксперимент, а влияние на бизнес посчитать было нужно. Сейчас я бы обратилась к модели, и она бы предложила дизайн исследования. В науке для подобных вопросов есть много методов — синтетический контроль, regression discontinuity design, инструментальные переменные и т. д. — и модель про них знает.

Что это значит для вашего бизнеса. Иногда честный эксперимент невозможен — нельзя поднять цены половине клиентов, нельзя открыть вторую кофейню «для эксперимента». Модель может с этим помочь — предложить дизайн исследования, описать его ограничения — а вы сможете принимать решения с упором на результаты.

Что нужно построить, чтобы всё это заработало

Чтобы задачи классов выше решались быстро и качественно (и особенно без «галлюцинаций», обмана от модели), в модель нужно вложиться. Модель не знает конкретный бизнес — а все, чего она не знает, она додумывает сама. Поэтому первая большая инвестиция — база знаний (документация).

Я веду два типа баз знаний. Первый тип — база про конкретный проект/ задачу с информацией про задачу, ее контекст и историю работы над ней. Второй тип — глобальная база знаний: какие в компании есть технологии и как они работают, как в компании считаются метрики, где хранятся данные и что хранит в себе каждый источник. Локальную базу я храню на своем компьютере и создаю для себя, глобальная доступна всем сотрудникам компании и создается коллективно. База знаний создается один раз (если не учитывать дополнения и обновления), модель читает ее перед каждой сессией.

Создать базу знаний для своего бизнеса проще, чем кажется. Это один емкий документ: что за бизнес, как устроена экономика, как устроены процессы и аналитика. Небольшая работа, которая заметно улучшит ответы модели и позволит вам больше на них полагаться.

Несколько практик, которые также сильно повышают качество работы с моделью:

Попросить модель написать план действий перед решением задачи. Вам это поможет проверить модель и поправить ее (при необходимости), а модели — не упустить ничего важного.

Задачу лучше решать по плану по одному пункту за раз. Если модель будет делать все сразу, она с большой вероятностью что‑то забудет или упустит.

Разделять роли для модели: отдельно планировать, отдельно делать, отдельно проверять.

Внедрять модели в свою работу с задач, ответ на которые вы знаете. Например, попросить модель сделать задачи прошлого месяца, которые сделаны руками. Так вы откалибруете свое доверие к модели: увидите, где она справляется, а где привирает.

Честный вывод

С внедрением LLM в работу я не перестала подводить результаты экспериментов, читать/ писать код и мониторить метрики. Что‑то я делегировала модели — но продолжаю внимательно проверять ее выводы и сама принимаю финальные решения. Это очень важная мысль — использование LLM может ускорить работу или автоматизировать какие‑то задачи, но не стоит полагаться на нее на 100% или бесконтрольно ее использовать. В конце концов, LLM — лингвистическая модель, которая печатает текст и предсказывает следующее слово. Она может и приносить пользу, и убедительно врать.

Но я сократила ручной рутинный труд и уменьшила время, которое мне нужно для работы с данными. Теперь я могу чаще валидировать об них свои мысли и стала действительно больше фокусироваться на исследованиях и создании новых механик — то есть на работе, которую автоматизировать нельзя и которая двигает бизнес.