Почему компании обращаются к краудсорсингу для разметки данных

Без качественных данных ML‑модели начинают ошибаться. Особенно в системах, где всё завязано на огромных объемах и разнообразии: похожие товары, дубли, неполные описания, шумные отзывы. Один из способов масштабно решать такие задачи — краудсорсинг. Сегодня вместе с Армандом Айрапетяном, руководителем разработки Ozon Profit, расскажем, как мы пришли к созданию собственного продукта и когда вообще такой шаг оправдан.

Проблема поиска одинаковых носков

Но если объектов становится больше, — особенно в случае маркетплейсов с миллионами товарных позиций, некоторые из которых похожие, а другие одинаковые, — задача становится сложной. Нужно учесть множество параметров:

• внешний вид товара;
• описание;
• бренд;
• ключевые характеристики;
• контекст использования.

И отбор одинаковых товаров — только одна из задач. Системе нужно понимать, какое описание хорошее и полное, а какое нет, какие отзывы полезные, всем ли требованиям соответствует карточка товара для продвижения в поисковой выдаче. И таких задач — миллионы в день. ML‑инженеры просто не могут обрабатывать такой объем данных вручную.

Ozon тоже сталкивался с этой проблемой: долгое время команде приходилось обращаться к услугам внешних подрядчиков для сбора и разметки данных. За это время накопился глубокий опыт, появилось понимание, как должна работать крауд‑платформа. Со временем объемы задач росли, а вместе с ними — расходы на внешних подрядчиков.

В какой‑то момент стало понятно, что затраты на сторонние сервисы уже сопоставимы с потенциальными инвестициями в собственное решение — или даже выше них.

От чертежа до крауд‑конвейера

В результате команда создала платформу Ozon Profit — сервис для разметки и сбора данных. В первую очередь, она нужна была для того, чтобы закрыть внутренние задачи компании, и только потом — как продукт для внешних заказчиках.

Сейчас в команде уже больше 40 инженеров. Платформу спроектировали без привязки к конкретному типу задач, поэтому работать можно с разными форматами данных: текстом, аудио, видео и изображениями. Здесь важно отметить, что платформа — краудсорсинговый инструмент, и эффективна на массовых и формализуемых задачах, требует четкой инструкции и контроля качества. Для нестандарных кейсов точность снижается, и экономика расчитывается не так прозрачно.

Несмотря на это, уже в 2023 году, через год после запуска, платформа смогла полностью заменить всех внешних подрядчиков по разметке данных внутри компании. В процессе инженеры доработали ее, чтобы она могла подстроиться под разные сценарии и требования заказчиков.

Технологический стек:

Бэкенд: Go

Фронтенд: собственный фреймворк на базе Vue.js

Базы данных: Postgres для табличных данных и ClickHouse

Событийный обмен: Kafka

Различные ML‑инструменты во внутреннем контуре

Система выстраивалась по принципу LEGO: независимые модули должны легко соединяться между собой, подключаться к другим сервисам и масштабироваться под нагрузку. Такой подход позволил безболезненно вывести продукт на внешний рынок.

Разметка под ключ

Сейчас все задачи на платформе можно разделить на три глобальных типа:

• Обучение моделей: классические задачи Computer Vision и NLP.
• Аудит качества моделей: проверка уже обученных алгоритмов.
• Автоматизация рутины: оцифровываются операционные процессы, описанные инструкцией.

Внутри Ozon платформа используется для разметки изображений, оценки карточек товаров и отзывов, озвучивания аудио, а также для полевых и пешеходных задач, когда нужно собрать данные непосредственно на месте: сделать фото, проверить наличие объекта, зафиксировать состояние точки или выполнить задание в конкретной локации.

Качество данных

Контроль качества здесь — не техническая деталь, а гарантия результата для заказчика. Он помогает получать чистые и сопоставимые данные, снижать число ошибок в разметке и не тратить время на повторную проверку вручную.

В задачах, где важна максимальная точность, это особенно критично. Например, для одной задачи бинарной классификации удалось добиться точности 98,5%, а в кейсах, где важнее скорость, данные можно получить и передать в анализ в течение 30 минут.

За счет кастомизации и подробных инструкций порог входа на платформе низкий. Обычный исполнитель может размечать сложные вещи, не будучи в них экспертом. Например, в одной задаче человек без специальной подготовки может по инструкции различать похожие категории товаров или отмечать нужные элементы на изображении.

Когда краудсорсинг действительно нужен

Шпаргалка из опыта Ozon для тех, кто рассматривает использование краудсорсинга:

Когда это имеет смысл?

• Когда задачи массовые — от тысяч до миллионов единиц.
• Когда процесс можно описать чёткой инструкцией и формализовать.
• Когда краудсорсинг помогает разгрузить ML- или операционные команды.

При этом важно учитывать и ограничения. Крауд лучше всего работает там, где задачу можно разбить на понятные шаги, а результат проверить.

Что выбрать — покупать или строить?

Строить собственную платформу стоит, если:

• Экономика проекта обоснована. Расчёты показывают, что постоянная комиссия внешним сервисам превышает затраты на собственную разработку. В этом случае компания прекращает сжигать деньги на платежи подрядчикам и вкладывается в актив, который остаётся у неё и развивается под её задачи.
• Есть ресурсы на игру вдолгую. Поскольку актив нужно развивать, команда должна быть готова инвестировать время не только в запуск, но и в постоянную доработку, поддержку, масштабирование и исправление ошибок.
• Хватает компетенций. Чтобы вытянуть такую сложную разработку и дальнейшую поддержку, внутри компании должна быть сильная экспертность и искреннее желание развивать собственный продукт.

Во всех остальных случаях рациональнее использовать внешний сервис — это быстрее и дешевле на старте.

Если принято решение строить, важно сразу заложить правильные принципы:

• Избегать монолитной архитектуры. Не рекомендуется собирать систему в один большой неразделимый блок, иначе любая её переделка в будущем окажется слишком медленной и дорогой.
• Заложить модульность и гибкость системы. В противовес монолиту, модульный подход позволяет менять или обновлять отдельные части без полной переработки продукта.

Какие тренды мы видим сейчас

Если система умеет стабильно отличать одинаковое от похожего — значит, она готова к задачам гораздо сложнее носков.