Минус спам, плюс лояльность: как мы внедрили верификацию по фото авто с помощью компьютерного зрения

Когда социальная сеть Noomeera для автолюбителей из СНГ столкнулась с наплывом спамеров и фейков, на кону оказалось главное — доверие комьюнити. Решение, найденное с помощью компьютерного зрения, позволило сохранить атмосферу «для своих», ускорить регистрацию и сократить количество фальшивых аккаунтов. Чтобы справиться с проблемой, мы разработали SDK, превращающий камеру смартфона в инструмент верификации. В тексте хотим поделиться, с какими сложностями может столкнуться команда‑разработчик аналогичного решения и для каких еще сегментов бизнеса оно может подойти.

Когда рост становится угрозой

Соцсеть Noomeera быстро вышла за пределы нишевого проекта. В основе — простой принцип: регистрируешься, указываешь свой транспорт, участвуешь в розыгрышах, смотришь релевантный контент, знакомишься с другими владельцами.

Но чем больше пользователей — тем больше фейков. Спамеры, флудеры, мультиаккаунты подрывали доверие в сообществе и мешали рекламным интеграциям. Модерация захлёбывалась, пользователи жаловались, активность качественной аудитории снижалась.

Почему документы — не выход. Команда рассматривала жёсткое решение — требовать при регистрации фото документов, подтверждающих право собственности на автомобиль или мотоцикл.

Но тестирование показало: подавляющее большинство пользователей отказывается делиться такими данными. У людей были опасения, связанные с конфиденциальностью и безопасностью персональной информации.

Клиент сформулировал задачу:

• верификация должна быть быстрой и простой для пользователя;
• никакий загрузки документов;
• доля ложных срабатываний — минимальная.

Решение: компьютерное зрение в смартфоне

Решили верифицировать пользователя через фото машины с открытыми дверьми, сделанное спереди и сзади. На снимках алгоритм определяет:

• тип транспорта (авто или мото);
• наличие открытых дверей как признак физического доступа к машине;
• номерной знак;
• марку, модель и цвет.

Далее — привязка информации к аккаунту, и пользователь получает доступ к платформе.

Что входит в SDK с компьютерным зрением и как его встроить в мобильное приложение

Клиенту требовалась система, встроенная в мобильное приложение, которая в реальном времени определяет тип транспортного средства, его ориентацию и состояние дверей прямо на устройстве, а затем отправляет изображение на backend для распознавания номера и получения данных о марке и модели автомобиля. Решение должно было быть интегрировано в существующую архитектуру и обеспечивать стабильную работу в полевых условиях.

Расскажем поэтапно, как шла разработка SDK (Software development kit) — набора инструментов для интеграции в мобильное приложение.

Собрали и подготовили данные. Мы собрали и вручную разметили 10 000 изображений с разными видами транспорта — легковыми машинами и мотоциклами, сфотографированными с разных ракурсов, машинами с открытыми и закрытыми дверьми. Учитывали следующие признаки:

• тип транспорта;
• ракурс (вид спереди или сзади);
• положение дверей;
• наличие и расположение номера.

Это трудоёмкий, но важный этап: модель обучается только на том, что ей показали. На разметку ушло менее 1000 человеко‑часов.

Обучили модель. На основе собранных данных мы обучили нейросеть. В качестве основы выбрали модель семейства YOLO — это один из самых популярных и быстрых алгоритмов компьютерного зрения, хорошо подходящий для распознавания объектов на изображении.

Модель обучалась определять:

• вид транспорта,
• его ориентацию,
• положение дверей,
• наличие и местоположение номера.

Мы донастроили её специально под задачи заказчика и оптимизировали для работы прямо на смартфоне — без отправки изображений на сервер.

Для обучения использовали фреймворк PyTorch, а для оценки качества модели — метрики точности и полноты (precision/recall), отдельно по каждому классу объектов.

Создали мобильную библиотеку (SDK). Чтобы заказчику было легко внедрить систему в своё приложение, мы собрали SDK:

• SDK работает на iOS и Android, написан на языках Swift и Kotlin;
• обрабатывает видеопоток с камеры прямо на устройстве;
• запускает модель, извлекает нужную информацию и, если найдена машина с открытыми дверьми, отправляет запрос на сервер;
• на сервере определяется номер автомобиля.

Разработали серверную часть (backend). Чтобы дополнить данные, полученные с устройства, мы также реализовали backend (серверную часть) на базе FastAPI. Это современный инструмент, который помогает быстро и надёжно создавать серверную часть приложений. Он удобен в разработке, отлично справляется с большим количеством запросов и подходит для интеграции с внешними сервисами.

FastAPI принимает данные от мобильного SDK, делает запрос к внешнему API для расшифровки номера и получения информации о машине, а затем возвращает результат обратно в приложение.

Изначально клиент просил только обучить модель. Мы предложили сделать SDK — так решение можно было протестировать в проде и сразу встроить в приложение. Это упростило интеграцию и дало бизнесу готовый инструмент в рамках бюджета.

Сложности при разработке SDK: как мы их решали и что советуем другим

Заглянем под капот и расскажем про потенциальные проблемы аналогичного проекта и как их избежать:

1. Сложные условия съёмки: день, ночь, дождь, редкие ракурсы — модель должна справляться со всем этим. Что помогает: синтетические данные, аугментации.
2. Ограниченные ресурсы смартфона: приложение не должно тормозить, сажать батарею и бесконечно грузиться. Как решается: используем облегчённые архитектуры, оптимизируем модель (квантизация, pruning), тестируем на реальных устройствах.
3. Поддержка на разных устройствах: SDK должен быть стабильным на разных версиях iOS и Android. Как решаем: дотошное тестирование, подробная документация, поддержка при интеграции.
4. Закон и этика: номера автомобилей — это персональные данные. Что важно: ничего не сохраняется, пользовательское соглашение — обязательно.

Компьютерное зрение на транспорте: где еще его можно применять

1. Определять и оценивать повреждения или дефекты — например, при возврате арендованного авто или в страховом кейсе: камера фиксирует царапины, вмятины и сравнивает с предыдущими фото, чтобы автоматизировать расчёт выплат.
2. Распознавать транспорт и грузы — на складе можно автоматически идентифицировать вид транспорта, тип груза, проверить, всё ли загружено и правильно ли размещено.
3. Идентифицировать разные виды транспорта — от мотоциклов и велосипедов до тракторов, катков и другой спецтехники. Это полезно для парковок, шеринга или контроля доступа на объекты.
4. Фиксировать события — открытие багажника, двери, движение авто, стоянку в неположенном месте или попытку несанкционированного доступа. Такие сценарии полезны для проверки безопасности, контроля въезда или логирования событий.
5. Помогать в обслуживании автопарков — контролировать ТО, проводить визуальную диагностику.
6. Автоматизировать процессы в шеринге и прокате — регистрировать пользователя, осматривать авто до и после поездки, распознавать номера и события без участия оператора.
7. Контролировать доступ на охраняемую территорию на основе визуального распознавания номера, модели и состояния машины (например, проверить: грузовик прибыл пустой или гружёный).

Что учесть перед внедрением CV‑SDK

Если вы планируете разрабатывать подобную систему, важно с самого начала понимать, какие именно признаки нужно распознавать: модель обучается под конкретную задачу и универсального варианта не существует. Например, если вы хотите фиксировать не просто автомобили, а именно грузовики с открытыми дверями — это нужно учитывать на этапе подготовки датасета.

Для достижения приемлемой точности потребуется собрать достаточно разнообразных данных или вложиться в генерацию синтетики — иначе модель будет «плавать» в нестандартных ситуациях.

И ещё один момент, который часто недооценивают: SDK — это не просто модель в виде файла, которую можно вшить в приложение. Это целый набор — с документацией, поддержкой интеграции и обновлений. Только в таком виде инструмент будет действительно рабочим решением, а не головной болью для вашей команды.