Что такое машинное обучение и какие задачи оно решает

Большинство умных технологий, которые нас окружают, созданы при помощи машинного обучения. Это голосовой ассистент в смартфоне или колонке, робот‑пылесос, автоматическая касса в супермаркете.

В статье разберем, для чего применяют машинное обучение, какому бизнесу оно нужно и с какими проблемами сталкиваются при его внедрении.

Что такое машинное обучение

При машинном обучении в искусственный интеллект загружают много данных и ставят задачу найти закономерности. Например, ИИ получает фотографии с рукописным текстом и его расшифровкой. Система группирует разные способы написания одинаковых букв и учится самостоятельно распознавать рукописный текст.

Чем машинное обучение отличается от ИИ и нейросетей

Эти понятия часто путают, хотя они описывают технологии разного уровня. Их можно сравнить со структурой вложенности, как матрешку: ИИ — самая большая кукла, внутри нее — машинное обучение, внутри машинного обучения — нейронные сети.

Пример — рекомендационная система в стриминговом сервисе. Она использует машинное обучение и нейросети для анализа предпочтений пользователя и подбора контента, но сама по себе не является «разумной системой».

Машинное обучение, ML, — конкретное направление внутри ИИ. Его суть в том, чтобы дать компьютеру способность учиться на данных, а не прописывать все правила вручную. Вместо этого система сама находит закономерности в примерах и на их основе делает прогнозы или принимает решения. Примеры задач машинного обучения: классификация — отнести письмо к спаму или нет, регрессия — предсказать цену квартиры, кластеризация — сгруппировать клиентов по сходству.

В Т‑Бизнес секретах есть раздел «Технологии», где собрали статьи про все популярные нейросети и то, как бизнесу с ними работать.

Какие есть виды машинного обучения

Выделяют три основных типа машинного обучения:

• обучение с учителем;
• обучение без учителя;
• обучение с подкреплением.

Обучение с учителем. При таком способе обучения учитель дает системе задание и правильный ответ. Искусственный интеллект должен найти признаки, которые помогают прийти к этому ответу.

Например, ИИ получает картинки геометрических фигур с указанием, где какая находится. Система должна понять, что отличить фигуры друг от друга можно по количеству вершин или углов.

Обучение без учителя. Системе ставят задачу и дают данные для ее решения. Ответ заранее неизвестен. Способ применяют, когда данных слишком много или ответ сложно вычислить заранее. В этом случае ИИ нужно больше времени и данных, чтобы научиться находить правильные ответы.

Например, ИИ получает фото разных животных и должен определить, где изображены собаки. Система руководствуется только описанием разных пород собак и должна понять, как отличить собаку от других животных.

Обучение с подкреплением. Это более сложный способ обучения, при котором ИИ взаимодействует с окружающей средой. Система не ограничена набором загруженных данных, она получает новую информацию в процессе обучения.

Пример такого обучения — робот‑пылесос, который первый раз сканирует квартиру и строит карту местности. Ему не нужны фотографии и планы других квартир, достаточно информации с датчиков: где можно проехать, а где — нет.

Есть и другие способы машинного обучения, обычно они комбинируют три основных способа и добавляют дополнительные инструменты.

Как работает машинное обучение

В машинном обучении алгоритмы учатся решать задачи не по жестким правилам, а на основе данных: находят в них закономерности и используют их для прогнозов или классификации. Вот как устроен процесс работы ML.

Шаг 1. Ставят задачу и определяют тип ML. Например, нужно предсказать цену квартиры или понять, спам письмо или нет. От типа задачи зависит, какой подход и алгоритм выбирать.

Шаг 2. Собирают данные — датасет. Это примеры, на которых модель будет учиться: таблицы, тексты, картинки, логи действий пользователей — цифровой след, который они оставляют при работе с системой. Чем больше и качественнее данные, тем лучше результат.

Шаг 3. Подготавливают и очищают данные. Удаляют ошибки и выбросы, приводят форматы к единому виду, заполняют пропуски, кодируют категории, например превращают «да/нет» в 0/1. Часто это самая трудоемкая часть.

Шаг 4. Выделяют признаки — feature engineering. Превращают сырые данные в понятные для модели характеристики: например, из даты покупки берут день недели и месяц, из текста — частоту слов, из фото — цвета и контуры.

Шаг 5. Выбирают и обучают модель. Алгоритм «прогоняют» по данным и настраивают его внутренние параметры так, чтобы разница между предсказанием и реальным ответом становилась меньше.

Шаг 6. Оценивают модель на новых данных. Для этого датасет делят на обучающую и тестовую выборки. На тесте проверяют, насколько хорошо модель обобщает знания.

Шаг 7. Дорабатывают и внедряют. Если точность низкая, меняют признаки, алгоритм или гиперпараметры. После валидации модель запускают в работу и следят за ее качеством.

Какие задачи решает машинное обучение

Чаще всего машинное обучение применяют, чтобы получить нейросети или системы для:

• сложных вычислений;
• анализа данных;
• проверки гипотез;
• составления прогнозов.

Сложные вычисления — когда нужно считать что‑то с большим количеством параметров. Объем входных данных может увеличиваться, а влияние каждого фактора — меняться.

Например, машинное обучение можно применять в банковской сфере для расчета кредитного рейтинга клиентов. Системе сообщают, какие факторы повышают рейтинг, а какие понижают. На основе принятых человеком решений ИИ определяет вес каждого фактора.

Анализ данных — когда готовых взаимосвязей нет и нужно попытаться их найти. Например, для работы системы рекомендаций на маркетплейсе. Системе сообщают известные данные покупателя: пол, рост, возраст, историю покупок. На основе этих данных система пытается предугадать, что еще будет интересно покупателю.

Проверка гипотез. Это ситуации, когда нужно просчитать множество возможных вариантов и найти самые подходящие.

Составление прогнозов. В этом случае машинное обучение используют, чтобы предугадать значение каких‑то показателей.

Например, нужно построить модель для прогноза курсов валют. В ИИ загружают данные, которые уже повлияли на падение и повышение курса, а на выходе получают прогноз на будущее.

Где применяется машинное обучение

• финансы и банки: кредитный скоринг, выявление мошенничества, управление рисками;
• ретейл, e‑commerce и маркетинг: прогнозирование спроса и управление запасами, рекомендательные системы, чат‑боты и виртуальные ассистенты, сегментация и персонализация клиентов, оптимизация рекламы;
• производство и логистика: предиктивное обслуживание оборудования, контроль качества, оптимизация маршрутов и цепочек поставок;
• управление бизнес‑процессами: автоматизация заявок и обращений, анализ и оптимизация процессов, поиск аномалий в расходах;
• ИТ и безопасность.

Какие ограничения есть у машинного обучения

Машинное обучение — сложный и дорогой для бизнеса процесс. Часто сделать работу вручную дешевле и быстрее, чем создать и обучить систему, которая сможет делать это самостоятельно.

Обычно машинное обучение применяют только крупные ИТ‑компании, но даже они сталкиваются с такими проблемами:

• большие сроки и высокая стоимость внедрения;
• большой объем данных, который нужно хранить и обрабатывать;
• машинное обучение невозможно без человека;
• результат машинного обучения не превосходит возможности человека.

Большие сроки и высокая стоимость внедрения. Любой проект, который связан с ИИ, стоит очень дорого и может внедряться годами. Обычно это нужно бизнесу не для решения текущих задач, а на перспективу.

Например, машинное обучение применяют, чтобы создать автопилоты для автомобилей. Готовый продукт до сих пор не идеальный, но в будущем он может стать массовым и приносить компаниям большую прибыль.

Большой объем данных, который нужно хранить и обрабатывать. Чем больше данных использует ИИ в процессе обучения, тем лучше получится результат. Собранную информацию для машинного обучения нужно накапливать, хранить и обрабатывать.

Машинное обучение невозможно без человека. Любая система должна получать ответы или данные для обучения, результаты обучения должен оценивать специалист. На текущем этапе развития ни одна система не может осваивать новые навыки без человека.

Результат машинного обучения не превосходит возможности человека. Невозможно обучить ИИ так, чтобы он сделал что‑то принципиально новое. Можно научить систему писать текст, создавать картинки или код, но ИИ не может, например, придумать новый язык программирования.

Что важно запомнить

1. Машинное обучение — направление искусственного интеллекта, которое помогает обучать системы и создавать нейросети.
2. Машинное обучение может проходить с учителем или без него, а еще система может учиться на реальных примерах — когда она получает и обрабатывает данные из окружающей среды.
3. Машинное обучение — дорогой и трудоемкий процесс. Его применяют только в крупном бизнесе.
4. Не получится проводить машинное обучение без человека, а результат не превзойдет его возможности.