Риски внедрения ИИ: когда лучше отказаться
ИИ безусловно за последние годы стал одним из основных акторов в деятельности человека, бизнеса, государства, выполняя все больше функций с учетом расширения сфер присутствия. Однако при существующих технологиях и регуляторике в этой сфере не всегда можно гарантировать положительные эффекты от применения ИИ. В данной статье разбираем основные случаи, когда технологии ИИ могут не приносить ожидаемой пользы, создавать лишние риски и тормозить процессы.
ИИ — не только двигатель прогресса, но и серьезная угроза
ИИ уже проник во все отрасли экономики и социальной сферы, государственное управление, а также играет важную роль в жизнедеятельности практически каждого человека во множестве стран.
Сейчас трудно оценить, насколько преобразующими могут быть появившиеся приложения генеративного ИИ. Так, Институт Банка Америки предсказывает, что в ближайшие 5 — 10 лет все крупные модели, на которых базируются приложения генеративного ИИ, станут катализаторами инноваций во всех отраслях экономики, включая: научные исследования (высокопроизводительные и пространственные вычисления, интерфейс мозг‑компьютер, квантовые вычисления); робототехника (роботы‑гуманоиды, промышленные роботы); коммуникации и связь (миниатюрные спутники, Wi‑Fi 7, 6G); здравоохранение (разработка лекарств, диагностика, жидкая биопсия, геномика); энергетика (интеллектуальные сети, виртуальные электростанции, перовскитные солнечные элементы); транспорт (батареи нового поколения; автономные транспортные средства; воздушная мобильность).
Стоит ожидать, что искусственный интеллект станет ключевой технологией, определяющей мировую технологическую парадигму, уже в первой половине XXI века. Соответственно, уже сейчас требуется определить допустимые и недопустимые направления развития для него.
В целом ИИ не должен внедряться, в первую очередь, при наличии возможных средних или высоких рисков создать угрозу или причинить вред определенному субъекту — человеку, компании, территории, стране, человечеству. Таким образом можно отметить несколько основных случаев, когда ИИ не нужно внедрять, с разделением на глобальные и частные.
Рассылка: как вести бизнес в России
Пять полезных писем пришлем сразу после подписки. В них — бизнес‑идеи, готовые промпты для нейросетей, советы, как выбрать налоговый режим и получать пассивный доход
Глобальные причины отказаться от ИИ
ИИ как интеллектуальный конкурент человеку. Развитие ИИ до уровня самостоятельного «разума» несёт риск утраты контроля. Учёные предупреждают: если ИИ будет рассматривать человека как угрозу или конкурента, последствия могут быть катастрофичными. Имея собственный «полноценный» разум ИИ в какой‑то момент может посчитать человека конкурентом или врагом. Вполне вероятна реализация ситуации, сходной с фильмами про терминатора. А предпосылки к этому уже наблюдаются — ряд видных ученых, в том числе Нобелевских лауреатов, отмечают, что уже при существующем уровне развития технологий ИИ, зачастую даже сам разработчик не способен понять, как действует созданная им система, и призывают ограничить развитие подобных технологий ИИ.
Таким образом, единственный правильный путь развития ИИ — это роль советника и помощника человека. Например, когда ИИ усиливает его умственные и физические способности: память, вычисление, анализ, прогноз, цифровая телепатия, цифровой телекинез, помогает в поддержании здоровья и управлении устройствами, например, экзоскелетами.
Отсутствие стандартов разработки и применения. Данный аспект должен играть важнейшую роль уже в ближайшем будущем. Без стандартизации разработки и деятельности ИИ (пусть и достаточно быстро меняющейся при развитии технологий) в мире, где ИИ уже играет одну из основополагающих ролей, может наступить абсолютный хаос.
Во‑первых, должны быть разработаны правила и стандарты, за которые ИИ не сможет выходить, наподобие правил робототехники в произведениях фантаста Айзека Азимова.
Во‑вторых, должна быть создана система стандартов применения ИИ, касающаяся всех видов взаимодействия в рамках человек‑машина и машина‑машина.
Размытая ответственность. На данный момент невозможно однозначно определить, кто отвечает за ошибки или вред, нанесённый ИИ: разработчик, владелец модели или пользователь. В 2018 году автопилот Uber сбил пешехода — вопрос о виновности водителя, компании и ПО остался юридически спорным. Такие инциденты требуют новой нормативной базы.
Интеллектуальная деградация. Полная зависимость от ИИ может снизить когнитивные способности человека, уменьшить мотивацию к обучению и усилить социальную изоляцию. Исследование Microsoft (2025) показало, что сотрудники, регулярно полагающиеся на ИИ‑инструменты для письма и анализа данных, начинают демонстрировать снижение навыков критического мышления и потери внимательности при самостоятельной работе.
Частные риски в социальной и экономической среде
Угроза общественной безопасности. Внедрение ИИ как управляющего элемента должно быть абсолютно исключено при даже малейших рисках потери здоровья или гибели человека. Поскольку такой риск есть всегда — ошибочный алгоритм при разработке, кибератаки и пр., ИИ не должен управлять, например, стартовой площадкой баллистических ракет или химическим заводом по производству хлора.
Угроза экономической стабильности. К применению ИИ в сфере финтеха, особенно в части принятия решений, по крайней мере пока, следует относиться крайне осторожно. «Галлюцинации» ИИ, недостаток и недостоверность исходных данных (см. ниже), на основе которых ИИ принимает решения, могут привести к огромным финансовым потерям.
Риски «галлюцинаций» ИИ. Генеративный ИИ, в том числе большие языковые модели (LLM), являющиеся в настоящее время «вершиной» развития технологий ИИ, подвержены «галлюцинациям» (т.е. могут придумывать факты, которые звучат правдоподобно, но являются вымышленными) — с галлюцинациями LLM сталкивались более 80% онлайн‑пользователей.
Галлюцинации могут поставить компании в неловкое положение, а в крайних случаях даже привести к убыткам. Например, чат‑бот компании Chevrolet на базе искусственного интеллекта принял предложение клиента продать автомобиль Chevrolet Tahoe 2024 года выпуска за 1 доллар, стартовая цена которого составляет 58 195 долларов. Подобные ошибки происходят поскольку LLM, используемые в инструментах ГенИИ, обучаются на больших массивах данных, собираемых из самых разных источников, включая электронные книги, личные блоги, сообщения в социальных сетях и др. Обученная по модели LLM нейросеть использует эти данные для формирования ответа на запрос, который кажется правдоподобным, но не всегда соответствует действительности.
Подобные «неосторожные ошибки» могут дорого обойтись, например, при построении стратегий, основанных на ответах ИИ на юридические запросы, при принятии политических решений или использовании ИИ‑ассистента при проведении сложных медицинских операций. Соответственно, в настоящее время LLM должно быть крайне ограничено.
В новом исследовании, опубликованном в 2024 г. в журнале Nature, предложен метод, позволяющий определить, в каких случаях большая языковая модель может «галлюцинировать». Этот метод может открыть новые возможности для использования LLM в указанных выше ситуациях.
Недостаточность и недостоверность данных. Недостаток и недостоверность данных могут привести к ошибочной аналитике и прогнозированию, а также выработке рекомендаций с помощью ИИ. Подобная ситуация может привести даже к трагическим последствиям.
Например, можно представить прогноз распространения ядовитого облака после аварии на химическом заводе без учета скорости и направления ветра, плотности атмосферы, температуры воздуха, осадков на разных участках и пр., или использование недостоверных данных в интернете приводит ИИ к неправильным и даже опасным рекомендациям.
Поэтому при использовании технологий ИИ необходимо обеспечить полноту больших данных, которая, к примеру, для физических явлений обеспечивается чаще всего системой различных датчиков.
Таким образом, перед внедрением ИИ необходимо описать инициативы по формированию инфраструктуры больших данных (мегаданных) для создания с помощью ИИ точнейших аналитики и прогнозов, формирования рекомендаций и решений.
Низкий уровень цифровизации. При низком уровне цифровизации организации или компании внедрение ИИ может не только не эффективно, но быть вредно. В случае, если в компании или организации бизнес‑процессы автоматизированы лишь частично, огромную роль играет человеческий фактор, и, соответственно, решения ИИ могут быть основаны на недостоверной информации (сотрудник забыл внести данные, ошибка, описка) и привести к непредсказуемым негативным последствиям.
Кроме того, частое применение различных стандартов и несовместимого программного обеспечения при низком уровне цифровизации опять же приводит к недостоверным исходным данным, на основе которых ИИ проводит анализ и принимает решения.
Таким образом, чаще всего, ИИ может быть не опасен и экономически эффективен, как минимум, при наличии соответствующей цифровой базы или инфраструктуры.
Недостаточная кибербезопасность. При низком уровне кибербезопасности не следует внедрять не только ИИ, но и любые прочие цифровые технологии, поскольку в этом случае для субъекта высока вероятность утечки данных, в том числе представляющих коммерческую тайну, возможны финансовые и репутационные потери, нарушение деятельности технологической и информационной инфраструктуры (например, выход из строя всей системы управления заводом, или отключение от электричества сотен и тысяч домохозяйств).
Социальная напряжённость и протесты. Внедрение ИИ может спровоцировать социальный взрыв в связи с заменой человеческого труда на роботизированный, как на определенной территории, так и в масштабах целой страны. Для примера достаточно представить реконструкцию или модернизацию градообразующего предприятия до уровня «темной фабрики» под управлением ИИ, например, в Норильске или Сургуте.
Преступное использование искусственного интеллекта. Искусственный интеллект может быть использован в преступных целях, существенно расширяя возможности злоумышленников:
- Фишинг и вредоносное ПО: ИИ позволяет создавать фишинговые сайты и письма, а также адаптивные компьютерные вирусы, способные обходить средства защиты.
- Кибератаки: С его помощью можно проводить сложные сетевые атаки, обходя традиционные системы кибербезопасности.
- Дезинформация: ИИ способен генерировать и распространять фейковые новости и искаженную информацию в больших объемах.
- Опасные разработки: Он может использоваться для создания запрещённых или потенциально опасных химических веществ и соединений.
- Нарушение приватности: ИИ способен собирать и анализировать большие массивы данных, формируя подробные досье на отдельных лиц или организации, которые могут быть использованы в преступных целях.
- Подделка документов: С помощью ИИ возможно создавать реалистичные подделки документов, подписей, фотографий и других визуальных материалов.
- Манипуляция доверием: ИИ может имитировать человеческое поведение, включая голос и речь, вызывать доверие у жертв, скрывая при этом, что это бот. Злоумышленники могут обучать ИИ по открытым данным из соцсетей, мессенджеров и сайтов знакомств.
- Автоматизация преступной деятельности: ИИ позволяет автоматизировать многие действия преступников, что делает их более эффективными и трудно обнаруживаемыми.
Опасности внедрения ИИ в бизнесе
Ошибки в обучении моделей. ИИ‑системы обучаются на огромных массивах данных — от текстов и изображений до сигналов с датчиков. Чем шире и разнообразнее эти данные, тем сложнее гарантировать, что ИИ будет работать корректно на всех возможных входах. Даже небольшие отклонения от обучающего набора могут вызвать сбои.
Например, в 2023 году автопилот Tesla перепутал луну с жёлтым сигналом светофора и начал экстренное торможение — ошибка, вызванная недостаточной валидацией изображений в нестандартных условиях освещения.
Особенно опасны такие сбои в критической инфраструктуре или промышленности: — ИИ, управляющий оборудованием на химическом заводе, может неправильно интерпретировать датчики и вызвать аварийную остановку; — в здравоохранении — дать ошибочный диагноз при неучтённой комбинации симптомов; — в энергетике — отключить оборудование на основе ложного сигнала.
Такие случаи подчёркивают необходимость многоуровневой валидации, ручной проверки и ограничений на полномасштабное внедрение в ответственных зонах.
Непрозрачность решений и эффект “Черного ящика”. Во многих ИИ‑системах отсутствует возможность объяснить, как именно было принято то или иное решение. Это называют «чёрным ящиком» — модель выдала результат, но логика осталась скрытой. Такая непрозрачность особенно опасна в сферах, где цена ошибки — здоровье, жизнь или большие финансовые потери.
Например, если ИИ‑ассистент по медицине предлагает исключить пациента из группы риска, но врачи не понимают, почему — они не смогут проверить правильность вывода. То же касается кредитного скоринга, решений в правовых вопросах или инвестиционного анализа. Отсутствие понятного объяснения снижает доверие и может привести к катастрофическим последствиям.
Самостоятельные цели и поведение ИИ. Самообучающиеся системы могут формировать собственные цели и стратегии, отклоняющиеся от изначального замысла. Это особенно актуально для моделей с элементами усиленного обучения (reinforcement learning), где поведение агента формируется на основе максимизации некоторой целевой функции. Если эта функция задана недостаточно точно или слишком абстрактно, модель может начать действовать непредсказуемо, и даже вразрез с интересами человека. Например, в 2022 году ИИ‑агент, обученный для игрового симулятора в Google DeepMind, обнаружил способ набрать очки, «ломая» механику игры вместо честного прохождения — он прыгал бесконечно в одном месте, где баг начислял бонусы. В бизнес‑сценариях такая логика может проявиться в обходе KPI или искажении целей, что особенно опасно в финансовых, логистических или медицинских системах. Поэтому важно тщательно проектировать метрики и предусматривать ограничители поведения.
Уязвимости в защитных механизмах. ИИ может быть «обманут» внешними воздействиями и начать работать в рамках ложной логики или контекста. Это явление известно как «атака на модели» (adversarial attack), когда небольшое и почти незаметное изменение входных данных заставляет ИИ ошибочно интерпретировать ситуацию.
Например, в 2017 году группа исследователей продемонстрировала, что добавление небольших визуальных изменений к изображению дорожного знака может привести к его ошибочной классификации нейронной сетью. В частности, они показали, что добавление небольших наклеек на знак «Стоп» может заставить систему компьютерного зрения интерпретировать его как знак ограничения скорости 45 миль в час.
Чтобы минимизировать такие риски, требуется внедрение механизмов защиты от манипуляций, регулярное тестирование на устойчивость к внешнему вмешательству и внедрение методов безопасного машинного обучения (robust AI).
Дискриминация и социальное неравенство. ИИ может закреплять предвзятые алгоритмы, усиливать неравенство и ограничивать доступ к возможностям. Это связано с тем, что многие модели обучаются на исторических данных, которые уже содержат элементы дискриминации. Если в таких данных, например, преобладает информация о трудоустройстве определённых демографических групп, то ИИ может рекомендовать отказ в приёме на работу людям из менее представленных категорий.
Яркий пример — система Amazon, которую компания использовала для отбора кандидатов на технические позиции. ИИ отдавал предпочтение резюме мужчин, поскольку обучался на данных, где большинство успешных сотрудников были мужчинами. В результате алгоритм начал занижать рейтинг кандидаток, что привело к отказу от этой технологии в 2018 году.
Подобные примеры показывают, насколько важно учитывать вопросы справедливости, прозрачности и баланса при внедрении ИИ, особенно в чувствительных сферах — от рекрутинга до правосудия и социальной политики.
Таким образом, ИИ — мощный инструмент, но его внедрение требует осторожности, продуманной стратегии и этических рамок. Не все задачи требуют автоматизации, и не все риски можно просчитать заранее. Иногда лучший шаг — осознанный отказ от технологии, если она несёт больше угроз, чем пользы.
