Алиса обошла ChatGPT и Gemini: как российская нейросеть справилась с юридическим тестом на «отлично»

Проблема галлюцинаций у больших языковых моделей давно перестала быть теоретической темой из исследовательских статей. Сегодня это практический риск — особенно там, где цена ошибки измеряется не потерянными метриками, а юридической ответственностью.

Для юристов эта проблема особенно чувствительна. Нейросеть может написать вполне убедительное заключение, сослаться на судебную практику и выстроить безупречную логику рассуждений. Но при проверке выясняется, что часть судебных актов никогда не существовала, а некоторые выводы не имеют отношения к реальному содержанию дел. Внешне такой текст выглядит профессионально, поэтому ошибка часто обнаруживается слишком поздно.

Когда «умный» отчет оказывается неверным

Этот случай хорошо иллюстрирует ключевую проблему: языковая модель не «понимает» источники в юридическом смысле. Она реконструирует вероятный текст, а не проверяет факты. Именно тогда особенно ясно становится, зачем в юридической практике существует правило двойной проверки: любой документ, даже подготовленный опытным специалистом, должен проходить независимый контроль перед тем, как попасть к клиенту или в суд.

Опасная убедительность: судебная практика, которой не существует

Похожая история уже происходила и в реальной юридической практике. Этот кейс описан в телеграм‑канале Романа Бевзенко. Юристы использовали нейросети для подготовки процессуальных документов, не проверяя ссылки на судебные акты. В результате в материалы попадали решения, которых в действительности не существовало.

Суд в одном из таких случаев расценил подобные действия как недобросовестные и даже вынес санкции за проявленное неуважение к процессу. Проблема оказалась не в самом использовании ИИ, а в отсутствии верификации результата.

Этот эпизод стал для меня отправной точкой для более системного взгляда на вопрос: где именно ломается цепочка «данные → модель → вывод».

От промптов к разочарованию в управляемости

Первый этап экспериментов с ИИ у меня, как и у многих, был связан с промпт‑инжинирингом. Казалось, что точность результата можно повысить за счет максимально детализированных инструкций.

Но довольно быстро стало очевидно главное ограничение: качество формулировки запроса не гарантирует качества исполнения. Модель может проигнорировать часть условий или интерпретировать их по‑своему. И чем сложнее задача, тем заметнее этот эффект.

Векторные базы данных: контроль источников без контроля интерпретации

Следующим логичным шагом казалась попытка ограничить модель в источниках. Идея была простой: если ИИ будет работать только с заранее заданным корпусом документов, вероятность «выдуманных» данных снизится.

На практике эффект оказался неоднозначным.

Да, модель действительно перестает уходить в сторону внешних знаний. Но если внутри ограниченного набора нет точного ответа, она не останавливается. Вместо этого она начинает интерпретировать доступные документы расширительно — подгоняя их под поставленную задачу.

Например, при запросе о судебной практике по оспариванию сделки на основании корпоративных нарушений модель, не найдя релевантных решений, может использовать дела о субсидиарной ответственности. Формально логика сохраняется, но юридическая корректность теряется.

Проблема здесь фундаментальная: модель не сообщает о нехватке данных. Она заполняет пробелы наиболее правдоподобным образом.

Роевая архитектура: попытка разделить мышление

Более устойчивый результат я получил в рамках так называемой «роевой» схемы, где задача распределяется между несколькими агентами.

Фактически это попытка имитировать коллективную экспертную проверку внутри ИИ‑системы.

Именно на этом принципе основан мой проект Камертон.Вердикт, который сейчас тестируется на больших массивах данных.

Задача эксперимента: проверка юридической надежности моделей

В рамках исследования я решил сравнить поведение популярных генеративных моделей в юридически сложной задаче, требующей не только генерации текста, но и точного поиска судебной практики.

Моделям был задан единый вопрос: «Существуют ли риски привлечения к субсидиарной ответственности главного бухгалтера корпорации. При ответе необходимо сослаться на судебную практику привлечения главного бухгалтера к субсидиарной ответственности и привести полные реквизиты судебных актов».

Пояснения по содержанию вопроса: Вопрос предполагает общее исследование вопроса о субсидиарной ответственности с концентрацией на поиске именно определенной практики. Смысл в том, чтобы проверить насколько ИИ сможет пройти этап поиска реальной судебной практики, насколько найденная судебная практика будет соответствовать поставленному условию об отнесении именно к вопросу ответственности бухгалтера и насколько практика, названная ИИ как релевантная, действительно будет соответствовать по своему содержанию поставленному условию.

Метрики оценки. Для анализа я использовал три показателя:

КП (качество практики) — доля релевантных судебных актов в ответе. Максимум — 10 баллов при полной релевантности.

ПГ (полные ошибки) — случаи, когда модель приводит несуществующие судебные акты или искажает их идентификацию.

ЧГ (частичные ошибки) — ситуации, когда дело существует, но его содержание интерпретировано неверно.

Итоговый показатель — индекс юридической надежности: ИЮН = КП — ПГ — ЧГ

Теоретический диапазон — от −10 до 10 баллов.

Что показал эксперимент

Результаты оказались неоднородными.

Часть моделей демонстрировала высокую убедительность текста при низкой фактической точности. В ряде случаев встречались как полностью вымышленные судебные акты, так и корректные дела, но с искаженной правовой позицией.

Отдельные системы, напротив, проявили более осторожное поведение: они либо ограничивали количество примеров, либо избегали точных ссылок, если не были уверены в источнике.

Интересный эффект проявился у моделей, ориентированных на работу с локальными правовыми корпусами: они чаще давали более проверяемые ссылки и реже уходили в генерацию несуществующих дел.

Выводы: ИИ как инструмент, а не источник истины

Главный результат этого эксперимента довольно предсказуем, но от этого не менее важен: современные нейросети нельзя использовать как источник юридической истины без дополнительной проверки.

Они хорошо справляются с:

• структурированием материалов;
• подготовкой черновиков;
• первичным анализом больших массивов текста.

Но они системно ненадежны в вопросах фактической верификации судебной практики.

Вместо послесловия

Полностью закрыть проблему галлюционирования в текущем поколении моделей невозможно — по крайней мере простыми средствами вроде уточнения промпта или ограничения источников. Даже небольшое изменение формулировки запроса может существенно изменить результат.