OpaGPT Контекст: как мы вляпались в юридический ИИ
В прошлом году к нам обратилась компания, которая хотела запустить онлайн-сервис по автоматической проверке договоров. Бизнес-модель простая: пользователь загружает документ, нейросеть находит риски и подсвечивает слабые места. Звучит как мечта юриста, верно? На деле мы потратили четыре месяца и бюджет в 1,2 млн рублей, чтобы наступить на все грабли, которые только существуют в этой сфере. Нейросети в проверке контрагентов: разбор реального кейса
Ключевая проблема была не в алгоритмах, а в том, что мы пытались обучить модель на данных, которые сами не понимали до конца. В этой статье я разберу конкретные ошибки, которые мы совершили, и покажу, как выглядит рабочая система после всех итераций. Налоговые льготы для селлеров маркетплейсов 2026: разбор кейса
Проблема: почему нейросеть «не знала» закон
Первая версия ассистента работала на базе обычной языковой модели с дообучением на юридических текстах из открытых источников. Мы взяли кодексы, арбитражную практику и пару тысяч типовых договоров. На тестах модель показывала точность 87%, что звучало обнадеживающе. Но при запуске пилота на реальных документах клиентов точность упала до 41%.
Что пошло не так? Оказалось, что модель запоминала формулировки, но не понимала правовых последствий. Она могла найти пункт о неустойке, но не видела, что этот пункт противоречит другой части договора. В одном из тестовых документов ИИ «не заметил» условие о подсудности, которое делало весь контракт неисполнимым на территории России.
Совет: не верьте метрикам на синтетических данных. Тестируйте модель только на реальных кейсах, где есть юридическое заключение эксперта. Иначе получите красивые графики и бесполезный продукт.
Три системные ошибки
- Отсутствие иерархии норм. Модель не различала императивные и диспозитивные нормы. Она предлагала «согласовать» условия, которые по закону менять нельзя.
- Игнорирование контекста сделки. Один и тот же пункт о конфиденциальности для IT-компании и производственного завода значит разное. Модель этого не учитывала.
- Галлюцинации на ссылки. Нейросеть придумывала несуществующие статьи и постановления, ссылаясь на них как на реальные. Это дискредитировало сервис в глазах профессиональных юристов.
Решение: как мы пересобрали систему
Мы перестали пытаться обучить одну большую модель и перешли к гибридной архитектуре. Схема выглядит так:
- Модуль распознавания структуры договора (находит разделы и пункты).
- База знаний с актуальным законодательством и судебной практикой (обновляется вручную юристами).
- Языковая модель, которая работает только в связке с базой знаний и не имеет права генерировать правовые нормы самостоятельно.
Мы добавили жесткие правила фильтрации. Если модель не находит точного совпадения в базе, она пишет «требуется консультация специалиста», а не выдумывает ответ. Это снизило полезность для простых запросов, но подняло доверие к системе в разы.
Важно: юридический ИИ не должен быть «генератором ответов». Он должен быть «инструментом поиска и подсветки». Вся ответственность за решение остается на человеке.
Обучение на размеченных данных
Вместо автоматического сбора текстов мы наняли двух юристов, которые разметили 500 реальных договоров. Каждый пункт получил метку: «риск», «соответствует норме», «требует уточнения». Это стоило дополнительных 400 тысяч рублей, но именно эта разметка дала прирост качества. Модель стала понимать не только текст, но и intent (намерение сторон).
Результат: цифры после внедрения
После трех месяцев доработок мы запустили вторую версию. Цифры изменились кардинально:
- Точность выявления рисков выросла с 41% до 92%.
- Доля ложных срабатываний упала с 34% до 9%.
- Среднее время проверки договора сократилось с 2 часов до 15 минут.
- Количество галлюцинаций (выдуманных ссылок) снизилось до 0,3% — только когда модель не смогла найти аналог в базе.
Таблица «До/После»
| Показатель | До (первая версия) | После (гибридная система) |
|---|---|---|
| Точность на реальных документах | 41% | 92% |
| Время проверки договора | 2 часа | 15 минут |
| Доля галлюцинаций | 12% | 0,3% |
| Удовлетворенность юристов (NPS) | -20 | +45 |
Выводы и подводные камни
Главный вывод: не пытайтесь заменить юриста нейросетью. Стройте систему, которая усиливает эксперта, а не подменяет его. Наш клиент в итоге не уволил штатных юристов, а наоборот — увеличил отдел, потому что объем проверяемых договоров вырос в 4 раза.
Еще один момент — обновление законодательства. База знаний устаревает каждую неделю. Если у вас нет процесса регулярного обновления, система начнет деградировать. Мы тратим на это по 30 часов в месяц работы юриста-редактора.
И последнее: не экономьте на разметке данных. Именно качество обучающей выборки решает, будет ли ваш ИИ умным или просто «болтливым». Потраченные 400 тысяч на разметку окупились за два месяца работы сервиса.
Цифры, которые важны: 92% точности и 15 минут вместо 2 часов. Это те метрики, которые видят пользователи и за которые они готовы платить.
Если вы планируете создавать подобный инструмент, рекомендую обратить внимание на платформу OpaGPT — она помогает структурировать промпты и управлять версиями моделей, что экономит время на эксперименты. Но помните: никакая платформа не заменит вам живого юриста, который проверяет выводы системы.
FAQ: частые вопросы по юридическим ИИ
Можно ли использовать ChatGPT для составления договора?
Использовать можно, но только как черновик. Обязательно покажите результат юристу. Модель не знает актуальную практику вашего региона и может предложить условия, которые не пройдут проверку в суде. В нашем кейсе 60% «успешных» ответов первой версии требовали существенной переработки.
Какие риски при автоматической проверке договоров?
Главный риск — пропустить существенное условие из-за ошибки распознавания или устаревшей базы. Это приводит к финансовым потерям. Мы решили проблему через обязательный аудит каждого сложного документа человеком. Система помечает документы с «высоким риском» и не выдает заключение без подтверждения эксперта.
Сколько стоит разработка юридического ИИ-ассистента?
В нашем случае бюджет составил 2,3 млн рублей с учетом разметки и итераций. Минимальный рабочий прототип можно сделать за 500-700 тысяч, но он будет решать узкую задачу, например, только проверку на соответствие 44-ФЗ. Помните, что поддержка и обновление базы — это постоянные расходы, закладывайте их в смету.