Opus + RAG vs Fine-tuned LLM + RAG: два підходи до юридичного AI на прикладі LEX та Harvey
Harvey витратив $100M+ і 10B токенів на fine-tuning case law моделі з OpenAI. Ми підключили Opus до 100M+ судових рішень ЄДРСР через RAG. Обидва шляхи працюють — але для різних реальностей.
Opus + RAG vs Fine-tuned LLM + RAG: два підходи до юридичного AI
Harvey витратив $100M+ і навчив кастомну модель на всьому корпусі case law США. Ми підключили Claude Opus до 100M+ судових рішень ЄДРСР через RAG. Обидва працюють. Але це принципово різні інженерні та бізнесові рішення.
Коли звичайний AI-стартап з України подає заявку в Google for Startups Cloud Program і отримує грант на п'ятизначну суму в доларах — це не везіння. Це валідація підходу. Google побачив те саме, що бачимо ми: 100M+ судових рішень, відкритий корпус даних, який не має аналогів за масштабом у Європі, і команду, яка вже побудувала production RAG-систему поверх нього. Ресурси Google Cloud — TPU pod-и, compute credits, інженерна підтримка — це не благодійність. Це інвестиція в те, що українська юрисдикція стане першим полігоном для open-weight юридичного AI на базі DeepSeek v3, навченого на реальних даних реальної правової системи. Harvey витратив $100M на партнерство з OpenAI для US case law. Ми робимо те саме для України — з грантом від Google, відкритою моделлю і корпусом, зібраним з державних реєстрів.
Контекст: чому це порівняння має сенс
Harvey AI — найвідоміша legal AI компанія у світі. $5B+ оцінка, 42% топ-100 юридичних фірм США як клієнти, партнерство з OpenAI на рівні кастомного навчання моделей. Їхній підхід — еталон для індустрії.
LEX AI — українська legal AI платформа, побудована на принципово іншій архітектурі: foundation model (Claude Opus) + RAG поверх повного корпусу Єдиного державного реєстру судових рішень (ЄДРСР) — 100+ мільйонів документів.
Обидві системи вирішують одну задачу: допомогти юристу знайти релевантну судову практику, проаналізувати її та застосувати. Але архітектурні підходи — діаметрально протилежні.
Підхід Harvey: Fine-tuned LLM + RAG
Архітектура
Harvey побудував трирівневу систему:
1. Foundation Layer — GPT-4/GPT-5 як базова модель, розгорнута на Azure
2. Domain Fine-tuning Layer — pre-training та post-training на 10 мільярдах токенів юридичних даних:
- Повний корпус case law США (починаючи з Delaware, потім — вся країна)
- Юридичні reasoning-патерни
- Спеціалізована лексика та цитування
3. Client Customization Layer — адаптація під конкретні фірми:
- Шаблони документів фірми
- Style guides
- Внутрішні прецеденти
Пошукова система
Окремо від моделі Harvey побудував кастомну retrieval-систему:
- Voyage AI embeddings (
voyage-law-2-harvey) — навчені на 20B+ токенів case law - Кастомні юридичні ембединги дали 25% зниження нерелевантних результатів порівняно з generic embeddings
- Hybrid search (vector + keyword)
- Legal-specific preprocessing та postprocessing
- Інтеграція з LexisNexis для Shepardization (перевірка чи прецедент ще чинний)
Результати
- 97% — частка випадків, коли юристи у сліпому тестуванні обрали відповідь fine-tuned моделі над GPT-4
- 0.2% hallucination rate (проти 17-33% у generic моделей)
- Кожне речення підкріплене цитуванням реальної справи
- Multi-model orchestration: різні моделі для drafting, research, jurisdiction-specific запитів
Вартість підходу
- $100M+ інвестицій (Series C від Sequoia, Google Ventures та ін.)
- Партнерство з OpenAI на рівні кастомного навчання моделей
- Команда 200+ інженерів
- Місяці навчання та верифікації кожної ітерації
- Прив'язка до однієї юрисдикції (US case law) з величезним зусиллям для масштабування
Підхід LEX: Opus + RAG
Архітектура
Наш підхід принципово інший — ми не навчаємо модель, а будуємо інфраструктуру навколо неї:
1. Foundation Model — Claude Opus (as-is, без fine-tuning)
- 1M контекстне вікно
- Найсильніший reasoning серед публічних моделей
- Нативне розуміння української мови
2. RAG поверх повного корпусу ЄДРСР:
- 100+ мільйонів судових рішень
- Full-text search (PostgreSQL GIN-індекси з
'simple'language для кирилиці) - Semantic search (Qdrant + OpenAI embeddings)
- Semantic Sectionizer — розбиває документи на логічні секції (статті, частини, пункти)
3. MCP (Model Context Protocol) — структурований інтерфейс між моделлю та даними:
- QueryPlanner класифікує intent і обирає стратегію пошуку
- DocumentService витягує та кешує документи
- LegislationService працює із законодавством (розуміє "Стаття 124 Конституції")
- EdsrFtsService — full-text search по всьому ЄДРСР
Пошукова система
Запит юриста
│
▼
QueryPlanner (intent classification)
│
├── Semantic Search (Qdrant)
│ └── embeddings: text-embedding-ada-002
│
├── Full-text Search (PostgreSQL)
│ └── GIN indexes, 'simple' language config
│
└── Legislation Lookup (RADA API)
└── intelligent sectioning
│
▼
Context Assembly (relevant chunks)
│
▼
Claude Opus (reasoning + generation)
│
▼
Відповідь з цитуванням джерел
Результати
- Повне покриття української юрисдикції (100M+ рішень — весь ЄДРСР)
- Цитування з посиланнями на конкретні справи
- Розуміння контексту воєнного стану, мобілізації, нових законів
- Оновлення корпусу в режимі реального часу (нові рішення потрапляють у систему автоматично)
- Робота з законодавством, реєстрами, парламентськими даними в одному інтерфейсі
Вартість підходу
- Команда: 1 розробник + Claude Code (735 комітів за 25 днів)
- Нуль витрат на навчання моделі
- API costs: pay-per-use (Opus + embeddings)
- Інфраструктура: 1 prod-сервер, Docker Compose, PostgreSQL + Qdrant
- Час до продакшену: тижні, не місяці
Порівняння: що насправді відрізняється
1. Де живе юридичне знання
| Harvey (Fine-tuned) | LEX (Opus + RAG) | |
|---|---|---|
| У вагах моделі | Так — 10B токенів case law вбудовано в модель | Ні — модель generic |
| У retrieval | Так — кастомні embeddings + search | Так — Qdrant + PostgreSQL FTS |
| У контексті | Частково — reasoning вже trained | Повністю — все через prompt |
Fine-tuned модель "знає" юриспруденцію на рівні інтуїції. Вона бачила мільйони справ під час навчання і виробила патерни юридичного мислення. Коли юрист запитує про piercing the corporate veil, модель не просто шукає — вона "пам'ятає" ключові прецеденти.
Opus + RAG "знає" юриспруденцію через контекст. Модель отримує релевантні фрагменти справ через RAG і застосовує свій generic reasoning для аналізу. Opus не "пам'ятає" судову практику — але вміє її читати та аналізувати краще за будь-яку спеціалізовану модель меншого масштабу.
2. Hallucinations та достовірність
Harvey досяг 0.2% hallucination rate через:
- Fine-tuning на реальних справах (модель "бачила" їх)
- Post-processing з перевіркою цитувань
- Shepardization через LexisNexis
LEX мінімізує галюцинації через:
- Grounding — модель відповідає лише на основі наданого контексту
- Explicit instructions — системний промпт вимагає цитування джерел
- Верифікація — QueryPlanner перевіряє чи знайдені реальні документи
- Конституційні обмеження — модель явно інструктована не робити висновків за межами наданих даних
3. Оновлюваність
Це найбільша перевага RAG-підходу.
Fine-tuned модель — це знімок корпусу на момент навчання. Нове рішення Верховного Суду, прийняте вчора, не існує для моделі до наступного циклу fine-tuning (тижні-місяці).
RAG-система оновлюється в режимі реального часу. Рішення, внесене до ЄДРСР сьогодні вранці, доступне для пошуку сьогодні ввечері. Для юрисдикції у стані воєнного часу, де нове законодавство з'являється щотижня, це критично.
4. Масштабування на нові юрисдикції
Harvey масштабується важко: кожна нова юрисдикція — це новий цикл збору даних, навчання, верифікації. US case law ≠ EU case law ≠ українське судочинство. Reasoning-патерни різні. Юридична термінологія різна. Ієрархія джерел різна.
RAG масштабується легко: підключити новий корпус документів, налаштувати embeddings, оновити search pipeline. Ми вже підключили:
- ЄДРСР (100M+ рішень)
- Законодавство через RADA API
- OpenReyestr (реєстр юридичних осіб)
- Парламентські дані (депутати, законопроєкти, голосування)
5. Кастомізація reasoning
Fine-tuning дозволяє вбудувати юридичний reasoning у модель:
- Модель "розуміє" юридичну аргументацію
- Може самостійно будувати ланцюжки прецедентів
- Менше залежить від якості пошуку
Prompt engineering + RAG дозволяє контролювати reasoning:
- Прозора логіка (можна прочитати промпт)
- Легко змінити стратегію (оновити промпт, не перенавчати модель)
- Конституційні обмеження через RLHF-принципи у промпті
Чому ми обрали RAG, а не fine-tuning
1. Економічна реальність
Fine-tuning юридичної моделі — це проєкт на $10M+ навіть для мінімально життєздатного продукту. Harvey залучив $100M+ і має команду 200+ людей. Для українського ринку, де весь TAM legal tech — це частка того, що заробляє одна Am Law 100 фірма, такі інвестиції не мають економічного сенсу.
RAG-підхід дозволив нам вийти в продакшен з командою в одну людину та бюджетом на API calls.
2. Швидкість ітерацій
Цикл fine-tuning: зібрати дані → очистити → навчити → оцінити → задеплоїти. Тижні-місяці.
Цикл RAG: оновити промпт → задеплоїти. Хвилини.
Коли ВС ВП ухвалює нову правову позицію, яка змінює тлумачення цілої галузі — RAG-система адаптується за години, а не за місяці.
3. Якість foundation models
У 2023 році, коли Harvey починав fine-tuning, GPT-4 був найкращою моделлю, і його reasoning на юридичних задачах був "добрий, але не достатній". Fine-tuning мав сенс.
У 2026 році Claude Opus має 1M контексту і reasoning, який перевершує спеціалізовані моделі. Різниця між "generic Opus + правильний контекст" та "fine-tuned GPT + retrieval" стала значно меншою. Foundation models наздогнали fine-tuned спеціалізовані моделі по якості reasoning — і продовжують покращуватись з кожним релізом.
4. Українська юрисдикція
Українське право — це не common law. Немає stare decisis (обов'язковості прецеденту). Судова практика має рекомендаційний характер. Значить:
- Точне цитування прецедентів менш критичне, ніж у US law
- Важливіше знати актуальне законодавство + правові позиції ВС
- Корпус постійно змінюється (воєнний стан, нові закони щотижня)
- RAG з real-time оновленням ідеально підходить для цього контексту
5. Transparency та контроль
Fine-tuned модель — це чорна скринька. Ви не знаєте, чому вона згенерувала саме таку відповідь. Які ваги спрацювали? Яких справах вона "згадала"?
RAG — прозорий. Ви бачите:
- Які документи знайдені (search results)
- Що потрапило в контекст (retrieved chunks)
- Що модель отримала на вхід (prompt)
- Як вона прийшла до відповіді (reasoning в output)
Для юридичної системи, де кожна відповідь може вплинути на долю людини, прозорість — це не nice-to-have, а вимога.
Де fine-tuning все ще перемагає
Чесність вимагає визнати: є задачі, де fine-tuned модель Harvey об'єктивно краща:
1. Юридичний reasoning без контексту — коли юрист запитує загальне юридичне питання без конкретної справи, fine-tuned модель дає кращу відповідь, бо "знає" юриспруденцію. RAG залежить від якості пошуку.
2. Ланцюжки прецедентів — fine-tuned модель може самостійно побудувати аргумент через серію пов'язаних прецедентів, бо "бачила" ці зв'язки під час навчання. RAG може пропустити прецедент, якщо search не знайшов його.
3. Стилістика юридичних документів — модель, навчена на мільйонах юридичних текстів, краще імітує стиль legal writing. Generic модель потребує більше промпт-інжинірингу.
4. Масштаб — при обробці сотень контрактів за раз (due diligence) fine-tuned модель ефективніша, бо не потребує retrieval на кожен крок.
Майбутнє: конвергенція підходів
Межа між RAG та fine-tuning розмивається:
- Harvey будує RAG поверх fine-tuned моделі (їхня case law search — це RAG)
- Ми розглядаємо domain-specific embeddings (аналог voyage-law, але для української юриспруденції)
- Обидва рухаються до agentic workflows — мультикрокових систем, де модель сама вирішує, що шукати
Правда в тому, що "fine-tuning vs RAG" — це хибна дихотомія. Harvey використовує і fine-tuning, і RAG. Ми використовуємо RAG і будемо додавати елементи domain adaptation (кастомні embeddings, constitutional RLHF).
Кінцева архітектура юридичного AI — це спектр:
Pure RAG ←──────────────────────────────────→ Pure Fine-tuning
│ │
LEX (Opus + ЄДРСР) Harvey (custom GPT + RAG)
│ │
Дешево, швидко, Дорого, довго,
прозоро, оновлювано глибоко, точно
Оптимум для кожної юрисдикції, команди та бюджету — десь між цими полюсами.
LEX + Google + DeepSeek v3: fine-tuning для української юрисдикції
Ми не лише порівнюємо підходи — ми рухаємось у бік fine-tuning самі. LEX AI працює спільно з Google над задачею, аналогічною Harvey + OpenAI, але для українського права.
Чому DeepSeek v3
DeepSeek v3 — open-weight модель з Mixture-of-Experts архітектурою (671B параметрів, 37B активних на запит). Для fine-tuning під українську юрисдикцію це ідеальна основа:
- Open weights — повний контроль над навчанням, немає залежності від API-провайдера
- MoE-ефективність — вартість інференсу в рази нижча за dense-моделі аналогічного масштабу
- Сильна мультилінгвальність — якісна підтримка кирилиці та української мови з коробки
- Юридичний reasoning — baseline reasoning на рівні GPT-4o, що дає високу стартову точку для domain adaptation
Що ми навчаємо
Корпус для fine-tuning — 100M+ судових рішень ЄДРСР, українське законодавство, правові позиції Верховного Суду. Це той самий масив даних, який зараз живе в нашій RAG-системі — але замість того, щоб подавати його в контекст щоразу, ми вбудовуємо юридичне знання безпосередньо у ваги моделі.
Ключові напрямки:
- Pre-training на повному корпусі ЄДРСР — модель "побачить" всю судову практику України
- Post-training на парах "запит юриста → якісна відповідь" з юридичними анотаторами
- Constitutional RLHF — reward signal на основі Конституції України (описано в нашій попередній статті)
- Кастомні embeddings для українського юридичного тексту (аналог voyage-law-2-harvey від Harvey)
Роль Google
Google Cloud надає інфраструктуру для навчання: TPU pod-и для pre-training на сотнях мільйонів документів, інструменти для distributed training, та експертизу в оптимізації MoE-моделей. Партнерство дозволяє нам виконати роботу, яка раніше вимагала команди з 200+ інженерів.
Як це змінить LEX
Фінальна архітектура LEX буде гібридною:
Запит юриста
│
▼
Fine-tuned DeepSeek v3 (юридичний reasoning у вагах)
+
RAG (актуальні рішення, нове законодавство)
+
Constitutional RLHF (етичні обмеження)
│
▼
Відповідь з глибоким юридичним reasoning
+ актуальними джерелами
+ конституційними гарантіями
Це те, що Harvey побудував для US common law за $100M+ з OpenAI. Ми будуємо те саме для української юрисдикції з Google та DeepSeek — на відкритих даних, з відкритою моделлю, для ринку, де доступ до правосуддя — не бізнес-метрика, а питання виживання.
Висновки
| Критерій | Harvey (Fine-tuned + RAG) | LEX (Opus + RAG) |
|---|---|---|
| Якість reasoning | Вбудований юридичний reasoning | Generic reasoning + контекст |
| Hallucinations | 0.2% (verified) | Низький (grounded RAG) |
| Оновлюваність | Тижні-місяці | Години |
| Нові юрисдикції | Новий цикл навчання | Новий корпус даних |
| Вартість запуску | $10M+ | $10K |
| Прозорість | Чорна скринька | Повна прозорість |
| Час до продакшену | Місяці | Тижні |
| Кастомізація reasoning | Через навчання (повільно) | Через промпт (швидко) |
Для українського legal tech у 2026 році RAG + Opus — це правильний вибір. Не тому, що fine-tuning поганий. А тому, що:
- Foundation models стали достатньо розумними, щоб RAG працював на рівні fine-tuned спеціалізованих моделей
- Українська юрисдикція вимагає real-time оновлень, яких fine-tuning не може забезпечити
- Економіка українського ринку не дозволяє витратити $100M на навчання моделі
- Прозорість RAG критична для юридичної системи, де помилка — це не баг, а порушення прав людини
Harvey пішов правильним шляхом для свого контексту: US common law, $500B ринок, $100M інвестицій. Ми йдемо правильним шляхом для свого: українське право, воєнний стан, команда з одної людини та AI-напарника.
Різні реальності — різні архітектури. Але мета одна: зробити правосуддя доступнішим.
Джерела:
- Customizing models for legal professionals — OpenAI
- Harvey AI's $5B Legal Fine-Tuning Case Study
- How Harvey Built Trust in Legal AI — Medium
- Harvey makes lawyers more efficient with Azure AI — Microsoft
Реєстрація: legal.org.ua