
Качество языковой модели начинается задолго до первого промпта — с того, как подготовлены документы, на которых она работает. Вот основные шаги нашего процесса.

## 1. Сбор и чистка корпуса

Сначала мы собираем исходные документы и приводим их к единому виду: извлечение текста из PDF/DOCX/HTML, удаление служебного мусора (колонтитулы, навигация, дубли), нормализация кодировки и разметки.

## 2. Структурирование под RAG

Дальше документы структурируются под retrieval-augmented generation:

- **Чанкинг** — разбиение на осмысленные фрагменты, а не по фиксированному числу токенов «в лоб».
- **Метаданные** — источник, раздел, дата, тип документа: это то, по чему потом фильтруется и ранжируется выдача.
- **Проверка извлечения** — выборочный прогон запросов, чтобы убедиться, что нужные фрагменты реально находятся.

## 3. Форматы под fine-tuning

Если данные готовятся для дообучения, мы приводим их к целевому формату (instruction/response, диалоги), проверяем примеры на согласованность и разбиваем выборку на train/val/test без утечек.

## 4. Контроль качества

Финальный шаг — аудит: дедупликация, метрики полноты, выборочный ручной контроль. Только после этого данные уходят заказчику вместе с документацией по процессу.

Есть корпус, который пора привести в порядок? Напишите нам: [info@ai-engineering.space](mailto:info@ai-engineering.space).



Когда RAG-система отвечает невпопад, причина почти всегда не в модели, а в данных. Вот четыре проблемы, которые мы встречаем чаще всего.

## Неправильный чанкинг

Разбиение «по 500 токенов с перекрытием» ломает логику документа: таблица оказывается в трёх чанках, а заголовок — в четвёртом. Чинится структурным чанкингом с учётом разметки документа.

## Отсутствие метаданных

Без источника, типа и даты документа невозможно ни фильтровать выдачу, ни объяснить модели, чему доверять. Метаданные — половина качества retrieval.

## Дубликаты и мусор в корпусе

Один и тот же документ в пяти копиях не делает retrieval точнее — он только засоряет индекс. Дедупликация до индексации обязательна.

## Нет проверки извлечения

Индекс построен, но никто не проверял, что типовые запросы реально находят нужные фрагменты. Прогон контрольной выборки запросов — обязательный этап перед запуском.

Всё это — вопросы подготовки данных, а не архитектуры модели. Если ваш RAG врёт, начните с аудита корпуса: [info@ai-engineering.space](mailto:info@ai-engineering.space).


Как мы готовим документы для LLM

Почему RAG не работает: типичные проблемы данных