Как мы готовим документы для LLM

Качество языковой модели начинается задолго до первого промпта — с того, как подготовлены документы, на которых она работает. Вот основные шаги нашего процесса.

1. Сбор и чистка корпуса

Сначала мы собираем исходные документы и приводим их к единому виду: извлечение текста из PDF/DOCX/HTML, удаление служебного мусора (колонтитулы, навигация, дубли), нормализация кодировки и разметки.

2. Структурирование под RAG

Дальше документы структурируются под retrieval-augmented generation:

• Чанкинг — разбиение на осмысленные фрагменты, а не по фиксированному числу токенов «в лоб».
• Метаданные — источник, раздел, дата, тип документа: это то, по чему потом фильтруется и ранжируется выдача.
• Проверка извлечения — выборочный прогон запросов, чтобы убедиться, что нужные фрагменты реально находятся.

3. Форматы под fine-tuning

Если данные готовятся для дообучения, мы приводим их к целевому формату (instruction/response, диалоги), проверяем примеры на согласованность и разбиваем выборку на train/val/test без утечек.

4. Контроль качества

Финальный шаг — аудит: дедупликация, метрики полноты, выборочный ручной контроль. Только после этого данные уходят заказчику вместе с документацией по процессу.

Есть корпус, который пора привести в порядок? Напишите нам: info@ai-engineering.space.