Собираем, чистим и размечаем текстовые корпуса и датасеты под задачи обучения и дообучения моделей.

Структурируем документацию для retrieval-augmented generation: чанкинг, метаданные, качество извлечения.

Готовим инструкционные и доменные датасеты для дообучения: форматы, шаблоны, валидация примеров.

Проверяем полноту, согласованность и чистоту данных: дедупликация, метрики качества, аудит выборок.

Достаём текст из PDF, DOCX, HTML и сканов: таблицы, колонтитулы, структура — без потери смысла и без мусора.

Оцениваем, годятся ли ваши данные для RAG или обучения, и что нужно исправить: карта проблем и план подготовки.