DeepSeek для RAG: как собрать ответы по своим документам

DeepSeek для RAG: база знаний и поиск по документам

DeepSeek для RAG — это ответы по вашим документам, а не по памяти модели. Схема простая: документы режутся на фрагменты, превращаются в векторы, при запросе находятся похожие — и уже они уходят в модель как контекст. Работает на любом объёме: от папки с регламентами до базы знаний на десять тысяч страниц.

Из чего состоит RAG

  1. Загрузка. PDF, DOCX, таблицы, страницы сайта — всё приводится к тексту.
  2. Нарезка. Текст делится на чанки 500–800 токенов с перекрытием 10–15 %.
  3. Эмбеддинги. Каждый чанк превращается в вектор и кладётся в хранилище.
  4. Поиск. Вопрос тоже превращается в вектор, находятся 3–5 ближайших чанков.
  5. Ответ. DeepSeek получает вопрос и найденные фрагменты и отвечает с ссылками на них.

Что выбрать для хранения

Вариант Когда подходит Особенность
pgvector в PostgreSQL Уже есть Postgres Одна база для данных и векторов
Qdrant От десятков тысяч чанков Быстрый поиск, фильтры по метаданным
Файловый индекс До тысячи фрагментов Проще всего для прототипа

Нарезка: где чаще всего теряется качество

Слишком крупные чанки размывают смысл: модель получает страницу текста и отвечает общими словами. Слишком мелкие — теряют контекст: «он отказался» без указания, кто и от чего. Практика: 500–800 токенов, перекрытие 10–15 %, разрез по абзацам, а не по символам. Заголовки разделов стоит добавлять в начало каждого чанка — это заметно улучшает поиск.

Промпт для ответа

Модель должна отвечать только по найденным фрагментам и честно говорить, если данных нет.

Отвечай только по фрагментам ниже. После утверждения указывай
номер источника в квадратных скобках, например [2].
Если ответа в фрагментах нет, напиши: «В документах этого нет».

Как оценить качество

  • Точность поиска. Попадает ли нужный чанк в топ-5 по 30 тестовым вопросам.
  • Верность ответа. Нет ли утверждений, которых не было в источниках.
  • Полнота. Отвечает ли на вопрос целиком, а не частично.
  • Отказ. Говорит ли «не знаю», когда данных нет.

Без такого набора вы будете улучшать вслепую: субъективное «стало лучше» ничего не значит.

Типичные ошибки

  1. Один индекс на всё. Регламенты, договоры и переписка ищутся по-разному —лучше отдельные коллекции.
  2. Нет метаданных. Без даты, раздела и автора фильтровать результаты невозможно.
  3. Нет переиндексации. Документы обновляются, а чанки остаются старыми — и модель отвечает по устаревшим данным.
  4. Слишком много контекста. 20 чанков в запросе дороже и хуже: модель теряет главное.

Стоимость

Основные расходы — эмбеддинги при индексации и токены на ответы. Запрос с пятью чанками по 600 токенов — это около 3 000 входных токенов, то есть доли цента на flash. Дорого становится, когда в контекст кладут всю базу: экономия на поиске оборачивается ростом счёта.

Чанки: размер и перекрытие

Типовой диапазон — 500–800 токенов с перекрытием 10–15 %. Слишком мелкие фрагменты теряют контекст, слишком крупные размывают смысл и съедают окно. Для инструкций и регламентов удобно резать по разделам, а не по количеству символов: тогда в чанк попадает законченная мысль.

Проверка простая: возьмите 20 реальных вопросов пользователей и посмотрите, попадает ли нужный фрагмент в топ-3 выдачи. Если нет — проблема в чанках или в запросе, а не в модели.

Эмбеддинги и хранение

Компонент Варианты Когда выбирать
Модель эмбеддингов Мультиязычные, bge-m3 Русский текст
Хранилище pgvector, Qdrant Уже есть Postgres
Поиск Векторный + BM25 Термины и артикулы

Гибридный поиск почти всегда лучше чистого векторного: точные названия и номера находятся по ключевым словам, смысл — по векторам.

Промпт с цитатами

Ответ без источников в RAG бесполезен: непонятно, откуда взялся факт. Требуйте фрагменты с идентификаторами и явное «в документах нет ответа», если контекст не покрывает вопрос. Это снижает число уверенных, но неверных ответов сильнее, чем любая настройка температуры.

Что ломается чаще всего

  • Документы обновляются, а индекс — нет: нужна переиндексация по расписанию.
  • В базу попадают сканы без текстового слоя — сначала OCR.
  • Метаданные не фильтруются: ответы приходят из чужого отдела.

Оценка качества

Две метрики закрывают почти всё: доля ответов с корректной цитатой и доля отказов «в документах нет данных» там, где их действительно нет. Первая ловит плохой поиск, вторая — уверенные выдумки. Замеряйте на 30 вопросах до и после каждого изменения: без этого улучшения превращаются в ощущения.

Для RAG с DeepSeek важно ограничить объём контекста: 5–8 фрагментов обычно достаточно, а 30 фрагментов дают больше шума и стоят дороже.

DeepSeek для RAG — это не «умный поиск», а дисциплина: чанки, цитаты и проверка на своих вопросах.

DeepSeek для RAG — это не «умный поиск», а дисциплина: чанки, цитаты и проверка на своих вопросах.

Нужно ли дообучать модель на документах?

Обычно нет: RAG дешевле и обновляется без переобучения. Дообучение имеет смысл для стиля и формата, а не для фактов, которые меняются.

Сколько чанков подавать в запрос?

Три-пять после поиска. Если релевантных больше, лучше сузить запрос, чем увеличивать контекст: точность падает, а счёт растёт.

Обязательны ли эмбеддинги?

Можно начать с полнотекстового поиска — для небольших баз этого хватает. Векторный поиск нужен, когда формулировки вопроса и документа не совпадают дословно.

Как бороться с выдумками?

Разрешить модели отвечать «в документах этого нет» и требовать ссылки на фрагменты. Проверяйте, что каждая ссылка действительно содержит утверждение.

Подойдёт ли для персональных данных?

Только с контролем доступа: поиск должен фильтровать документы по правам пользователя. Иначе сотрудник получит ответ по чужим документам.

Смотрите также