DeepSeek для RAG: как собрать ответы по своим документам

DeepSeek для RAG — это ответы по вашим документам, а не по памяти модели. Схема простая: документы режутся на фрагменты, превращаются в векторы, при запросе находятся похожие — и уже они уходят в модель как контекст. Работает на любом объёме: от папки с регламентами до базы знаний на десять тысяч страниц.
Из чего состоит RAG
- Загрузка. PDF, DOCX, таблицы, страницы сайта — всё приводится к тексту.
- Нарезка. Текст делится на чанки 500–800 токенов с перекрытием 10–15 %.
- Эмбеддинги. Каждый чанк превращается в вектор и кладётся в хранилище.
- Поиск. Вопрос тоже превращается в вектор, находятся 3–5 ближайших чанков.
- Ответ. DeepSeek получает вопрос и найденные фрагменты и отвечает с ссылками на них.
Что выбрать для хранения
| Вариант | Когда подходит | Особенность |
|---|---|---|
| pgvector в PostgreSQL | Уже есть Postgres | Одна база для данных и векторов |
| Qdrant | От десятков тысяч чанков | Быстрый поиск, фильтры по метаданным |
| Файловый индекс | До тысячи фрагментов | Проще всего для прототипа |
Нарезка: где чаще всего теряется качество
Слишком крупные чанки размывают смысл: модель получает страницу текста и отвечает общими словами. Слишком мелкие — теряют контекст: «он отказался» без указания, кто и от чего. Практика: 500–800 токенов, перекрытие 10–15 %, разрез по абзацам, а не по символам. Заголовки разделов стоит добавлять в начало каждого чанка — это заметно улучшает поиск.
Промпт для ответа
Модель должна отвечать только по найденным фрагментам и честно говорить, если данных нет.
Отвечай только по фрагментам ниже. После утверждения указывай
номер источника в квадратных скобках, например [2].
Если ответа в фрагментах нет, напиши: «В документах этого нет».
Как оценить качество
- Точность поиска. Попадает ли нужный чанк в топ-5 по 30 тестовым вопросам.
- Верность ответа. Нет ли утверждений, которых не было в источниках.
- Полнота. Отвечает ли на вопрос целиком, а не частично.
- Отказ. Говорит ли «не знаю», когда данных нет.
Без такого набора вы будете улучшать вслепую: субъективное «стало лучше» ничего не значит.
Типичные ошибки
- Один индекс на всё. Регламенты, договоры и переписка ищутся по-разному —лучше отдельные коллекции.
- Нет метаданных. Без даты, раздела и автора фильтровать результаты невозможно.
- Нет переиндексации. Документы обновляются, а чанки остаются старыми — и модель отвечает по устаревшим данным.
- Слишком много контекста. 20 чанков в запросе дороже и хуже: модель теряет главное.
Стоимость
Основные расходы — эмбеддинги при индексации и токены на ответы. Запрос с пятью чанками по 600 токенов — это около 3 000 входных токенов, то есть доли цента на flash. Дорого становится, когда в контекст кладут всю базу: экономия на поиске оборачивается ростом счёта.
Чанки: размер и перекрытие
Типовой диапазон — 500–800 токенов с перекрытием 10–15 %. Слишком мелкие фрагменты теряют контекст, слишком крупные размывают смысл и съедают окно. Для инструкций и регламентов удобно резать по разделам, а не по количеству символов: тогда в чанк попадает законченная мысль.
Проверка простая: возьмите 20 реальных вопросов пользователей и посмотрите, попадает ли нужный фрагмент в топ-3 выдачи. Если нет — проблема в чанках или в запросе, а не в модели.
Эмбеддинги и хранение
| Компонент | Варианты | Когда выбирать |
|---|---|---|
| Модель эмбеддингов | Мультиязычные, bge-m3 | Русский текст |
| Хранилище | pgvector, Qdrant | Уже есть Postgres |
| Поиск | Векторный + BM25 | Термины и артикулы |
Гибридный поиск почти всегда лучше чистого векторного: точные названия и номера находятся по ключевым словам, смысл — по векторам.
Промпт с цитатами
Ответ без источников в RAG бесполезен: непонятно, откуда взялся факт. Требуйте фрагменты с идентификаторами и явное «в документах нет ответа», если контекст не покрывает вопрос. Это снижает число уверенных, но неверных ответов сильнее, чем любая настройка температуры.
Что ломается чаще всего
- Документы обновляются, а индекс — нет: нужна переиндексация по расписанию.
- В базу попадают сканы без текстового слоя — сначала OCR.
- Метаданные не фильтруются: ответы приходят из чужого отдела.
Оценка качества
Две метрики закрывают почти всё: доля ответов с корректной цитатой и доля отказов «в документах нет данных» там, где их действительно нет. Первая ловит плохой поиск, вторая — уверенные выдумки. Замеряйте на 30 вопросах до и после каждого изменения: без этого улучшения превращаются в ощущения.
Для RAG с DeepSeek важно ограничить объём контекста: 5–8 фрагментов обычно достаточно, а 30 фрагментов дают больше шума и стоят дороже.
DeepSeek для RAG — это не «умный поиск», а дисциплина: чанки, цитаты и проверка на своих вопросах.
DeepSeek для RAG — это не «умный поиск», а дисциплина: чанки, цитаты и проверка на своих вопросах.
Нужно ли дообучать модель на документах?
Обычно нет: RAG дешевле и обновляется без переобучения. Дообучение имеет смысл для стиля и формата, а не для фактов, которые меняются.
Сколько чанков подавать в запрос?
Три-пять после поиска. Если релевантных больше, лучше сузить запрос, чем увеличивать контекст: точность падает, а счёт растёт.
Обязательны ли эмбеддинги?
Можно начать с полнотекстового поиска — для небольших баз этого хватает. Векторный поиск нужен, когда формулировки вопроса и документа не совпадают дословно.
Как бороться с выдумками?
Разрешить модели отвечать «в документах этого нет» и требовать ссылки на фрагменты. Проверяйте, что каждая ссылка действительно содержит утверждение.
Подойдёт ли для персональных данных?
Только с контролем доступа: поиск должен фильтровать документы по правам пользователя. Иначе сотрудник получит ответ по чужим документам.