Дипсик ошибается: почему и как проверять ответы

Дипсик ошибается — и делает это уверенно: придумывает книги, путает даты, называет несуществующие функции в библиотеке. Это не баг конкретной версии и не «недостаток обучения», а свойство языковых моделей. Понимание, где именно проходит граница, экономит часы: одни ошибки видны сразу, другие выглядят как факты и всплывают через неделю в отчёте.

Почему дипсик ошибается

Дипсик ошибается не потому, что «плохо обучен», а потому что предсказывает текст, а не проверяет факты. Пока это не изменится, единственная рабочая стратегия — проверять то, чего вы не знаете сами.

Модель не ищет факты — она предсказывает следующий токен на основе закономерностей из обучающих данных. Если закономерность сильная, ответ будет точным. Если данных мало или они противоречивы, модель всё равно выдаст правдоподобный текст: у неё нет механизма «я не знаю».

Отсюда три типа ошибок:

• Галлюцинации — выдуманные факты, которых не было в данных.
• Устаревшие данные — модель не знает того, что произошло после обучения.
• Ошибки рассуждения — логика в целом верна, но в середине цепочки сбился шаг.

Где дипсик ошибается чаще всего

Почему ошибки выглядят убедительно

Три причины. Первая — стиль: модель пишет уверенно, без «возможно» и «наверное». Вторая — контекст: выдуманный факт обрастает деталями, которые выглядят правдоподобно. Третья — избирательное внимание: человек замечает ошибку, только если знает правильный ответ, то есть именно в тех случаях, когда модель не нужна.

Практический вывод: проверять нужно там, где вы не эксперт. Это противоречит интуиции, но именно так работают реальные провалы.

Как снизить количество ошибок

1. Давайте данные, а не вопросы. «Вот документ, найди в нём…» надёжнее, чем «расскажи про…».
2. Просите цитаты. Требование указывать фрагмент, из которого взят вывод, отсекает половину галлюцинаций.
3. Включайте режим max для сложных задач. Больше шагов проверки — меньше ошибок в цепочке.
4. Разрешайте не знать. Добавьте в промпт: «если данных нет, напиши «нет данных», не додумывай».
5. Сверяйте числа отдельно. Любая арифметика в ответе пересчитывается вручную или скриптом.

Промпт-предохранитель

Отвечай только на основе фрагмента ниже. Для каждого утверждения указывай, из какого абзаца оно взято. Если ответа в тексте нет — напиши «в источнике нет», не дополняй своими знаниями. В конце перечисли, что осталось неясным.

Такой запрос не устраняет ошибки полностью, но делает их видимыми: модель либо ссылается на фрагмент, либо честно говорит, что его нет.

Как быстро проверить ответ

• Факт — ищем в двух независимых источниках.
• Ссылка — открываем и проверяем, что страница существует и говорит о том же.
• Число — пересчитываем, а не «смотрим, похоже ли».
• Код — запускаем; ошибка в API видна сразу.
• Цитата — ищем точное совпадение, а не смысл.

Пять минут проверки на ответ, который идёт в отчёт, дешевле, чем один неверный слайд на встрече с клиентом.

Когда ошибка модели — не ошибка

Иногда «неверный» ответ означает, что вопрос был сформулирован двусмысленно. Модель ответила на другую задачу, а не ошиблась в фактах. Прежде чем переписывать промпт, проверьте: указали ли вы аудиторию, формат, ограничения и что именно считать правильным ответом.

Полезная привычка: если ответ не тот, сначала спросите модель, как она поняла задачу. В половине случаев проблема обнаруживается в этом объяснении.

Больше о том, как формулировать запросы — в статье промпты для Дипсика; о моделях и их режимах — в материале модели DeepSeek.