Как работает DeepSeek: архитектура и режимы

Как работает DeepSeek - архитектура и режимы

Как работает DeepSeek — вопрос не праздный: понимание архитектуры объясняет и цену, и длину контекста, и то, почему на одних задачах модель сильна, а на других проваливается. Ниже — устройство модели без формул: что такое MoE, зачем нужно обучение с подкреплением, почему контекст в миллион токенов не стоит миллион денег и где проходит граница возможностей.

Основа: смесь экспертов (MoE)

У DeepSeek V4.1-Flash 552 млрд параметров, но на каждый токен активируется лишь часть — примерно 8 млрд на входе и 16 млрд на выходе. Это и есть MoE: сеть разделена на «экспертов», и маршрутизатор выбирает, кого включить для конкретного фрагмента текста.

Смысл в экономике: модель хранит огромный объём знаний, но вычисляет только нужную часть. Отсюда низкая цена API при качестве, сопоставимом с плотными моделями в разы большего размера.

Как работает DeepSeek: что происходит при запросе

Понимание шагов важно для практики: если ответ слабый, почти всегда проблема в том, что модель не получила нужных данных, а не в «железе». Как работает DeepSeek на уровне токенов — вопрос инженерии, а на уровне результата — вопрос вашего промпта. Практический вывод: сначала данные и структура запроса, потом выбор модели. Именно поэтому вопрос, как работает DeepSeek, полезнее разбирать на своём кейсе, чем в теории.

  1. Токенизация. Текст режется на токены — куски слов. Русский язык «дороже» английского: на тот же смысл уходит больше токенов.
  2. Маршрутизация. Каждый токен проходит через выбранных экспертов, а не через всю сеть.
  3. Внимание к контексту. Модель сопоставляет новый токен с предыдущими — здесь работает механизм attention, и именно он определяет «память» диалога.
  4. Генерация. Ответ строится токен за токеном; при стриминге вы видите его по мере появления.

Важная деталь: модель не «ищет» в базе знаний. Она предсказывает следующий токен на основе выученных закономерностей — поэтому факты могут быть правдоподобными и неверными одновременно.

Почему контекст в 1 млн токенов не разоряет

Классическое внимание растёт квадратично: удвоили контекст — вчетверо выросли вычисления. DeepSeek использует гибридную схему, где для длинного контекста применяется разреженное внимание, а KV-кэш сжат. У V4 он занимает примерно в 10 раз меньше памяти, чем у V3 при том же объёме текста.

Второй механизм — кэш префикса: если начало запроса совпадает с предыдущим, оно не пересчитывается и оплачивается по цене кэш-попадания, в 50 раз дешевле. Именно поэтому «сто вопросов к одному документу» стоят копейки.

Обучение: два этапа

Этап Что происходит Что даёт
Предобучение модель читает терабайты текста и учится предсказывать следующий токен язык, знания, стиль
Дообучение с подкреплением модель решает задачи, где ответ проверяем: математика, код, логика точность рассуждений

Второй этап — то, что превратило обычную языковую модель в рассуждающую. Задачи подбираются так, чтобы правильность можно было проверить автоматически: тогда модель получает сигнал «решено верно» и учится выстраивать цепочку, а не угадывать ответ.

Режимы мышления: как это устроено

Глубина рассуждений — параметр, а не отдельная модель. В режиме low модель делает короткую цепочку шагов, в max — длинную, с проверками. Технически это управление тем, сколько «черновых» токенов модель сгенерирует до финального ответа.

Отсюда практическое правило: max стоит включать, когда ошибка дороже времени. На переводе или редактуре он только добавляет задержку.

Открытые веса: что это меняет

DeepSeek публикует модели под лицензией MIT. Это значит, что любую из них можно скачать, запустить на своём железе и дообучить — без разрешения компании. Для бизнеса это страховка: если API подорожает или сервис закроется, модель остаётся у вас.

Обратная сторона: самостоятельно развернуть V4-Pro на 1,6 трлн параметров — это серверный бюджет, а не домашний компьютер. Подробнее — в статье как скачать DeepSeek.

Где граница возможностей

  • Нет памяти между диалогами. Модель помнит только то, что в текущем контексте.
  • Нет доступа к интернету по умолчанию. Свежие данные появляются только при подключённом поиске.
  • Не считает, а предсказывает. Арифметика на больших числах и точные вычисления требуют проверки.
  • Не знает вашего контекста. Внутренние документы и продукты нужно подавать в промпт.

Что из этого следует для практики

Модель сильна там, где нужен язык и структура: тексты, объяснения, разбор кода, извлечение данных. Она слабее там, где нужна точность фактов и вычислений: цифры, даты, ссылки. Понимание архитектуры не делает вас инженером DeepSeek, но избавляет от типичных ошибок ожиданий.

Устройство линейки — в статье модели DeepSeek, история компании — в материале история DeepSeek.

Как работает DeepSeek простыми словами?

Это языковая модель на архитектуре MoE: она предсказывает следующий токен, активируя лишь часть параметров. Большой объём знаний сочетается с низкой стоимостью вычислений.

Что такое MoE в DeepSeek?

Смесь экспертов: сеть разделена на блоки, и для каждого токена включается лишь несколько из них. У V4.1-Flash при 552 млрд параметров активны около 8–16 млрд.

Почему DeepSeek не ищет в интернете?

По умолчанию модель работает только на данных обучения. Для свежих сведений нужен подключённый поиск — через Search API или функцию в интерфейсе.

Можно ли дообучить DeepSeek на своих данных?

Да, лицензия MIT это разрешает. На практике чаще используют не дообучение, а подачу документов в контекст — это дешевле и не требует GPU-кластера.