Как работают нейросети: от нейрона до языковой модели

Как работают нейросети — вопрос, на который можно ответить на трёх уровнях: интуитивном, инженерном и математическом. Ниже — средний: достаточно деталей, чтобы понимать ограничения и не ждать от модели невозможного, но без выкладок.
Нейрон: взвешенная сумма
Искусственный нейрон берёт несколько чисел, умножает каждое на свой вес, складывает, добавляет смещение и пропускает через нелинейность. Всё. Сложность появляется, когда таких нейронов тысячи и они соединены слоями.
Слои и признаки
Первый слой видит простые признаки, следующие — их комбинации. В распознавании картинок нижние слои ловят края и пятна, верхние — объекты. В языковых моделях нижние слои отвечают за синтаксис, верхние — за смысл и связи между частями текста.
Обучение: как подбираются веса
- Взять пример и пропустить через сеть — получить ответ.
- Сравнить с правильным и посчитать ошибку (функция потерь).
- Вычислить, как каждый вес повлиял на ошибку (градиент).
- Сдвинуть веса на маленький шаг в нужную сторону.
- Повторить миллиарды раз на разных примерах.
Шаг задаёт скорость обучения: слишком большой — веса «прыгают» и обучение разваливается, слишком маленький — процесс идёт неделями.
Инференс: как получается ответ
После обучения сеть просто считает: вход → слои → вероятности для следующего слова. Модель выбирает вариант по этим вероятностям. Параметр температуры делает выбор строже (ближе к самому вероятному) или свободнее.
| Этап | Что происходит | Ресурсы |
|---|---|---|
| Предобучение | Модель учится предсказывать текст | Тысячи GPU, недели |
| Дообучение | Подстройка под инструкции | Сотни GPU, дни |
| Инференс | Генерация ответа | Секунды, один запрос |
Почему модель ошибается
Три причины. Первая — данных не хватило или они были плохие. Вторая — задача требует точного вычисления, а сеть предсказывает приблизительно. Третья — вопрос сформулирован так, что правдоподобный ответ расходится с истинным.
Что из этого следует на практике
Модель сильна там, где есть много примеров и допустима вариативность: текст, код, переформулировка. Слаба там, где нужна гарантия: расчёты, юридические нормы, медицинские решения.
Внимание: почему контекст решает
В предложении «он открыл счёт в банке» слово «счёт» зависит от «банк», а не от «открыл». Механизм внимания вычисляет такие связи для каждого слова: модель смотрит на все остальные и решает, какие важны. Отсюда способность держать смысл длинного абзаца — и отсюда же требование к объёму контекста.
Контекстное окно
Это максимальное число токенов, которое модель видит за один раз: вопрос, история диалога, загруженные документы. Когда лимит превышен, старое обрезается — и модель «забывает» начало разговора. Практический вывод: длинные документы делят на части, а лишнее из истории убирают.
Что такое галлюцинация технически
Модель выбирает вероятное продолжение. Если факта нет в данных, самое вероятное продолжение всё равно существует — и выглядит убедительно: правильная структура, уверенный тон, неверная суть. Это не сбой, а нормальное поведение системы, обученной предсказывать.
Почему размер модели не гарантирует качество
Большая модель знает больше, но на узкой задаче маленькая, дообученная на хороших примерах, часто точнее и дешевле. Поэтому выбор делают тестами на своих данных, а не по числу параметров в описании.
Что спросить, чтобы увидеть механику
1. «Объясни на примере, почему модель путает похожие слова». 2. «Покажи, как из вероятностей получается текст». 3. «Что произойдёт, если контекст превысит окно».
Ответы на эти вопросы хорошо показывают ограничения: модель не «вспоминает» и не «понимает», она считает вероятности в пределах доступного контекста.
Сколько весов у большой модели?
От миллиардов до триллионов параметров. Больше параметров — больше знаний, но и дороже инференс.
Что такое трансформер?
Архитектура с механизмом внимания: каждый элемент текста «смотрит» на остальные и учитывает контекст. На ней построены современные языковые модели.
Почему один и тот же вопрос даёт разные ответы?
Генерация вероятностная: при температуре выше нуля модель выбирает не только самый вероятный вариант. Для воспроизводимости ставят 0.
Нужен ли GPU, чтобы пользоваться?
Нет, если работаете через сервис. Локальный запуск требует видеопамяти: чем больше модель, тем больше нужно.