Как обучают нейросети: данные, токены и дообучение

Как обучают нейросети: данные, токены, дообучение

Как обучают нейросети — вопрос, который обычно сводят к «загрузили данные». На деле это несколько этапов, и качество результата определяется не архитектурой, а тем, что и как подавали на вход.

Этап 1. Данные

Текст режут на токены — куски слов. Модель учится предсказывать следующий токен. Масштаб решает: миллиарды страниц дают общие знания, но и приносят мусор. Поэтому данные фильтруют: убирают дубли, спам, разметку, повторяющиеся шаблоны.

Этап 2. Предобучение

Самый дорогой шаг: тысячи ускорителей и недели работы. Модель видит текст и постоянно ошибается в предсказаниях, веса подстраиваются. На выходе — «сырая» модель, которая умеет продолжать текст, но плохо следует инструкциям.

Этап 3. Тонкая настройка

Здесь модель учат формату: вопрос — ответ, инструкция — результат. Используют пары «запрос — хороший ответ» от людей. Дальше — выравнивание по предпочтениям: варианты сравнивают и показывают, какой лучше.

Этап Что даёт Стоимость
Предобучение Общие знания о языке и мире Максимальная
Инструкции Умение выполнять задачи Средняя
Предпочтения Вежливость, полезность, отказы Средняя
Дообучение (LoRA) Специализация под домен Низкая

Что такое дообучение на своих данных

Компании редко обучают модель с нуля. Вместо этого берут готовую и дообучают на своих примерах: регламентах, обращениях, каталоге. Техника LoRA позволяет сделать это на одной видеокарте, не переписывая всю модель.

Оценка качества

Модель проверяют на отложенных примерах и на людях. Метрики вроде точности мало что говорят о полезности: ответ может быть формально верным и бесполезным. Поэтому финальный тест — сравнение с эталонными ответами и оценка сотрудников.

Почему модель «глупеет» после дообучения

Перетренировали на узких данных — она разучилась на общем. Это называется забыванием: специализация всегда обменивается на универсальность. Лечится смешиванием данных и осторожным числом шагов.

Переобучение: когда модель знает примеры наизусть

Если данных мало, модель запоминает их вместо того, чтобы выучить закономерность. На обучающей выборке результат отличный, на новых данных — плохой. Лечится просто: больше данных, регуляризация, ранняя остановка и проверка на отложенной части.

Сколько это стоит

Предобучение крупной модели — миллионы долларов вычислений. Дообучение на своих примерах — от десятков долларов на арендованном GPU до нескольких тысяч при большом наборе. Именно поэтому компании почти никогда не обучают с нуля: берут готовую модель и подстраивают.

Что важнее архитектуры

Качество и чистота данных. Дубликаты, мусор и противоречия в разметке портят результат сильнее, чем выбор модели. Практика: перед обучением потратить время на очистку — это дешевле, чем потом переучивать.

Что спросить про обучение

1. «Сколько примеров нужно, чтобы дообучить модель на наших обращениях». 2. «Объясни переобучение на бытовом примере». 3. «Составь план подготовки данных для дообучения на 2000 диалогов».

Третий запрос обычно вскрывает главную проблему: данные есть, но они не размечены единообразно.

Что важно помнить

Обучение — это подбор чисел по примерам, а не передача знаний. Поэтому качество данных важнее архитектуры, а дообучение под задачу почти всегда дешевле, чем обучение с нуля. Если поставщик говорит «мы обучим модель на ваших данных», уточняйте: сколько примеров, какая проверка и как избежите переобучения.

Что проверить перед дообучением

Пункт Зачем
Единая разметка Иначе модель выучит противоречия
Отложенная выборка Честная проверка качества
Запрет на утечку Тестовые примеры не должны попадать в обучение

Если данные размечали три человека по-разному, сначала договоритесь о правилах: это дешевле, чем переучивать модель дважды.

Сколько данных нужно?

Для предобучения — миллиарды токенов. Для дообучения под задачу иногда хватает сотен качественных примеров.

Можно ли обучить модель без GPU?

Небольшую — на CPU, но это медленно. Практичный путь — аренда GPU на часы или облачный сервис.

Что такое «токен»?

Кусок текста: слово, часть слова или знак. Модели считают не слова, а токены, и по ним же тарифицируется API.

Обучение на моих данных законно?

Зависит от данных и согласий. Персональные данные и чужие тексты требуют правовых оснований — это вопрос к юристу, а не к модели.

Смотрите также