DeepSeek для дата-инженера: SQL, dbt и качество данных

DeepSeek для дата-инженера закрывает рутину: генерация SQL, описания моделей dbt, тесты качества, разбор падений пайплайна. Модель не видит ваш кластер и не знает объёмов, поэтому любые оценки производительности проверяются планом запроса. Ниже — где она реально экономит и как не получить красивый, но неверный код.
Где польза максимальна
- SQL. Оконные функции, дедупликация, инкрементальные выборки — сильная сторона.
- dbt. Модели, тесты, документация, макросы.
- Разбор падений. По тексту ошибки и фрагменту лога модель быстро сужает круг причин.
- Документация. Описания таблиц и колонок, которых обычно нет.
- Проверки качества. Правила на пропуски, дубли, отрицательные суммы.
Как получать рабочий SQL
Дайте схему таблиц, типы, пример строк и диалект (Postgres, BigQuery, ClickHouse). Без диалекта модель смешает синтаксис: QUALIFY не работает в Postgres, а DISTINCT ON — в BigQuery.
Диалект: PostgreSQL 15. Таблицы:
orders(id, user_id, created_at, amount numeric, status text)
users(id, country text, created_at)
Задача: выручка по странам за последние 30 дней, только status='paid',
без дублей по id. Дай запрос и объясни выбор индексов.
Тесты, которые стоит просить
| Тип теста | Что ловит |
|---|---|
| unique + not_null | Дубли и пропуски в ключах |
| accepted_values | Новые статусы, которых не ждали |
| relationships | Ссылки на несуществующие записи |
| Свежесть | Пайплайн не обновился |
Производительность
Модель охотно предлагает подзапросы и SELECT *, которые убивают скорость на больших таблицах. Всегда просите план: «покажи, какие индексы нужны и где будет полный скан». И проверяйте на реальном объёме — на 10 тысячах строк работает всё.
Где ошибается
- Часовые пояса. Путает UTC и локальное время — границы периодов съезжают.
- Дедупликация. Оставляет «одну строку на ключ» без правила выбора последней.
- NULL. Забывает, что
NULL != NULL: фильтры и соединения дают не тот результат. - Инкрементальные модели. Не учитывают удаления и обновления задним числом.
Безопасность
Схемы и примеры строк — да, реальные выгрузки с персональными данными — нет. Для отладки достаточно синтетических примеров: структура важнее содержимого.
Как описывать задачу, чтобы получить рабочий код
Минимум: диалект SQL, схема таблиц с типами, пример строки, бизнес-правило и ограничения по объёму. Чем точнее правило («считаем только оплаченные заказы, отменённые исключаем»), тем меньше итераций. Модель не догадается о тонкостях вашего домена, если о них не сказать.
Инкрементальные модели
Самое частое место ошибок: удаления и обновления задним числом. Модель по умолчанию делает выборку по дате создания и теряет изменения. Просите явно описать стратегию: по ключу, по времени обновления, с обработкой удалений.
Документация
Описания колонок обычно не пишут, и через полгода никто не помнит, что значит status=3. Модель охотно генерирует описания по названиям и типам — это быстрый способ закрыть дыру в документации.
Проверка на маленьком объёме
Сначала прогон на 1000 строках, потом на полном объёме с замером времени. Запрос, который работает за секунду на выборке, может идти минутами на реальной таблице.
Проверка перед мержем
Три вопроса к любому сгенерированному запросу: что будет при пустой таблице, что при дублях по ключу, что при NULL в поле соединения. Ответы на них ловят большинство ошибок, которые проходят на тестовых данных и всплывают в проде.
И сверяйте итоговые суммы с независимым источником: если выручка не сходится на процент, значит логика соединения неверна.
Можно ли доверять сгенерированному SQL?
Как черновику — да. Проверяйте логику на тестовых данных и смотрите план запроса: красивая конструкция может делать полный скан.
Поможет ли с dbt?
Да: модели, тесты и документация получаются быстро. Проверьте зависимости и материализацию — модель часто выбирает table там, где нужен incremental.
Что с миграциями?
Скрипты миграции стоит писать вручную или тщательно проверять: ошибка в типе данных обходится дороже сэкономленного времени.
Можно ли давать реальные выгрузки?
Без обезличивания — нет. Заменяйте идентификаторы и суммы, оставляя структуру: для генерации кода этого достаточно.