DeepSeek для парсинга: код, селекторы и проверки

DeepSeek для парсинга: код и разбор HTML

DeepSeek для парсинга пишет код, а не собирает данные: он генерирует селекторы, разбор HTML, пагинацию и обработку ошибок. Это ускоряет старт в разы, но не отменяет правил: уважать robots.txt, ставить задержки и не ломаться на изменении вёрстки. Ниже — рабочий порядок и грабли.

С чего начать

  1. Проверьте robots.txt и условия сайта.
  2. Сохраните одну страницу локально — на ней будете тестировать селекторы.
  3. Попросите модель написать парсер с requests и BeautifulSoup.
  4. Запустите на сохранённой странице, а не на живом сайте.

Промпт, который экономит часы

Напиши парсер на Python: requests + BeautifulSoup.
Нужно собрать со страницы каталога: название, цена, ссылка, наличие.
Структура: карточки в div.product-card, цена в span.price, ссылка в a.product-link.
Добавь: задержку 1–2 секунды, User-Agent, обработку 429 и сохранение в CSV.
Если селектор не найден — пропускай карточку и считай такие случаи.

Проверки, которые обязательны

Проверка Зачем
Количество карточек Ловит смену вёрстки: было 40, стало 0
Пустые поля Модель часто берёт текст не того элемента
Кодировка Кракозябры в названиях — частая проблема
Пагинация Иначе получите только первую страницу
Задержки Без них — бан по IP через час

Где модель ошибается

  • Селекторы. Придумывает классы, которых нет: всегда проверяйте на сохранённой странице.
  • Динамический контент. Не учитывает, что часть данных подгружается JS — нужен Playwright.
  • Кодировки и заголовки. Забывает response.encoding и нормализацию пробелов.
  • Повторные запросы. Не добавляет дедупликацию — в CSV появляются дубли.

Когда нужен браузер

Если данные появляются после загрузки скриптов, requests не поможет: нужен Playwright или Selenium. Просите модель сразу с ожиданием элемента, а не с фиксированной паузой — иначе парсер будет то работать, то нет.

Этика и право

Персональные данные, закрытые разделы и обход капчи — вне допустимого. Массовый парсинг без согласования может нарушать условия сайта; для коммерческого использования берите официальные API или выгрузки.

Структура надёжного парсера

  1. Загрузка страницы с заголовками и таймаутом.
  2. Проверка кода ответа и наличия ключевого блока.
  3. Разбор карточек с подсчётом найденных и пропущенных.
  4. Нормализация: пробелы, валюта, единицы.
  5. Сохранение с дедупликацией и логом ошибок.

Как пережить смену вёрстки

Привязывайтесь к нескольким признакам: класс, структура, текстовый шаблон. Если один сломался, парсер продолжает работать. Плюс алерт: количество карточек упало вдвое — повод проверить, а не радоваться «успешному» запуску.

Динамические страницы

Когда данные подгружаются скриптом, requests получает пустой каркас. Модель подскажет переход на Playwright, но важно ждать конкретный элемент, а не фиксированную паузу: иначе результат зависит от скорости сети.

Хранение результатов

Для повторных выгрузок нужен ключ: артикул или ссылка. Без него каждая выгрузка — новый набор строк, и сравнить цены за неделю не получится.

Проверка на десяти страницах

Прежде чем запускать на тысяче, прогоните на десяти разных URL: главная, каталог, карточка, страница с фильтром. На этом наборе видно, где селекторы разъезжаются. И сохраните HTML-копии: когда парсер сломается через месяц, будет с чем сравнить.

Ещё одно правило: логируйте пропуски. Пять карточек из сорока без цены — это не «успех», а сигнал.

Что делать при блокировке

Сначала снизить темп: одна страница в 2–3 секунды вместо сотни в минуту. Если блокировка осталась — проверить заголовки и куки, а не покупать прокси. Массовый обход защиты почти всегда заканчивается баном и не стоит усилий: у большинства сайтов есть выгрузки или API.

Сохраняйте ответы на диск: при повторном запуске вы не дёргаете сайт лишний раз, а отладка идёт на копиях.

Может ли модель парсить сайт за меня?

Нет, она пишет код. Запуск, проверка селекторов и соблюдение правил сайта остаются на вас.

Почему парсер перестал находить элементы?

Сменилась вёрстка или классы. Добавьте проверку количества карточек и алерт, когда оно падает до нуля.

Что делать с 429?

Увеличить задержку, добавить экспоненциальный повтор и уважать заголовок Retry-After. Игнорирование приводит к блокировке IP.

Нужен ли прокси?

При больших объёмах — да, но это не отменяет лимиты и правила сайта. Начинайте с малых объёмов и задержек.

Смотрите также