DeepSeek для парсинга: код, селекторы и проверки

DeepSeek для парсинга пишет код, а не собирает данные: он генерирует селекторы, разбор HTML, пагинацию и обработку ошибок. Это ускоряет старт в разы, но не отменяет правил: уважать robots.txt, ставить задержки и не ломаться на изменении вёрстки. Ниже — рабочий порядок и грабли.
С чего начать
- Проверьте
robots.txtи условия сайта. - Сохраните одну страницу локально — на ней будете тестировать селекторы.
- Попросите модель написать парсер с
requestsи BeautifulSoup. - Запустите на сохранённой странице, а не на живом сайте.
Промпт, который экономит часы
Напиши парсер на Python: requests + BeautifulSoup.
Нужно собрать со страницы каталога: название, цена, ссылка, наличие.
Структура: карточки в div.product-card, цена в span.price, ссылка в a.product-link.
Добавь: задержку 1–2 секунды, User-Agent, обработку 429 и сохранение в CSV.
Если селектор не найден — пропускай карточку и считай такие случаи.
Проверки, которые обязательны
| Проверка | Зачем |
|---|---|
| Количество карточек | Ловит смену вёрстки: было 40, стало 0 |
| Пустые поля | Модель часто берёт текст не того элемента |
| Кодировка | Кракозябры в названиях — частая проблема |
| Пагинация | Иначе получите только первую страницу |
| Задержки | Без них — бан по IP через час |
Где модель ошибается
- Селекторы. Придумывает классы, которых нет: всегда проверяйте на сохранённой странице.
- Динамический контент. Не учитывает, что часть данных подгружается JS — нужен Playwright.
- Кодировки и заголовки. Забывает
response.encodingи нормализацию пробелов. - Повторные запросы. Не добавляет дедупликацию — в CSV появляются дубли.
Когда нужен браузер
Если данные появляются после загрузки скриптов, requests не поможет: нужен Playwright или Selenium. Просите модель сразу с ожиданием элемента, а не с фиксированной паузой — иначе парсер будет то работать, то нет.
Этика и право
Персональные данные, закрытые разделы и обход капчи — вне допустимого. Массовый парсинг без согласования может нарушать условия сайта; для коммерческого использования берите официальные API или выгрузки.
Структура надёжного парсера
- Загрузка страницы с заголовками и таймаутом.
- Проверка кода ответа и наличия ключевого блока.
- Разбор карточек с подсчётом найденных и пропущенных.
- Нормализация: пробелы, валюта, единицы.
- Сохранение с дедупликацией и логом ошибок.
Как пережить смену вёрстки
Привязывайтесь к нескольким признакам: класс, структура, текстовый шаблон. Если один сломался, парсер продолжает работать. Плюс алерт: количество карточек упало вдвое — повод проверить, а не радоваться «успешному» запуску.
Динамические страницы
Когда данные подгружаются скриптом, requests получает пустой каркас. Модель подскажет переход на Playwright, но важно ждать конкретный элемент, а не фиксированную паузу: иначе результат зависит от скорости сети.
Хранение результатов
Для повторных выгрузок нужен ключ: артикул или ссылка. Без него каждая выгрузка — новый набор строк, и сравнить цены за неделю не получится.
Проверка на десяти страницах
Прежде чем запускать на тысяче, прогоните на десяти разных URL: главная, каталог, карточка, страница с фильтром. На этом наборе видно, где селекторы разъезжаются. И сохраните HTML-копии: когда парсер сломается через месяц, будет с чем сравнить.
Ещё одно правило: логируйте пропуски. Пять карточек из сорока без цены — это не «успех», а сигнал.
Что делать при блокировке
Сначала снизить темп: одна страница в 2–3 секунды вместо сотни в минуту. Если блокировка осталась — проверить заголовки и куки, а не покупать прокси. Массовый обход защиты почти всегда заканчивается баном и не стоит усилий: у большинства сайтов есть выгрузки или API.
Сохраняйте ответы на диск: при повторном запуске вы не дёргаете сайт лишний раз, а отладка идёт на копиях.
Может ли модель парсить сайт за меня?
Нет, она пишет код. Запуск, проверка селекторов и соблюдение правил сайта остаются на вас.
Почему парсер перестал находить элементы?
Сменилась вёрстка или классы. Добавьте проверку количества карточек и алерт, когда оно падает до нуля.
Что делать с 429?
Увеличить задержку, добавить экспоненциальный повтор и уважать заголовок Retry-After. Игнорирование приводит к блокировке IP.
Нужен ли прокси?
При больших объёмах — да, но это не отменяет лимиты и правила сайта. Начинайте с малых объёмов и задержек.