Статьи

Всем привет!

Продолжаем серию уроков по разработке парсера на Python.

Сегодня мы перепишем наш парсер с первого урока с использованием фреймворка Scrapy, который позволяет быстро, удобно и качественно создавать серьезные проекты по парсингу, беря на себя значительную часть работы.

В предыдущих уроках:
1) мы написали парсер каталога товаров в файл JSON – видео
2) добавили сохранение результата в Excel-таблицу – видео
3) добавили отправку файлов с результатами в чат Telegram – видео
…
Читать далее →

Всем привет!

Продолжаем серию уроков по разработке парсера на Python. Сегодня мы создадим небольшого Telegram-бота для получения файлов с результатом последнего парсинга. Предположим, ваш парсер запускается раз в сутки или с другой периодичностью, и вы хотите в любой момент получить актуальную версию выгрузки.

Для написания бота в статье используется библиотека python-telegram-bot. Ссылка на официальный сайт – https://python-telegram-bot.org/.

Среда разработки – PyCharm Community Edition.

В предыдущем уроке мы отправляли по завершении парсинга …
Читать далее →

Всем привет!

Продолжаем серию уроков по разработке парсера на Python. Сегодня мы добавим отправку файлов с результатом парсинга в чат Telegram, используя Telegram Bot API.

В предыдущем уроке мы сохраняли результат парсинга товаров с тестового каталога в Excel-таблицу.

Шаг 1. Подготовка

Всем привет!

Продолжаем серию уроков по разработке парсера на Python. Сегодня мы добавим сохранение результатов парсинга в Excel-таблицу, используя библиотеку xlsxwriter.

В предыдущем уроке мы собирали товары с тестового каталога с помощью библиотек requests и beautifulsoup4. Результат сохраняли в файл формата JSON, а сегодня добавим и в XLSX.

Библиотеки, используемые в данной статье:
1. xlsxwriter – ссылка на документацию.

По любым возникающим в ходе урока вопросам оставляйте комментарии ниже.
Ссылка на …
Читать далее →

Всем привет! В данном уроке мы займемся разработкой парсера каталога товаров.

Код будем писать на языке программирования Python в среде разработки Python IDLE. В рамках данной статьи не рассматривается установка и настройка последних. Для получения подробной информации вы можете посетить официальный сайт Python.

Собирать данные о товарах будем со специального сервиса на нашем сайте – тестового каталога, где к каждому полю подписан CSS-селектор, по которому можно найти элемент на странице – это нам пригодится в процессе парсинга. Сохранять результат …
Читать далее →