Статьи

В данной статье рассмотрим кастомизацию административной панели Django для импорта записей из файла Excel в базу данных. Создадим простую модель, значения полей которой будут заполняться из .xls/.xslx-файла путем импорта в административной панели.

В данной статье рассмотрим кастомизацию административной панели для импорта записей из файла в базу данных.

Шаг 1. Подготовка базы данных

Создадим модель Record с двумя полями name и value, значения которых будут заполняться импортом xlsx-файла. Название нашего приложения – core.

 from django.db import models class Record(models.Model): class Meta: verbose_name = 'Запись' verbose_name_plural = 'Записи' name = models.CharField( verbose_name='Название', max_length=200, ) value = models.CharField( verbose_name='Значение', max_length=200, ) def __str__(self): return str(self.name)  

 python manage.py makemigrations python manage.py migrate  

Добавим отображение модели в административной панели:

Всем привет!

Продолжаем серию уроков по разработке парсера на Python.

Сегодня мы перепишем наш парсер с первого урока с использованием фреймворка Scrapy, который позволяет быстро, удобно и качественно создавать серьезные проекты по парсингу, беря на себя значительную часть работы.

В предыдущих уроках:
1) мы написали парсер каталога товаров в файл JSON – видео
2) добавили сохранение результата в Excel-таблицу – видео
3) добавили отправку файлов с результатами в чат Telegram – видео
…
Читать далее →

Всем привет!

Продолжаем серию уроков по разработке парсера на Python. Сегодня мы создадим небольшого Telegram-бота для получения файлов с результатом последнего парсинга. Предположим, ваш парсер запускается раз в сутки или с другой периодичностью, и вы хотите в любой момент получить актуальную версию выгрузки.

Для написания бота в статье используется библиотека python-telegram-bot. Ссылка на официальный сайт – https://python-telegram-bot.org/.

Среда разработки – PyCharm Community Edition.

В предыдущем уроке мы отправляли по завершении парсинга …
Читать далее →

Всем привет!

Продолжаем серию уроков по разработке парсера на Python. Сегодня мы добавим отправку файлов с результатом парсинга в чат Telegram, используя Telegram Bot API.

В предыдущем уроке мы сохраняли результат парсинга товаров с тестового каталога в Excel-таблицу.

Шаг 1. Подготовка

Всем привет!

Продолжаем серию уроков по разработке парсера на Python. Сегодня мы добавим сохранение результатов парсинга в Excel-таблицу, используя библиотеку xlsxwriter.

В предыдущем уроке мы собирали товары с тестового каталога с помощью библиотек requests и beautifulsoup4. Результат сохраняли в файл формата JSON, а сегодня добавим и в XLSX.

Библиотеки, используемые в данной статье:
1. xlsxwriter – ссылка на документацию.

По любым возникающим в ходе урока вопросам оставляйте комментарии ниже.
Ссылка на …
Читать далее →

Всем привет! В данном уроке мы займемся разработкой парсера каталога товаров.

Код будем писать на языке программирования Python в среде разработки Python IDLE. В рамках данной статьи не рассматривается установка и настройка последних. Для получения подробной информации вы можете посетить официальный сайт Python.

Собирать данные о товарах будем со специального сервиса на нашем сайте – тестового каталога, где к каждому полю подписан CSS-селектор, по которому можно найти элемент на странице – это нам пригодится в процессе парсинга. Сохранять результат …
Читать далее →