Учебники

Scrapy — Обзор

Scrapy — это быстрый веб-фреймворк с открытым исходным кодом, написанный на Python, который используется для извлечения данных с веб-страницы с помощью селекторов на основе XPath.

Scrapy был впервые выпущен 26 июня 2008 года по лицензии BSD, а в июне 2015 года был выпущен Milestone 1.0.

Легче создавать и масштабировать большие проекты сканирования.

Он имеет встроенный механизм, называемый селекторами, для извлечения данных с веб-сайтов.

Он обрабатывает запросы асинхронно и быстро.

Он автоматически регулирует скорость сканирования с помощью механизма автоматического дросселирования .

Обеспечивает доступность для разработчиков.

Scrapy — это открытый исходный код, который можно использовать для сканирования веб-страниц.

Scrapy генерирует экспорт кормов в таких форматах, как JSON, CSV и XML.

Scrapy имеет встроенную поддержку для выбора и извлечения данных из источников с помощью выражений XPath или CSS.

Scrapy на основе сканера, позволяет автоматически извлекать данные с веб-страниц.

Скрапия легко расширяемая, быстрая и мощная.

Это кроссплатформенный каркас приложений (Windows, Linux, Mac OS и BSD).

Запросы Scrapy запланированы и обработаны асинхронно.

Scrapy поставляется со встроенным сервисом Scrapyd, который позволяет загружать проекты и управлять пауками с помощью веб-сервиса JSON.

Можно удалить любой веб-сайт, хотя этот веб-сайт не имеет API для доступа к необработанным данным.

Scrapy только для Python 2.7. +

Установка отличается для разных операционных систем.