Scrapy — это быстрый веб-фреймворк с открытым исходным кодом, написанный на Python, который используется для извлечения данных с веб-страницы с помощью селекторов на основе XPath.
Scrapy был впервые выпущен 26 июня 2008 года по лицензии BSD, а в июне 2015 года был выпущен Milestone 1.0.
Легче создавать и масштабировать большие проекты сканирования.
Он имеет встроенный механизм, называемый селекторами, для извлечения данных с веб-сайтов.
Он обрабатывает запросы асинхронно и быстро.
Он автоматически регулирует скорость сканирования с помощью механизма автоматического дросселирования .
Обеспечивает доступность для разработчиков.
Scrapy — это открытый исходный код, который можно использовать для сканирования веб-страниц.
Scrapy генерирует экспорт кормов в таких форматах, как JSON, CSV и XML.
Scrapy имеет встроенную поддержку для выбора и извлечения данных из источников с помощью выражений XPath или CSS.
Scrapy на основе сканера, позволяет автоматически извлекать данные с веб-страниц.
Скрапия легко расширяемая, быстрая и мощная.
Это кроссплатформенный каркас приложений (Windows, Linux, Mac OS и BSD).
Запросы Scrapy запланированы и обработаны асинхронно.
Scrapy поставляется со встроенным сервисом Scrapyd, который позволяет загружать проекты и управлять пауками с помощью веб-сервиса JSON.
Можно удалить любой веб-сайт, хотя этот веб-сайт не имеет API для доступа к необработанным данным.
Scrapy только для Python 2.7. +
Установка отличается для разных операционных систем.