Учебники

Scrapy — Окружающая среда

В этой главе мы обсудим, как установить и настроить Scrapy. Scrapy должен быть установлен с Python.

Scrapy можно установить с помощью pip . Для установки выполните следующую команду —

pip install Scrapy

Windows

Примечание. Python 3 не поддерживается в ОС Windows.

Шаг 1 — Установите Python 2.7 из Python

Установите переменные среды, добавив следующие пути к PATH —

C:\Python27\;C:\Python27\Scripts\; 

Вы можете проверить версию Python, используя следующую команду —

python --version

Шаг 2 — Установите OpenSSL .

Добавьте C: \ OpenSSL-Win32 \ bin в переменные окружения.

Примечание. OpenSSL предустановлен во всех операционных системах, кроме Windows.

Шаг 3 — Установите распространяемые файлы Visual C ++ 2008 .

Шаг 4 — Установите pywin32 .

Шаг 5 — Установите pip для версий Python старше 2.7.9.

Вы можете проверить версию пипса, используя следующую команду —

pip --version

Шаг 6 — Чтобы установить scrapy, выполните следующую команду —

pip install Scrapy

анаконда

Если на вашем компьютере установлена anaconda или miniconda , выполните следующую команду, чтобы установить Scrapy с помощью conda:

conda install -c scrapinghub scrapy 

Компания Scrapinghub поддерживает официальные пакеты conda для Linux, Windows и OS X.

Примечание. Рекомендуется установить Scrapy с помощью приведенной выше команды, если у вас есть проблемы с установкой через pip.

Ubuntu 9.10 или выше

Последняя версия Python предустановлена ​​на ОС Ubuntu. Используйте aptgettable для пакетов Ubuntu, предоставляемых Scrapinghub. Чтобы использовать пакеты —

Шаг 1. Вам необходимо импортировать ключ GPG, используемый для подписи пакетов Scrapy, в связку ключей APT.

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Шаг 2 — Затем используйте следующую команду для создания файла /etc/apt/sources.list.d/scrapy.list —

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

Шаг 3 — Обновление списка пакетов и установка scrapy —

sudo apt-get update && sudo apt-get install scrapy

Archlinux

Вы можете установить Scrapy из пакета AUR Scrapy с помощью следующей команды —

yaourt -S scrapy

Mac OS X

Используйте следующую команду для установки инструментов командной строки Xcode —

xcode-select --install 

Вместо использования системного Python установите новую обновленную версию, которая не конфликтует с остальной частью вашей системы.

Шаг 1 — Установите доморощенный .

Шаг 2 — Установите переменную среды PATH, чтобы указать, что пакеты homebrew должны использоваться до системных пакетов.

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Шаг 3 — Чтобы убедиться, что изменения сделаны, перезагрузите .bashrc, используя следующую команду —

source ~/.bashrc 

Шаг 4 — Затем установите Python с помощью следующей команды —

brew install python

Шаг 5 — Установите Scrapy с помощью следующей команды —