В этой главе мы обсудим, как установить и настроить Scrapy. Scrapy должен быть установлен с Python.
Scrapy можно установить с помощью pip . Для установки выполните следующую команду —
pip install Scrapy
Windows
Примечание. Python 3 не поддерживается в ОС Windows.
Шаг 1 — Установите Python 2.7 из Python
Установите переменные среды, добавив следующие пути к PATH —
C:\Python27\;C:\Python27\Scripts\;
Вы можете проверить версию Python, используя следующую команду —
python --version
Шаг 2 — Установите OpenSSL .
Добавьте C: \ OpenSSL-Win32 \ bin в переменные окружения.
Примечание. OpenSSL предустановлен во всех операционных системах, кроме Windows.
Шаг 3 — Установите распространяемые файлы Visual C ++ 2008 .
Шаг 4 — Установите pywin32 .
Шаг 5 — Установите pip для версий Python старше 2.7.9.
Вы можете проверить версию пипса, используя следующую команду —
pip --version
Шаг 6 — Чтобы установить scrapy, выполните следующую команду —
pip install Scrapy
анаконда
Если на вашем компьютере установлена anaconda или miniconda , выполните следующую команду, чтобы установить Scrapy с помощью conda:
conda install -c scrapinghub scrapy
Компания Scrapinghub поддерживает официальные пакеты conda для Linux, Windows и OS X.
Примечание. Рекомендуется установить Scrapy с помощью приведенной выше команды, если у вас есть проблемы с установкой через pip.
Ubuntu 9.10 или выше
Последняя версия Python предустановлена на ОС Ubuntu. Используйте aptgettable для пакетов Ubuntu, предоставляемых Scrapinghub. Чтобы использовать пакеты —
Шаг 1. Вам необходимо импортировать ключ GPG, используемый для подписи пакетов Scrapy, в связку ключей APT.
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
Шаг 2 — Затем используйте следующую команду для создания файла /etc/apt/sources.list.d/scrapy.list —
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
Шаг 3 — Обновление списка пакетов и установка scrapy —
sudo apt-get update && sudo apt-get install scrapy
Archlinux
Вы можете установить Scrapy из пакета AUR Scrapy с помощью следующей команды —
yaourt -S scrapy
Mac OS X
Используйте следующую команду для установки инструментов командной строки Xcode —
xcode-select --install
Вместо использования системного Python установите новую обновленную версию, которая не конфликтует с остальной частью вашей системы.
Шаг 1 — Установите доморощенный .
Шаг 2 — Установите переменную среды PATH, чтобы указать, что пакеты homebrew должны использоваться до системных пакетов.
echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
Шаг 3 — Чтобы убедиться, что изменения сделаны, перезагрузите .bashrc, используя следующую команду —
source ~/.bashrc
Шаг 4 — Затем установите Python с помощью следующей команды —
brew install python
Шаг 5 — Установите Scrapy с помощью следующей команды —