Spark — это подпроект Hadoop. Поэтому лучше установить Spark в систему на основе Linux. Следующие шаги показывают, как установить Apache Spark.
Шаг 1: Проверка установки Java
Установка Java является одной из обязательных вещей при установке Spark. Попробуйте следующую команду, чтобы проверить версию JAVA.
$java -version
Если Java уже установлена в вашей системе, вы увидите следующий ответ:
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
Если в вашей системе не установлена Java, то установите Java, прежде чем переходить к следующему шагу.
Шаг 2: Проверка установки Scala
Вам следует использовать язык Scala для реализации Spark. Итак, давайте проверим установку Scala с помощью следующей команды.
$scala -version
Если Scala уже установлен в вашей системе, вы увидите следующий ответ:
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
Если в вашей системе не установлен Scala, перейдите к следующему шагу для установки Scala.
Шаг 3: Загрузка Scala
Загрузите последнюю версию Scala, перейдя по следующей ссылке Скачать Scala . Для этого урока мы используем версию scala-2.11.6. После загрузки вы найдете tar-файл Scala в папке загрузки.
Шаг 4: Установка Scala
Следуйте приведенным ниже инструкциям для установки Scala.
Извлеките файл архива Scala
Введите следующую команду для распаковки tar-файла Scala.
$ tar xvf scala-2.11.6.tgz
Переместить файлы программного обеспечения Scala
Используйте следующие команды для перемещения файлов программного обеспечения Scala в соответствующий каталог (/ usr / local / scala) .
$ su – Password: # cd /home/Hadoop/Downloads/ # mv scala-2.11.6 /usr/local/scala # exit
Установить PATH для Scala
Используйте следующую команду для настройки PATH для Scala.
$ export PATH = $PATH:/usr/local/scala/bin
Проверка установки Scala
После установки лучше это проверить. Используйте следующую команду для проверки установки Scala.
$scala -version
Если Scala уже установлен в вашей системе, вы увидите следующий ответ:
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
Шаг 5: Загрузка Apache Spark
Загрузите последнюю версию Spark, перейдя по следующей ссылке Скачать Spark . Для этого урока мы используем версию spark-1.3.1-bin-hadoop2.6 . После загрузки вы найдете файл Spark tar в папке загрузки.
Шаг 6: Установка Spark
Следуйте приведенным ниже инструкциям для установки Spark.
Извлечение Spark смолы
Следующая команда для извлечения файла spark tar.
$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz
Перемещение файлов программного обеспечения Spark
Следующие команды для перемещения файлов программного обеспечения Spark в соответствующий каталог (/ usr / local / spark) .
$ su – Password: # cd /home/Hadoop/Downloads/ # mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark # exit
Настройка среды для Spark
Добавьте следующую строку в файл ~ /.bashrc . Это означает добавление места, где находится файл программного обеспечения искры, в переменную PATH.
export PATH = $PATH:/usr/local/spark/bin
Используйте следующую команду для поиска файла ~ / .bashrc.
$ source ~/.bashrc
Шаг 7: Проверка установки Spark
Напишите следующую команду для открытия оболочки Spark.
$spark-shell
Если искра установлена успешно, вы найдете следующий вывод.