Введение в аналитику больших данных с Apache Spark Pt. 1

Spark Обзор

Apache Spark, кластерная вычислительная система с открытым исходным кодом, быстро развивается. Apache Spark имеет растущую экосистему библиотек и фреймворков для расширенной аналитики данных. Быстрый успех Apache Spark объясняется его мощью и простотой использования. Он более продуктивен и имеет более быстрое время выполнения, чем типичная аналитика на основе MapReduce BigData . Apache Spark обеспечивает распределенные вычисления в памяти. Он имеет API в Java, Scala, Python и R. Экосистема Spark показана ниже.

                   Дисплей — Редактировать

Вся экосистема построена на ядре ядра. Ядро обеспечивает скорость вычислений в памяти, а его API поддерживает Java, Scala, Python и R. Потоковая передача позволяет обрабатывать потоки данных в режиме реального времени. Spark SQL позволяет пользователям запрашивать структурированные данные, и вы можете делать это на своем любимом языке. DataFrame находится в ядре Spark SQL, он хранит данные в виде набора строк и каждый столбец в строке именуется, а с помощью DataFrames вы можете легко выбрать, построить и отфильтровать данные. MLlib — это среда машинного обучения. GraphX ​​- это API для структурированных данных графа. Это был краткий обзор экосистемы.

Немного истории об Apache Spark:

• Первоначально разработанный в 2009 году в лаборатории UC Berkeley AMP, он стал открытым исходным кодом в 2010 году, а теперь является частью Apache Software Foundation.

• Имеет около 12 500 коммитов, сделанных около 630 участниками ( как видно из репозитория Apache Spark Github ).

• В основном написано на Scala .

• Интерес к поиску Google для Apache Spark в последнее время резко возрос, что свидетельствует о широком круге интересов. (108 000 поисковых запросов в июле по данным Google Ad Word Tools примерно в десять раз больше, чем у Microservices ).

• Некоторые из дистрибьюторов Spark: IBM, Oracle, DataStax, BlueData, Cloudera …

• Некоторые приложения, созданные с использованием spark: Qlik, Talen, Tresata, atscale, platfora …

• Некоторые из компаний, которые используют Spark: Verizon , NBC , Yahoo, Spotify …

Причина, по которой люди так заинтересованы в Apache Spark, заключается в том, что он предоставляет всю мощь Hadoop в руки разработчиков. Кластер Apache Spark проще настроить, чем кластер Hadoop. Это работает быстрее. И это намного проще для программирования. Он предоставляет широкие возможности и возможности больших данных и анализа в реальном времени. Имея это в виду, давайте представим Apache Spark в этом быстром уроке.

Загрузка Spark и как использовать интерактивную оболочку

Отличный способ поэкспериментировать с Apache Spark — это использовать доступные интерактивные оболочки. Существует оболочка Python и оболочка Scala.

Чтобы загрузить Apache Spark, перейдите по этой ссылке и получите последнюю готовую версию, чтобы мы могли запустить оболочку из коробки.

Сейчас Apache Spark — версия 1.5.0, выпущенная 9 сентября 2015 года.

Разархивировать Spark

tar -xvzf ~/spark-1.5.0-bin-hadoop2.4.tgz

Запустить оболочку Python

cd spark-1.5.0-bin-hadoop2.4
./bin/pyspark

cd spark-1.5.0-bin-hadoop2.4
./bin/spark-shell 

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.5.0
      /_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_25)
Type in expressions to have them evaluated.
Type :help for more information.
15/08/24 21:58:29 INFO SparkContext: Running Spark version 1.5.0

val textFile = sc.textFile("README.md")

textFile.first()

res3: String = # Apache Spark

val linesWithSpark = textFile.filter(line => line.contains("Spark"))
linesWithSpark.count()

res10: Long = 19

textFile.map(line => line.split(" ").size)
.reduce((a, b) => if (a > b) a else b)

res11: Int = 14

import java.lang.Math
textFile.map(line => line.split(" ").size)
.reduce((a, b) => Math.max(a, b))

res12: Int = 14

linesWithSpark.cache()
res13: linesWithSpark.type = 
MapPartitionsRDD[8] at filter at <console>:23

linesWithSpark.count()
res15: Long = 19

val thingsRDD = sc.parallelize(List("spoon", "fork", "plate", "cup", "bottle"))

thingsRDD: org.apache.spark.rdd.RDD[String] = 
ParallelCollectionRDD[11] at parallelize at <console>:24

thingsRDD.count()

res16: Long = 5

val textFile = sc.textFile("README.md")

textFile.count()

res17: Long = 98

val linesWithSpark = textFile.filter(line => line.contains("Spark"))

pairRDD.groupByKey()

Banana [Yellow]
Apple [Red, Green]      
Kiwi [Green]
Figs [Black]

linesWithSpark.collect()

linesWithSpark.cache()

linesWithSpark.unpersist()