Чтобы запустить приложение Spark на локальном / кластере, вам нужно установить несколько конфигураций и параметров, в этом SparkConf помогает. Он предоставляет конфигурации для запуска приложения Spark. Следующий блок кода содержит подробную информацию о классе SparkConf для PySpark.
class pyspark.SparkConf ( loadDefaults = True, _jvm = None, _jconf = None )
Сначала мы создадим объект SparkConf с помощью SparkConf (), который будет загружать значения из spark. * Свойства системы Java также. Теперь вы можете устанавливать различные параметры, используя объект SparkConf, и их параметры будут иметь приоритет над системными свойствами.
В классе SparkConf есть методы установки, которые поддерживают цепочку. Например, вы можете написать conf.setAppName («Приложение PySpark»). SetMaster («локальный») . Как только мы передаем объект SparkConf в Apache Spark, он не может быть изменен любым пользователем.
Ниже приведены некоторые из наиболее часто используемых атрибутов SparkConf.
-
set (ключ, значение) — установить свойство конфигурации.
-
setMaster (значение) — установить главный URL.
-
setAppName (значение) — установить имя приложения.
-
get (key, defaultValue = None) — получить значение конфигурации ключа.
-
setSparkHome (value) — установить путь установки Spark на рабочих узлах.
set (ключ, значение) — установить свойство конфигурации.
setMaster (значение) — установить главный URL.
setAppName (значение) — установить имя приложения.
get (key, defaultValue = None) — получить значение конфигурации ключа.
setSparkHome (value) — установить путь установки Spark на рабочих узлах.
Давайте рассмотрим следующий пример использования SparkConf в программе PySpark. В этом примере мы устанавливаем имя приложения spark как PySpark App и задаем основной URL-адрес для приложения spark → spark: // master: 7077 .
Следующий блок кода содержит строки: когда они добавляются в файл Python, он устанавливает основные конфигурации для запуска приложения PySpark.