Представляем среду Spring YARN для разработки приложений Apache Hadoop YARN

Первоначально опубликовано в блоге SpringSource Janne Valkealahti

Мы очень рады выпустить кота из мешка и выпустить поддержку написания приложений на основе YARN в рамках выпуска  Spring для Apache Hadoop 2.0 M1 . В этой записи блога я познакомлю вас с  YARN , что вы можете с ним сделать и как Spring упрощает разработку приложений на основе YARN.

Если вы следили за сообществом Hadoop в течение последнего года или двух, вы, вероятно, видели много дискуссий о YARN и следующей версии MapReduce Hadoop под названием MapReduce v2. YARN (еще одно средство согласования ресурсов) — это компонент проекта MapReduce, созданный для преодоления некоторых проблем с производительностью в оригинальном дизайне Hadoop. Основная идея MapReduce v2 — разделить функции JobTracker, Управление ресурсами и Планирование / Мониторинг заданий на отдельные демоны. Идея состоит в том, чтобы иметь глобального менеджера ресурсов (RM) и Application Master (AM) для каждого приложения. Общую диаграмму для зависимостей компонентов YARN можно найти в  архитектуре YARN .

MapReduce версии 2 — это приложение, работающее поверх YARN. Также возможно создать подобное пользовательское приложение на основе YARN, которое не имеет ничего общего с MapReduce, это просто запущенное приложение YARN. Однако написание пользовательского приложения на основе YARN затруднено. API YARN — это низкоуровневые API-интерфейсы инфраструктуры, а не API-интерфейсы разработчика. Взгляните на документацию  по написанию приложения YARN, чтобы получить представление о том, что происходит.

Начиная с версии 2.0, Spring for Apache Hadoop представляет подпроект Spring YARN для обеспечения поддержки создания приложений YARN на основе Spring. Эта поддержка YARN вступает в игру, пытаясь упростить разработку. «Spring управляет инфраструктурой, чтобы вы могли сосредоточиться на своем  приложении », относится к написанию приложений Hadoop, а также к другим типам приложений Java. Поддержка Spring YARN также облегчает тестирование вашего приложения YARN.

Благодаря поддержке Spring YARN вы будете использовать все знакомые концепции самой Spring Framework, включая настройку и, вообще говоря, то, что вы можете делать в своем приложении. На высоком уровне Spring YARN предоставляет три различных компонента,  YarnClient ,  YarnAppmaster  и YarnContainer,  которые вместе можно назвать Spring YARN Application. Мы предоставляем реализации по умолчанию для всех компонентов, в то же время предоставляя конечному пользователю возможность настраивать столько, сколько он или она хочет. Давайте кратко рассмотрим очень упрощенное приложение Spring YARN, которое запускает некоторый пользовательский код в кластере Hadoop.

YarnClient  используются для связи с менеджером ресурсов пряжи в. Это обеспечивает действия по управлению, такие как отправка новых экземпляров приложений, перечисление приложений и удаление запущенных приложений. При отправке приложений из  YarnClient основные проблемы связаны с настройкой и запуском Application Master. И  YarnAppmaster,  и YarnContainer  используют одну и ту же логику конфигурации контекста запуска, поэтому вы увидите много общего в конфигурации YarnClient и YarnAppmaster. Аналогично тому, как  YarnClient  будет определять контекст запуска для  YarnAppmaster ,  YarnAppmaster  определяет контекст запуска для ЯрнКонтейнер . Контекст запуска определяет команды для запуска контейнера, локализованные файлы, параметры командной строки, переменные среды и ограничения ресурсов (память, процессор).

<yarn:configuration />

<yarn:localresources>
  <yarn:hdfs path="/path/to/my/libs/*.jar"/>
</yarn:localresources>

<yarn:environment>
  <yarn:classpath/>
</yarn:environment>

<yarn:client app-name="my-yarn-app">
  <yarn:master-runner />
</yarn:client>

<yarn:configuration />

<yarn:localresources>
  <yarn:hdfs path="/path/to/my/libs/*.jar"/>
</yarn:localresources>

<yarn:environment>
  <yarn:classpath/>
</yarn:environment>

<yarn:master>
  <yarn:container-allocator/>
  <yarn:container-runner/>
</yarn:master>

<yarn:container container-class="org.example.MyCustomYarnContainer"/>

public class MyCustomYarnContainer implements YarnContainer {

  private static final Log log = LogFactory.getLog(MyCustomYarnContainer.class);

  @Override
  public void run() {
    log.info("Hello from MyCustomYarnContainer");
  }

  @Override
  public void setEnvironment(Map<String, String> environment) {}

  @Override
  public void setParameters(Properties parameters) {}

}

# java -cp <mile long classpath> org.springframework.yarn.client.CommandLineClientRunner application-context.xml yarnClient -submit

src/main/java/org/example/MyCustomYarnContainer.java src/main/resources/application-context.xml src/main/resources/appmaster-context.xml src/main/resources/container-context.xml