Hadoop на Azure: введение

1. Однако речь идет не только об общем объеме данных (объеме).
2. Это также касается скорости (насколько быстро поступают данные)
3. Какова структура? Есть ли варианты?

1. Hadoop — это программная среда с открытым исходным кодом, которая поддерживает распределенные приложения с интенсивным использованием данных. Hadoop написан на Java.
2. Я встретил его создателя, Дуга Каттинга, который в то время работал в Yahoo. Hadoop назван в честь игрушечного слона его сына. В то время у меня был стенд, и я помню, что Дагу было любопытно найти какой-нибудь классный материал, который можно было бы принести домой из киоска, чтобы подарить его сыну. Еще одна отличная идея, Даг!
3. Одна из целей Hadoop — запуск приложений на больших кластерах аппаратного обеспечения. Кластер состоит из одного главного и нескольких рабочих узлов.
4. Hadoop использует модель программирования карты / уменьшить. Он оптимизирован для обработки больших наборов данных.
5. MapReduce обычно используется для распределенных вычислений на кластерах компьютеров. В кластере было много «узлов», где каждый узел — это компьютер в кластере.
6. Цель сокращения карты — разбить огромные наборы данных на более мелкие части, распределить их по различным ведомым или рабочим узлам в кластере и параллельно обрабатывать данные. Hadoop использует распределенную файловую систему для хранения данных на разных узлах.

public class WordCount {

  public static class Map extends MapReduceBase
  implements Mapper<LongWritable, Text, Text, IntWritable>
  {

  private final static IntWritable one = new IntWritable(1);
  private Text word = new Text();

  public void map(LongWritable key, Text value,
  OutputCollector<Text, IntWritable> output,
  Reporter reporter) throws IOException
  {

  String line = value.toString();
  StringTokenizer tokenizer = new StringTokenizer(line);
  while (tokenizer.hasMoreTokens())
  {
  word.set(tokenizer.nextToken());
  output.collect(word, one);
  }
  }
  }

  public static class Reduce
  extends MapReduceBase
  implements Reducer<Text, IntWritable, Text, IntWritable>
  {

  public void reduce(Text key, Iterator<IntWritable> values,
  OutputCollector<Text, IntWritable> output,
  Reporter reporter) throws IOException
  {
  int sum = 0;
  while (values.hasNext())
  {
  sum += values.next().get();
  }
  output.collect(key, new IntWritable(sum));
  }
  }

  public static void main(String[] args) throws Exception
  {
  JobConf conf = new JobConf(WordCount.class);
  conf.setJobName("wordcount");

  conf.setOutputKeyClass(Text.class);
  conf.setOutputValueClass(IntWritable.class);

  conf.setMapperClass(Map.class);
  conf.setCombinerClass(Reduce.class);
  conf.setReducerClass(Reduce.class);

  conf.setInputFormat(TextInputFormat.class);
  conf.setOutputFormat(TextOutputFormat.class);

  FileInputFormat.setInputPaths(conf, new Path(args[0]));
  FileOutputFormat.setOutputPath(conf, new Path(args[1]));

  JobClient.runJob(conf);
  }
}

«Карта» в MapReduce

1. Пример Hello World для Hadoop — это пример подсчета слов.
2. Давайте предположим, что наша цитата такая:
   
   • Настало время всем добрым людям прийти на помощь своей стране.

Функция map () (см. часть «to») дважды находит «to»	(Это, 1) (есть, 1) (время, 1) (для, 1) (все, 1) (хорошо, 1) (до, 1) (мужчины, 1) (до, 1) (приходят, 1) (the, 1) (помощь, 1) (of, 1) (их, 1) (страна, 1)
Функция shuffle () (см. часть «to») создает (to, 1, 1)	(Это, 1) (есть, 1) (время, 1) (для, 1) (все, 1) (хорошо, 1) (до, 1, 1) (мужчины, 1) (приходят, 1) (, 1) (помощь, 1) (оф, 1) (их, 1) (страна, 1)
Функция Reduce () (см. часть «to») создает (to, 2)	(Это, 1) (есть, 1) (время, 1) (для, 1) (все, 1) (хорошо, 1) (мужчины, 1) (до, 2) (приходят, 1) (,, 1) (помощь, 1) (оф, 1) (их, 1) (страна, 1)

1. Существует два основных уровня как для главного узла, так и для подчиненных узлов — уровень MapReduce и уровень распределенной файловой системы. Главный узел отвечает за отображение данных на подчиненные или рабочие узлы.

1. Мы создадим имя задания под названием «Пример Пи». Этот очень простой пример вычислит PI, используя кластер comptuers.
2. Это не обязательно лучший пример больших данных, это скорее проблема вычислений.
3. Последняя командная строка будет выглядеть так:
1. Jad Hadoop hadoop-examples-0.20.203.1-SNAPSHOT.jar pi 16 10000000
4. Более подробная информация об этом образце в ближайшее время.