7) Счетчики и соединения в MapReduce

В дополнение к встроенным счетчикам пользователь может определять свои собственные счетчики, используя аналогичные функции, предоставляемые языками программирования. Например, в Java ‘enum’ используются для определения пользовательских счетчиков.

Пример счетчиков

Пример MapClass со счетчиками для подсчета количества пропущенных и недопустимых значений. Файл входных данных, используемый в этом учебном курсе. Наш набор входных данных представляет собой файл CSV, SalesJan2009.csv

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

Выше фрагмент кода показывает пример реализации счетчиков в Map Reduce.

Здесь SalesCounters — это счетчик, определенный с помощью  enum . Используется для подсчета   входных записей MISSING  и  INVALID .

Во фрагменте кода, если   поле ‘страна’ имеет нулевую длину, его значение отсутствует, и, следовательно, увеличивается соответствующий счетчик  SalesCounters.MISSING  .

Далее, если  поле «продажи»  начинается с  «  тогда», запись считается недействительной. Об этом свидетельствует увеличение счетчика  SalesCounters.INVALID.