Оператор DISTINCT используется для удаления избыточных (дублирующих) кортежей из отношения.
Синтаксис
Ниже приведен синтаксис оператора DISTINCT .
grunt> Relation_name2 = DISTINCT Relatin_name1;
пример
Предположим, что у нас есть файл student_details.txt в каталоге HDFS / pig_data /, как показано ниже.
student_details.txt
001,Rajiv,Reddy,9848022337,Hyderabad 002,siddarth,Battacharya,9848022338,Kolkata 002,siddarth,Battacharya,9848022338,Kolkata 003,Rajesh,Khanna,9848022339,Delhi 003,Rajesh,Khanna,9848022339,Delhi 004,Preethi,Agarwal,9848022330,Pune 005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar 006,Archana,Mishra,9848022335,Chennai 006,Archana,Mishra,9848022335,Chennai
И мы загрузили этот файл в Pig с именем отношения student_details, как показано ниже.
grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',') as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray);
Теперь давайте удалим избыточные (дубликаты) кортежи из отношения с именем student_details, используя оператор DISTINCT , и сохраним их как другое отношение с именем diver_data, как показано ниже.
grunt> distinct_data = DISTINCT student_details;
верификация
Проверьте отношение Different_data, используя оператор DUMP, как показано ниже.
grunt> Dump distinct_data;
Выход
Он выдаст следующий вывод, отображающий содержимое отношения Different_data следующим образом.