Map-Reduce, Python и именованные кортежи

Год назад и переоденься, я написал это в « Исследовательском программировании ». Оказывается, это было ошибкой. Хотя метод расширения подкласса является отличным способом постепенного создания программы, в долгосрочной перспективе подклассы не рекомендуется.

Чем больше я смотрю на функции генератора Python и идею использования Map-Reduce, тем больше понимаю, что посетители и расширение подкласса — не лучший шаблон проектирования. Такой же вид исследования может быть выполнен с помощью методов сокращения карты, и получающееся в результате приложение несколько проще.

Дизайн муфта

Проблема с проектированием по подклассам заключается в том, что операции преобразования и сокращения часто определяются относительно неформально. В конце концов, это просто вызовы методов в одном классе. Вы можете, не задумываясь, создать неясные зависимости и предположения. Это может сделать посетителя довольно сложным или затруднить рефакторинг в подкласс функций подкласса.

В качестве конкретного примера у нас есть приложение, которое обрабатывает каталоги файлов и файловые архивы (ZIP и TAR) рабочих книг с несколькими листами. Все это вложение просто оборачивает источник строк электронной таблицы. Это должен быть набор простых вложенных операций с картами для преобразования каталогов, файлов, архивов файлов и т. Д. В источник строк электронной таблицы.

Однако на полпути через нашу иерархию классов подкласс ввел объект с состоянием, который могли бы использовать другие функции метода. Однако, когда мы попытались преобразовать вещи в простой посетитель, чтобы посетить все рабочие книги (игнорируя всю директорию, архив и файловую структуру), мы обошли скрытый объект с состоянием, не осознавая этого .

Именованные кортежи и неизменность

Гораздо более чистым решением является использование конструктора namedtuple в Python и создание функций генератора, которые отображают один тип именованных кортежей на другой тип именованных кортежей . Это имеет то преимущество, что — если вы не сделали что-то действительно плохое — вы должны иметь возможность выбирать и удалять каждый кортеж, легко заполняя многопроцессорный конвейер. Максимальный параллелизм, минимальная работа.

Каждый этап в конвейере сокращения карты может иметь следующую форму.

SomeResult = namedtuple('SomeResult',['a','b','c'])
for x in someSource():
  assert isinstance( x, SomeSource )
  yield SomeResult( <i>some transformation of x</i> )