Исследовательский анализ данных в функциональном стиле Python

Действительно, мы могли бы написать это как лямбда-конструкцию, которая используется как функция.

ns_reader = lambda reader: (types.SimpleNamespace(**row) for row in reader)
    

Хотя функции ns_reader () и лямбда-ns_reader () используются одинаково, написать строку документа и модульный тест doctest для лямбды немного сложнее. По этой причине, лямбда, вероятно, следует избегать.

Мы можем использовать карту (лямбда-строка: types.SimpleNamespace (** row), читатель). Некоторые люди предпочитают это перед выражением генератора.

Мы могли бы использовать правильный оператор for с внутренним оператором yield, но, кажется, нет ничего полезного в том, чтобы делать большие операторы из мелочей.

У нас много вариантов, потому что Python предлагает так много функциональных возможностей программирования. Мы не часто рассматриваем Python как функциональный язык. Тем не менее, у нас есть множество способов справиться с простым отображением.

Сопоставления: преобразования и производные данные

У нас часто будет список преобразований данных, которые довольно очевидны. Кроме того, у нас будет растущий список элементов производных данных. Производные элементы будут динамическими и основаны на различных гипотезах, которые мы проверяем. Каждый раз, когда у нас есть эксперимент или вопрос, мы можем изменить полученные данные.

Каждый из этих этапов: фильтрация, проекция, преобразование и деривация являются этапами в части «карта» конвейера сокращения карты. Мы могли бы создать ряд небольших функций и применить их с помощью map (). Поскольку мы обновляем объект с состоянием, мы не можем использовать функцию общего map (). Если бы мы хотели добиться более чистого функционального стиля программирования, мы бы использовали неизменяемый namedtuple вместо изменяемого SimpleNamespace.

def convert(reader):
    for row in reader:
        row._time = datetime.datetime.strptime(row.Time, "%Y-%m-%dT%H:%M:%S.%F%Z")
        row.response_time = float(row.ResponseTime)
        yield row
    

with open("somefile.csv") as source:
    rdr = csv.DictReader(source)
    rdr_perf_log = (row for row in rdr if row['source'] == 'perf_log')
    rdr_proj = project(rdr_perf_log)
    rdr_ns = (types.SimpleNamespace(**row) for row in rdr_proj)
    rdr_converted = convert(rdr_ns)
    for row in rdr_converted:
        row.start_time = row._time - datetime.timedelta(seconds=row.response_time)
        row.service = some_mapping(row.Service)
        print( "{host:30s} {start_time:%H:%M:%S} {response_time:6.3f} {service}".format_map(vars(row)) )
    

def converted_log(some_file):
    with open(some_file) as source:
        rdr = csv.DictReader(source)
        rdr_perf_log = (row for row in rdr if row['source'] == 'perf_log')
        rdr_proj = project(rdr_perf_log)
        rdr_ns = (types.SimpleNamespace(**row) for row in rdr_proj)
        rdr_converted = convert(rdr_ns)
        for row in rdr_converted:
            row.start_time = row._time - datetime.timedelta(seconds=row.response_time)
            row.service = some_mapping(row.Service)
            yield row

for row in converted_log("somefile.csv"):
    print( "{host:30s} {start_time:%H:%M:%S} {response_time:6.3f} {service}".format_map(vars(row)) )
    

by_service= defaultdict(list)
for row in converted_log("somefile.csv"):
    by_service[row.service] = row.response_time
for svc in sorted(by_service):
    m = statistics.mean( by_service[svc] )
    print( "{svc:15s} {m:.2f}".format_map(vars()) )