Повышение производительности памяти с генераторами и Nikic / Iter

 function readCSVGenerator($file) {
    $handle = fopen($file, "r");

    while (!feof($handle)) {
        yield fgetcsv($handle);
    }

    fclose($handle);
}

Если вы зациклите данные CSV, вы сразу заметите, что объем памяти вам необходим:

 foreach (readCSVGenerator("posts.csv") as $post) {
    // do something with $post
}

print "memory:" . formatBytes(memory_get_peak_usage());

Если раньше вы видели мегабайты памяти, которые использовались ранее, то теперь вы увидите килобайты. Это огромное улучшение, но оно не обходится без своей доли проблем.

Для начала, array_filterarray_map Вам нужно будет найти другие инструменты для обработки таких данных. Вот тот, который вы можете попробовать!

 composer require nikic/iter

Эта библиотека представляет несколько функций, которые работают с итераторами и генераторами. Так как же вы все еще можете получать все эти важные данные, не сохраняя их в памяти?

 function getAuthors() {
    $authors = readCSVGenerator("authors.csv");

    foreach ($authors as $author) {
        yield formatAuthor($author);
    }
}

function formatAuthor($author) {
    $author["posts"] = getPostsForAuthor($author);

    // make other changes to $author

    return $author;
}

function getPostsForAuthor($author) {
    $posts = readCSVGenerator("posts.csv");

    foreach ($posts as $post) {
        if ($post[1] == $author[0]) {
            yield formatPost($post);
        }
    }
}

function formatPost($post) {
    foreach (getAuthors() as $author) {
        if ($post[1] == $author[0]) {
            $post["author"] = $author;
            break;
        }
    }

    foreach (getCategories() as $category) {
        if ($post[2] == $category[0]) {
            $post["category"] = $category;
            break;
        }
    }

    // make other changes to $post

    return $post;
}

function getCategories() {
    $categories = readCSVGenerator("categories.csv");

    foreach ($categories as $category) {
        yield formatCategory($category);
    }
}

function formatCategory($category) {
    $category["posts"] = getPostsForCategory($category);

    // make other changes to $category

    return $category;
}

function getPostsForCategory($category) {
    $posts = readCSVGenerator("posts.csv");

    foreach ($posts as $post) {
        if ($post[2] == $category[0]) {
            yield formatPost($post);
        }
    }
}

// testing this out...

foreach (getAuthors() as $author) {
    foreach ($author["posts"] as $post) {
        var_dump($post["author"]);
        break 2;
    }
}

Это может быть менее многословно:

 function filterGenerator($generator, $column, $value) {
    return iter\filter(
        function($item) use ($column, $value) {
            return $item[$column] == $value;
        },
        $generator
    );
}

function getAuthors() {
    return iter\map(
        "formatAuthor",
        readCSVGenerator("authors.csv")
    );
}

function formatAuthor($author) {
    $author["posts"] = getPostsForAuthor($author);

    // make other changes to $author

    return $author;
}

function getPostsForAuthor($author) {
    return iter\map(
        "formatPost",
        filterGenerator(
            readCSVGenerator("posts.csv"), 1, $author[0]
        )
    );
}

function formatPost($post) {
    foreach (getAuthors() as $author) {
        if ($post[1] == $author[0]) {
            $post["author"] = $author;
            break;
        }
    }

    foreach (getCategories() as $category) {
        if ($post[2] == $category[0]) {
            $post["category"] = $category;
            break;
        }
    }

    // make other changes to $post

    return $post;
}

function getCategories() {
    return iter\map(
        "formatCategory",
        readCSVGenerator("categories.csv")
    );
}

function formatCategory($category) {
    $category["posts"] = getPostsForCategory($category);

    // make other changes to $category

    return $category;
}

function getPostsForCategory($category) {
    return iter\map(
        "formatPost",
        filterGenerator(
            readCSVGenerator("posts.csv"), 2, $category[0]
        )
    );
}

Немного расточительно каждый раз перечитывать каждый источник данных. Подумайте о том, чтобы хранить в памяти меньшие связанные данные (например, авторов и категории)

Другие забавные вещи

Это только верхушка айсберга, когда дело доходит до библиотеки Никича! Всегда хотел сгладить массив (или итератор / генератор)?

 $array = iter\toArray(
    iter\flatten(
        [1, 2, [3, 4, 5], 6, 7]
    )
);

print join(", ", $array); // "1, 2, 3, 4, 5"

Вы можете возвращать фрагменты итерируемых переменных, используя такие функции, как slicetake

 $array = iter\toArray(
    iter\slice(
        [-3, -2, -1, 0, 1, 2, 3],
        2, 4
    )
);

print join(", ", $array); // "-1, 0, 1, 2"

Поскольку вы больше работаете с генераторами, вы можете обнаружить, что не всегда можете их повторно использовать. Рассмотрим следующий пример:

 $mapper = iter\map(
    function($item) {
        return $item * 2;
    },
    [1, 2, 3]
);

print join(", ", iter\toArray($mapper));
print join(", ", iter\toArray($mapper));

Если вы попытаетесь запустить этот код, вы увидите исключение, говорящее; «Невозможно пройти через уже закрытый генератор». Каждая функция итератора в этой библиотеке имеет перезаписываемый аналог:

 $mapper = iter\rewindable\map(
    function($item) {
        return $item * 2;
    },
    [1, 2, 3]
);

Вы можете использовать эту функцию отображения много раз. Вы можете даже сделать свои собственные генераторы перематываемыми:

 $rewindable = iter\makeRewindable(function($max = 13) {
    $older = 0;
    $newer = 1;

    do {
        $number = $newer + $older;

        $older = $newer;
        $newer = $number;

        yield $number;
    }
    while($number < $max);
});

print join(", ", iter\toArray($rewindable()));

Что вы получаете от этого, это генератор многоразового использования!

Вывод

Для каждой цикличной вещи, о которой вам нужно подумать, генераторы могут быть опцией. Они могут быть полезны и для других вещей . И там, где язык терпит неудачу, библиотека Никича вступает с множеством функций более высокого порядка.

Вы уже используете генераторы? Хотели бы вы увидеть больше примеров того, как реализовать их в своих собственных приложениях, чтобы повысить производительность? Дайте нам знать!