Infinispan Распределенные потоки

distributedBatchSize

Этот метод контролирует, сколько элементов возвращается за один раз для операций, которые являются ключом. Этими операциями являются (spl) итератор и forEach. Это полезно для настройки количества ключей, хранящихся в памяти от удаленного узла. Таким образом, это компромисс между производительностью (больше ключей) и памятью. По умолчанию используется размер порции, настроенный передачей состояния.

parallelDistribution / sequentialDistribution

Это обсуждалось в разделе параллелизма выше. Обратите внимание, что во всех командах это включено по умолчанию, кроме методов spl (iterator).

FilterKeys

Этот метод может использоваться, чтобы распределенный поток работал только с заданным набором ключей. Это сделано очень эффективным способом, поскольку он будет выполнять операцию только на узлах, которые владеют данными ключами. Использование заданного набора ключей также обеспечивает постоянное время доступа из контейнера / хранилища данных, поскольку кэш не должен просматривать каждую отдельную запись в кеше. 

filterKeySegments (только для опытных пользователей)

Это полезно для фильтрации экземпляров более производительным способом. Обычно вы можете использовать промежуточную операцию фильтра, но этот метод выполняется перед выполнением любой из операций, чтобы наиболее эффективно ограничить записи, представляемые для обработки потока. Например, если требуется только подмножество сегментов, возможно, нет необходимости отправлять удаленный запрос.

сегментCompletionListener (только для опытных пользователей)

Как и в предыдущем методе, это связано с ключевыми сегментами. Этот слушатель позволяет конечному пользователю быть уведомленным, когда сегмент был завершен для обработки. Это может быть полезно, если вы хотите отслеживать завершение и если этот узел выходит из строя, вы можете перезапустить обработку только с необработанными сегментами. В настоящее время этот слушатель поддерживается только для методов spl (iterator).

disableRehashAware (только для опытных пользователей)

По умолчанию все потоковые операции являются так называемыми. То есть, если узел присоединяется к кластеру или покидает его во время выполнения операции, кластер узнает об этом и гарантирует, что все данные обрабатываются должным образом без потерь (при условии, что данные не были потеряны).

Это можно отключить, вызвав disableRehashAware; однако, если в середине операции должна произойти перефразировка, возможно, что не все данные могут быть обработаны. Следует отметить, что данные не обрабатываются многократно с этим отключенным, может произойти только потеря данных.

Этот вариант обычно не рекомендуется, если у вас нет ситуации, когда вы можете позволить себе работать только с подмножеством данных. Компромисс в том, что операция может выполняться быстрее, особенно (spl) итератор и методы forEach.

Уменьшение карты

Вековой пример карты / сокращения — это всегда количество слов. Потоки позволяют вам сделать это также! Вот эквивалентный пример подсчета слов, при условии, что у вас есть кэш, содержащий ключи и значения String, и вы хотите подсчитать количество всех слов в значениях. Некоторым из вас может быть интересно, как это связано с нашей существующей платформой карты / сокращения. План состоит в том, чтобы отказаться от существующей карты / уменьшить и полностью заменить ее новыми распределенными потоками на более позднем этапе.

Map<String, Long> results = cache.entrySet().stream()
     .map((Serializable & Function<Map.Entry<String, String>, String[]>) e -> e.getValue().split("\\s+"))
     .flatMap((Serializable & Function<String[], Stream<String>>) Arrays::stream)
     .collect(CacheCollectors.serializableCollector(
        () -> Collectors.groupingBy(Function.identity(), Collectors.counting())));