Очереди сообщений: сравнение Beanstalkd, IronMQ и Amazon SQS

 <?php

/* 1. Setup & connect */

// Include composer libraries
require 'vendor/autoload.php';

$queue_name = 'https://sqs.{region}.amazonaws.com/{id}/{queue_name}';
$job_data   = 'lorem ipsum';

$aws = \Aws\Common\Aws::factory(array(
    'key'    => '{key}',
    'secret' => '{secret}',
    'region' => '{region}'
));

$sqs = $aws->get('sqs');

/* 2. Provider */

// Enqueue a job
$sqs->sendMessage(array(
    'QueueUrl'    => $queue_name,
    'MessageBody' => $job_data
));

/* 3. Worker */

// Handle one job
$result = $sqs->receiveMessage(array(
    'QueueUrl' => $queue_name
));

if (!$result) {
    // No jobs
    exit;
}

$messages = $result->getPath('Messages');
if (!$messages) {
    // No jobs
    exit;
}

foreach ($messages as $message) {
    try {
        $job_data = $message['Body'];

        echo $job_data . PHP_EOL;

        // Dequeue a job
        $sqs->deleteMessage(array(
            'QueueUrl'      => $queue_name,
            'ReceiptHandle' => $message['ReceiptHandle']
        ));
    } catch (Exception $e) {
        // Bury a job
        // There is no bury in SQS
        echo $e->getMessage();
    }
}

Советы по очередям сообщений

Независимо от того, какой сервис вы выберете, вот несколько советов по поддержанию надежности ваших очередей:

Сериализация метаданных

Ваша работа может содержать любые данные, которые вам нравятся, при условии, что они находятся в пределах размера данных работы сервера. Используйте JSON в своем теле работы, чтобы метаданные легко передавались.

 // Encode for enqueuing:
$raw_data = (object) array('id' => 100);
$job_data = json_encode($raw_data);

// Decode from dequeuing:
$raw_data = '{"id":100}';
$job_data = json_decode($raw_data);

Ограничьте размер данных вашей работы

Старайтесь не переполнять задания слишком большим количеством метаданных. Если вы можете хранить некоторую информацию в базе данных и ставить в очередь только идентификатор для последующей обработки, ваша очередь будет более надежной и более легкой для отладки.

 // Good:
$raw_data = (object) array('id' => 100);

// Not as good ...
// But sometimes necessary when there is
// no database access on a worker:
$raw_data = (object) array(
    'id' => 100,
    'color' => 'black',
    'background' => 'white'
);

Следите за состоянием работы

Если по какой-то причине уже обработанный элемент снова попадает в очередь, вы, вероятно, не хотите, чтобы он был повторно обработан. К сожалению, данные задания не обязательно должны быть уникальными, и важно следить за состоянием задания в базе данных.

Это может быть так же просто, как наличие столбца в таблице заданий, чтобы пометить элемент как обработанный. Вы можете удалить задание из очереди, если оно уже было обработано.

терминология

Некоторые слова по-разному используются в Beanstalkd и Amazon SQS. Есть быстрый список переводов:

глоссарий

При работе с очередями вы можете встретить следующие условия:

Bury (a job) Задание не может быть повторно обработано, пока оно не будет возвращено в очередь вручную. Не поддерживается IronMQ и SQS.

Consumer

Delay

Delete (a job)

Dequeue

Enqueue

FIFO Это наиболее распространенный тип очереди сообщений.

FILO

Job Сродни строкам базы данных.

Kick (a job) Не поддерживается IronMQ и SQS.

Provider

Queue Сродни таблицам базы данных.

Reserve (a job)

Worker Они выполняют трудоемкую часть обработки.

Вывод

Для служб очереди сообщений нет серебряной пули. Beanstalkd, IronMQ и Amazon SQS имеют свои сильные и слабые стороны, которые могут быть использованы в ваших интересах. Эта статья должна предоставить вам достаточно информации, чтобы помочь вам принять обоснованное решение о том, какой сервис лучше всего подходит для вашего уровня квалификации и потребностей проекта.

Какой сервис очереди сообщений вы будете использовать? Если вы в настоящее время используете очереди, рассмотрите возможность переключения? Вы использовали нетрадиционные очереди сообщений, которые могли бы помочь другим? Оставьте комментарий и дайте знать всем.