Использование YAML по сети

обзор

Существует ряд популярных текстовых протоколов для обмена данными по сети. К ним относятся XML, FIX и JSON. Chronicle Engine использует YAML, который имеет некоторые преимущества и недостатки.

Разве текст не медленнее двоичного?

Текстовые протоколы медленнее, чем двоичные протоколы. Стоимость кодирования чисел и даже строк в Юникоде увеличивает нагрузку на процессор.

Хотя текст медленнее, у него есть одно важное преимущество перед двоичным, которое заключается в удобочитаемости человеком. Это значительно упрощает описание протокола и реализацию решения для интерфейса без использования инфраструктуры.

Хотя двоичный файл быстрее, чем текст, вы можете обнаружить, что текст достаточно быстрый, и в этом случае вы хотите, чтобы формат с ним был как можно проще для работы.

Ниже перечислены задержки для сериализации и десериализации объекта с 6 полями различных типов. TextWire имеет формат YAML, BinaryWire — это двоичная форма, а RawWire и SBE — другие двоичные форматы.

Для получения более подробной информации см. Chronicle-Wire / microbenchmarks

Время указано в микросекундах:

Обычно в этих высоких процентилях общие библиотеки Java показывают гораздо более высокие результаты, обычно из-за пауз GC. Даже при скромной пропускной способности этот джиттер задержки начинает иметь значение, например, если вы обрабатываете 10000 сообщений в секунду, следующий джиттер задержит 14-15 сообщений, а не только одно.

«+ C-байты» означает, когда используется с байтами хроники для перезапуска буфера.

В то время как у Джексона был хороший результат на 99,99%, у 99,999% было 1405 мкс.

Как выглядят эти форматы?

TextWire

Этот формат имеет префикс размера 4 байта, который декодируется в первой строке:

BinaryWire с текстовыми полями

Так выглядят данные при автоматическом переводе в текст.

BinaryWire с числовыми полями

Так выглядят данные при автоматическом переводе в текст.

RawWire без метаданных

BytesMarshallable со стоп-битовой кодировкой

Простое двоичное кодирование

• Для полного набора результатов и различных форматов проводов

Человек читаемый

XML и JSON являются производными текстовыми форматами. Это сокращенные формы SGML и Javascript. Это означает, что он может быть прочитан людьми, но не предназначен для этой цели. Как мы увидим, не то, чтобы быть специально разработанным для удобства чтения, имеет некоторые преимущества.

YAML: формат, разработанный для удобства чтения.

Преимущество YAML, как мы видим, заключается в том, что он был специально разработан для удобства чтения. Это означает, что он менее многословен и имеет более богатый набор конструкций.

Основным недостатком является то, что он был разработан для удобочитаемости человеком (а не машиночитаемости). Более богатый набор конструкций означает, что вы можете упорядочить данные по вкусу, хотя написать программу для упорядочения данных со вкусом гораздо сложнее.

Связанный недостаток заключается в том, что различные реализации могут быть несовместимы друг с другом, поскольку существует больше опций для поддержки, некоторые из которых оставлены для интерпретации. Например, символы должны быть помещены в кавычки, если это необходимо, и разные библиотеки имеют разное представление о том, должен ли такой символ заключаться в кавычки. В спецификации есть примеры, когда строки с кавычками в них не заключены в кавычки. Также есть две кавычки, одинарные и двойные.

Так зачем использовать YAML?

Преимущество YAML в том, что он по крайней мере предназначен для чтения людьми. Это не самый быстрый формат, хотя он может быть более чем быстрым и очень читабельным. Если вы сравните это с XML, JSON или FIX, они не рассчитаны на скорость и не особенно удобочитаемы.

Протоколная документация

Использование YAML упрощает документирование того, что необходимо отправить по проводам. У нас есть модульные тесты для различной функциональности, где мы регистрируем то, что отправлено и получено в тексте. Мы добавляем некоторые метаданные вокруг этих сообщений и получаем вывод, который может быть непосредственно включен в нашу документацию . Это означает, что мы уверены, что это правильно.

В качестве текста мы можем указать, когда ожидается, что сообщение будет выглядеть, и определить, когда даже незначительные изменения легко изменили содержимое сообщения. Это так же просто, как проверка соответствия строк. Затем среда IDE может показать многострочное сравнение, чтобы вы могли увидеть точное поле, которое было изменено.

Что мы можем сделать, если YAML будет медленным?

Мы используем высокоуровневый API Chronicle Wire, в котором вы можете выбрать точный формат проводки, как для независимых компаний. Это означает, что мы можем перейти на использование двоичного протокола, как только мы проверим, работает ли текстовый протокол. Мы используем двоичный перевод YAML, но мы также можем использовать формат данных RAW, который удаляет все метаданные для максимальной скорости.

У нас также есть инструменты для автоматического преобразования «двоичного YAML» в YAML для целей регистрации и отладки.

Вывод

Возможность использовать YAML для тестирования и разработки является продуктивным способом разработки новых решений, а возможность перехода на двоичную форму для ускорения является хорошим способом получить сочетание читабельности и скорости.