Обработка JSON в Scala с помощью Jerkson

Простой способ использования библиотеки Jerkson в контексте подобного учебного пособия заключается в том, что читатель может настроить новый проект SBT, объявить Jerkson как зависимость, а затем запустить Scala REPL с помощью консольного действия SBT. Это сортирует процесс получения внешних библиотек и настройки пути к классам так, чтобы они были доступны в инициированном SBT Scala REPL. Следуйте инструкциям в этом разделе, чтобы сделать это.

Примечание : если вы уже работали с Scalabha версии 0.2.5 (или более поздней), перейдите к нижней части этого раздела, чтобы узнать, как запустить REPL с использованием сборки Scalabha. В качестве альтернативы, если у вас есть собственный проект, вы, конечно, можете просто добавить Jerkson в качестве зависимости, импортировать его классы по мере необходимости и использовать его в своих обычных настройках программирования. Примеры, приведенные ниже, помогут в качестве простых рецептов для использования его в вашем проекте.

Сначала создайте каталог для работы и загрузите jar запуска SBT.

Примечание . Если на вашем компьютере не установлена ​​программа wget , вы можете загрузить указанный выше файл sbt-launch.jar в браузер и переместить его в каталог ~ / json-tutorial .

Теперь сохраните следующее как файл ~ / json-tutorial / build.sbt . Имейте в виду, что важно сохранять пустые строки между каждым объявлением.

Затем сохраните следующее в файле ~ / json-tutorial / runSbt .

Сделайте этот файл исполняемым и запустите его, что покажет SBT, выполняющего кучу работы, а затем оставит вас с приглашением SBT.

В этот момент вы должны вернуться в оболочку Unix, и теперь мы готовы запустить Scala REPL с использованием SBT. Важно то, что этот экземпляр REPL будет иметь библиотеку Jerkson и ее зависимости в пути к классам, чтобы мы могли импортировать нужные нам классы.

Если ничего больше не выводится, то все готово. Если что-то не так (или если вы используете Scala REPL по умолчанию), вы увидите что-то вроде следующего.

Если это то, что вы получили, попробуйте снова следовать приведенным выше инструкциям, чтобы убедиться, что ваши настройки точно такие же, как указано выше. Однако, если вы продолжаете испытывать проблемы, альтернативой является получение версии 0.2.5 Scalabha (в которой уже есть Jerkson в качестве зависимости), следуйте инструкциям по ее настройке и затем выполните следующие команды.

Если вы просто хотите увидеть некоторые примеры использования Jerkson в качестве API, а не использовать его в интерактивном режиме, тогда совершенно необязательно выполнять настройку SBT — просто прочитайте и адаптируйте примеры по мере необходимости.

Как обычно, давайте начнем с очень простого примера, который показывает некоторые основные свойства JSON.

{‘foo’: 42 ‘bar’: [‘a’, ‘b’, ‘c’], ‘baz’: {‘x’: 1, ‘y’: 2}}

Это описывает структуру данных с тремя полями, foo , bar и baz . Значение поля foo представляет собой целое число 42 , значение bar представляет собой список строк, а значение baz представляет собой карту из строк в целые числа. Это не зависящие от языка (но универсальные) типы.

Давайте сначала рассмотрим десериализацию каждого из этих значений по отдельности как объектов Scala, используя метод разбора Джексона. Имейте в виду, что JSON в файле — это строка, поэтому входные данные во всех этих случаях являются строками (иногда я буду использовать строки с тройными кавычками, когда в JSON есть сами кавычки). В каждом случае мы сообщаем методу разбора, какой тип мы ожидаем, предоставляя спецификацию типа перед аргументом.

Таким образом, в каждом случае строковое представление превращается в объект Scala соответствующего типа. Если мы не уверены, что это за тип или мы знаем, например, что List является неоднородным, мы можем использовать Any в качестве ожидаемого типа.

Если вы дадите ожидаемый тип, который не может быть проанализирован как таковой, вы получите ошибку.

Как насчет анализа всех атрибутов и значений вместе? Сохраните все это в переменной simpleJson следующим образом.

Поскольку это карта из строк в различные типы значений, лучшее, что мы можем сделать, это десериализовать ее как карту [String, Any] .

Чтобы получить их как более конкретные типы, чем Any , вам нужно привести их к соответствующим типам.

Конечно, вы можете захотеть работать с типами Scala , что легко, если вы импортируете неявные преобразования из типов Java в типы Scala.

Вуаля! Когда вы работаете с библиотеками Java в Scala, JavaConversion обычно оказывается чрезвычайно удобным.

Хотя мы смогли проанализировать простое приведенное выше выражение JSON и даже преобразовать значения в соответствующие типы, все еще было немного неуклюже. К счастью, если вы определили свой собственный класс дел с соответствующими полями, вы можете вместо этого предоставить его в качестве ожидаемого типа. Например, вот простой класс case, который сделает свое дело.

Очевидно, что у этого есть все правильные поля (с переменными, названными так же как поля в примере JSON), и у переменных есть типы, которые мы хотели бы, чтобы они имели.

К сожалению, из-за проблем с загрузкой классов в SBT мы не можем выполнять оставшуюся часть этого упражнения исключительно в REPL и должны определить этот класс в коде. Этот код может быть скомпилирован и затем использован в REPL или другом коде. Для этого сохраните следующее как ~ / json-tutorial / Simple.scala .

Затем выйдите из сеанса Scala REPL, в котором вы участвовали в предыдущем разделе, с помощью команды : quit и выполните следующие действия. (Если что-то пошло не так, вы можете перезапустить SBT (с помощью runSbt ) и выполнить следующие команды.)

Вы можете внести изменения в код в Simple.scala , скомпилировать его снова (для этого не нужно выходить из SBT) и снова запустить его. Кроме того, теперь, когда вы скомпилировали, если вы запускаете Scala REPL с помощью действия консоли , то класс Simple теперь доступен для вас, и вы можете продолжить работу в REPL. Например, здесь те же операторы, которые используются в основном методе SimpleExample, приведенном ранее.

Еще одна приятная особенность сериализации JSON заключается в том, что если строка JSON содержит больше информации, чем нужно для создания объекта, который требуется построить из нее, она игнорируется. Например, рассмотрим десериализацию следующего примера, в котором есть дополнительное поле eca в представлении JSON.

Информация eca молча ускользает, и мы все еще получаем простой объект со всей необходимой информацией. Это свойство очень удобно для игнорирования нерелевантной информации, которая, как я покажу, будет весьма полезна в последующем посте по обработке твитов в формате JSON из API Twitter.

Еще один момент, который следует отметить в приведенном выше примере, это то, что логические значения true и false являются допустимыми JSON (это не строки в кавычках, а фактические логические значения). Парсинг логического значения даже довольно прост, поскольку Джексон даст вам логическое значение, даже если оно определено как строка.

И он преобразует логическое значение в строку, если вы попросите его сделать это.

Но он (разумно) не преобразует никакую строку, кроме true или false, в логическое значение.

И он не допускает значения без кавычек, кроме нескольких избранных, включая true и false .

Другими словами, ваш JSON должен быть грамматическим. Генерация JSON из объекта

Если у вас есть объект в руке, очень легко создать из него JSON (сериализовать) с помощью метода generate .

Это намного проще, чем решение XML, которое требует явного объявления того, как объект должен быть превращен в элементы XML. Ограничение состоит в том, что любые такие объекты должны быть экземплярами класса case. Если у вас нет класса case, вам нужно выполнить специальную обработку (не обсуждаемую в этом руководстве).

В духе предыдущего урока по XML я создал JSON, соответствующий используемому там музыкальному XML-примеру. Вы можете найти его как Github Gist music.json :

https://gist.github.com/2668632

Сохраните этот файл как /tmp/music.json .

Совет : вы можете легко отформатировать сжатый JSON, чтобы сделать его более читабельным, используя инструмент mjson в Python.

Затем сохраните следующий код как ~ / json-tutorial / MusicJson.scala .

Пару быстрых заметок. Классы Song , Album и Artist те же, что и в предыдущем уроке по обработке XML, с двумя изменениями. Во-первых, я обернул их в пакет музыки . Это необходимо только для решения проблемы с запуском Jerkson в SBT, как мы делаем здесь. Другое состоит в том, что поля, не входящие в конструктор, помечаются как @transient : это гарантирует, что они не будут включены в выходные данные, когда мы генерируем JSON из объектов этих классов. Примером того, как это важно, является способ создания файла music.json : я прочитал в XML, как и в предыдущем уроке, а затем с помощью Jerkson сгенерировал JSON — без аннотации @transient эти поля включаются в вывод , Для справки вот код для преобразования XML в JSON (который вы можете добавить в MusicJson.scala, если хотите).

Существуют и другие стратегии сериализации (например, двоичная сериализация объектов), и аннотация @transient ими аналогично соблюдается.

Учитывая код в MusicJson.scala , теперь мы можем скомпилировать и запустить его. В SBT вы можете выполнить run или run-main . Если вы выберете запустить и в вашем проекте более одного метода, SBT предоставит вам выбор.

С помощью run-main вы просто явно указываете имя объекта, основной метод которого вы хотите запустить.

Так или иначе, мы успешно десериализовали JSON-описание музыкальных данных. (Вы можете также получить тот же результат, введя код основного метода MusicJson в REPL при запуске его из консоли SBT.)

В этом руководстве показано, как легко сериализовать (генерировать) и десериализовать (анализировать) объекты в формат JSON и из него. Надеюсь, это продемонстрировало относительную простоту выполнения этого с библиотекой Джерксона и Scala, и особенно относительную простоту по сравнению с работой с XML для аналогичных целей.

В дополнение к этой легкости, JSON обычно более компактен, чем эквивалентный XML. Тем не менее, он по-прежнему далек от того, чтобы быть действительно сжатым форматом, и есть много очевидных «потерь», таких как повторение имен полей для каждого объекта снова и снова. Это очень важно, когда данные представлены в виде строк JSON и отправляются по сетям и / или используются в средах распределенной обработки, таких как Hadoop. Формат файла Avro — это эволюция JSON, которая выполняет такое сжатие: она включает схему с каждым файлом, а затем каждый объект представляется в двоичном формате, который указывает только данные, а не имена полей. Помимо того, что он более компактен, он сохраняет свойства легкого разделения, что очень важно для обработки больших файлов в Hadoop.

Ссылка: Обработка JSON в Scala с Джерксоном от нашего партнера JCG Джейсона Болдриджа в блоге Bcomposes .