Учебник по Scala — Карты, Наборы, groupBy, Параметры, Flatten, FlatMap

Предисловие

Это часть 7 учебных пособий для начинающих программистов, попадающих в Scala. Другие посты находятся в этом блоге, и вы можете получить ссылки на эти и другие ресурсы на странице ссылок курса по компьютерной лингвистике, для которого я их создаю. Кроме того, вы можете найти эту и другие серии учебников на странице JCG Java Tutorials .

Списки (и другие структуры данных последовательностей, такие как диапазоны и массивы) позволяют группировать коллекции объектов упорядоченным образом: вы можете обращаться к элементам списка, индексируя их положение в списке, или перебирая элементы списка, один за другим. , используя для выражений и функций последовательности, таких как карта , фильтр , уменьшить и сложить . Другим важным видом структуры данных является ассоциативный массив, который вы узнаете в Scala как карта . (Да, это имеет неприятную двусмысленность с функцией карты , но их использование будет совершенно ясно из контекста.) Карты позволяют хранить коллекцию пар ключ-значение и получать доступ к значениям с помощью связанных с ними ключей, а не через индекс (как со списком).

Примеры случаев, когда вы можете использовать карту:

• Ассоциирование английских слов с их немецкими переводами
• Ассоциирование каждого слова с его количеством в данном тексте
• Ассоциирование каждого слова с его возможными частями речи

В этом посте вы увидите конкретные примеры каждого из них.

Создание карт и доступ к их элементам

Карты довольно интуитивно понятны. Вот пример с несколькими английскими словами и их немецкими переводами. Одним из простых способов создания карты является передача списка пар, где первый элемент каждой пары определяет ключ, а второй — соответствующее значение.

Обратите внимание, что записи карты имеют ключ формы -> значение . Затем мы можем получить немецкий перевод слова « собака », указав ключ « собака » на созданной нами карте.

Подумайте на минуту, что вам нужно сделать, чтобы достичь этого с помощью списков. Вам понадобятся два списка, по одному для каждого языка, и они должны быть выровнены так, чтобы каждый элемент в одном списке соответствовал его переводу в другом списке.

Затем, чтобы найти перевод cat , вам нужно найти индекс cat в engWords , а затем найти этот индекс в deuWords .

Это на самом деле довольно неэффективно, так же как и другие проблемы. Карты — это то, что нам нужно, и они выполняют работу по извлечению значений для ключей достаточно эффективно.

Оказывается, мы можем взять два списка, которые выровнены таким образом, и очень легко построить карту. Напомним, что объединение двух списков вместе создает один список пар, где каждая пара дает элементы с одинаковым индексом.

Вызвав метод toMap для такого списка пар, мы получим карту.

Обратите внимание, что, хотя REPL показывает порядок пар ключ-значение, совпадающий с исходным списком, из которого мы построили карту, элементам карты не присущ порядок.

Вы можете добавить элементы на карту, чтобы создать новую карту, используя оператор + и стрелку -> между каждой парой ключ-значение.

Вы можете добавить одну карту к другой, используя оператор ++ .

Вы можете сделать то же самое, передав список кортежей оператору ++.

И вы можете удалить ключ с карты с помощью оператора -.

См. Map API для большего количества примеров таких функций. Примечание: на протяжении всего этого поста я придерживаюсь неизменных Карт — если вы просматриваете какие-либо другие учебные пособия и задаетесь вопросом, почему некоторые из этих методов не работают, возможно, они использовали изменяемые Карты, которые мы обсудим позже. ,

Если мы запрашиваем значение, связанное с ключом, которого нет на карте, мы получаем ошибку.

Вы можете проверить, есть ли ключ на карте, используя метод contains .

Допустим, у вас есть список английских слов и вы хотите найти соответствующие им немецкие слова, и вы хотите защитить себя от исключения NoSuchElementException . Один из способов сделать это — отфильтровать слова с помощью содержимого , а затем отобразить оставшиеся слова через engToDeu .

Это полезные способы безопасного применения карты к списку предметов. Однако позже мы увидим лучший способ справиться с пропущенными значениями, используя Параметры.

Если у вас есть разумное значение по умолчанию для любого ключа, который вы можете попробовать использовать с вашей картой, вы можете использовать метод getOrElse . Вы задаете ключ в качестве первого аргумента, а затем значение по умолчанию в качестве второго.

Весьма распространено использовать getOrElse со значением по умолчанию 0 для Карт, которые содержат статистику, такую ​​как количество слов (см. Ниже), где отсутствие ключа естественно указывает на то, что он имеет, например, счетчик нуля.

Если у вас есть согласованное значение по умолчанию для любых ключей, которых нет на карте, вы можете установить его с помощью метода withDefault.

Теперь вы можете запрашивать значения обычным способом, без необходимости использовать getOrElse и каждый раз указывать значение по умолчанию.

Ключи и значения в Картах

Возможно, вы заметили, что Scala говорит вам больше, чем то, что вы только что создали карту. Как и List, Map является параметризованным типом, что означает, что это общий способ сбора нескольких объектов определенных типов вместе. Выше мы видели экземпляр Map [String, String] (оставив часть java.lang, чтобы сделать ее более понятной). Первая строка указывает, что ключи являются строками, а вторая, что значения являются строками. В принципе, любой тип может использоваться в любой позиции ( предупреждение : вам следует избегать использования изменяемых структур данных в качестве ключей, если вы не знаете, что делаете). Вот несколько примеров (попробуйте игнорировать части scala.collection.immutable и java.lang и просто сфокусируйтесь на сигнатурах Map [X, Y], которые мы получаем).

В последних двух примерах показаны некоторые очень полезные аспекты типов ключей и значений, которые позволяют использовать более сложные ключи и значения. Первый использует пару (String, Int) в качестве ключа с подписью Map [(String, Int), Double] , а второй использует List [String] в качестве значения с подписью Map [String, List [String] ] . Таким образом, вы можете связать вместе несколько типов с помощью кортежей и использовать параметризованные структуры данных для параметризации другой структуры данных.

Простая задача перевода

Вот мини немецкий / английский словарь в качестве карты.

Мы можем обеспечить (очень плохой) перевод немецкого предложения « vom eise befreit sind strom und baeche », используя этот словарь: мы просто разбиваем немецкое предложение и затем отображаем его элементы, просматривая каждое слово в словаре.

Ладно, не совсем «ото льда, который они освободили, от ручья и ручья», но опять же, это в значительной степени глупейший подход машинного перевода…

Конечно, опасность в том, что у нас будут слова, которых нет в словаре, что приведет к исключению.

Мы вернемся к этому ниже.

Создание карт из списков с помощью groupBy

Мы часто храним данные в определенной структуре данных и хотели бы работать с ней, используя другую структуру данных, которая организует точки данных другим способом. Здесь мы рассмотрим, как преобразовать List в Map с помощью метода groupBy , чтобы выполнить некоторую полезную обработку для работы с частями речи. По пути мы также увидим структуру данных Set .

Мы начнем с очень простого примера того, что делает groupBy . Имея список числовых токенов, мы можем получить карту из числовых типов ко всем токенам каждого числа.

Как видно из результата, groupBy взяла анонимную функцию x => x , сгруппировала все элементы List, имеющие одинаковое значение x , а затем создала Map из каждого x в группу, содержащую ее токены. Итак, мы получаем 2 отображения в список, содержащий 2? S, и так далее. Это, вероятно, кажется немного странным, но это невероятно полезно, когда мы рассматриваем списки, в которых есть более интересные элементы. Для этого давайте вернемся к примеру с пометкой части речи из части 4 этих руководств . Скажем, у нас есть предложение, которое помечено частями речи, например, следующий (составленный) пример, который обеспечивает некоторую двусмысленность тегов.

Части речи могут быть аннотированы следующим образом (с большим количеством упрощений и извинений за любое нарушение, причиненное чьей-либо языковой чувствительности).

В части 4 приведено подробное объяснение того, как следующее выражение превращает строку, подобную этой, в список кортежей.

Теперь давайте по- разному будем использовать groupBy . Первое, что может нас заинтересовать, — это увидеть, с какими частями речи связано каждое слово.

Итак, теперь вы видите, что ключи на карте, созданной groupBy, являются словами, а значения — группами исходных элементов. Затем вы можете увидеть, что анонимная функция x => x._1, предоставленная groupBy, выполняет две функции: она определяет часть элементов ввода, которая будет группировать различные элементы, и указывает, что эта часть ввода определяет пространство клавиш.

Тем не менее, мы не совсем имеем то, что хотим, то есть набор частей речи, связанных с каждым словом. Вместо этого у нас есть список кортежей, например:

Сконцентрировавшись только на этом, мы можем отобразить это и создать список с только частями речи, а затем превратить этот список в набор с помощью метода toSet , чтобы получить только уникальные части речи.

Преобразование Списка в Набор здесь мало что дало, но рассмотрим, у которого есть несколько токенов с одной и той же частью речи.

Наборы — это еще одна полезная структура данных, с которой вам нужно работать вместе с картами и списками. Они работают так же, как вы ожидаете наборы: они содержат коллекцию уникальных, неупорядоченных элементов, и они позволяют вам видеть, находится ли элемент в наборе, является ли один набор подмножеством другого, перебирать их элементы и т. Д.

Теперь вернемся к переходу от пар слово / тег к отображению слов к возможным тегам для каждого слова. Ключи, которые мы получили из tagged.groupBy (x => x._1), — это то, что нам нужно, но мы хотим преобразовать значения из списков токенов слов / тегов в наборы тегов, что мы можем сделать с помощью метода mapValues на Картах ,

Кусочек внутри части mapValues ​​(…) заставит некоторых читателей зажмуриться, но вам просто нужно взглянуть на строку, где мы получили Res28 выше: если вы поняли это, то вам просто нужно понять, что мы делаем точно так же вещь, но теперь в контексте сопоставления значений, а не с одним значением. Теперь вы знаете, как отображать значения, которые вы отображаете.

Теперь, когда дело дошло до нас, мы можем легко запросить карту wordsToTags, чтобы увидеть, имеют ли различные слова различные теги.

Это пример того, как структуры данных в структурах данных (здесь «Наборы внутри карты») весьма полезны. ( Упражнение : подумайте, что такое дерево на мгновение и как вы можете реализовать его с помощью списков.)

Есть много вещей, которые вы можете сделать в компьютерной лингвистике с помощью Карт, от слов до их частей речи. Простым примером является вычисление среднего количества тегов на тип слова.

Если вам не ясно, что здесь происходит, дразните его отдельно в своем собственном REPL!

Мы можем перевернуть наши пары слово / тег по-другому, чтобы узнать, какие слова идут с каждой частью речи. Единственное, что нам нужно сделать, это groupBy на втором элементе каждой пары, а затем сопоставить значения List с их первым элементом и получить Set из них.

Эта базовая парадигма является мощной для переключения между различными структурами данных в зависимости от наших потребностей. Он также демонстрирует несколько важных концепций работы со списками, картами и наборами. В следующем разделе показано простое применение этой идеи для подсчета слов в тексте.

Считать слова

Распространенной задачей в компьютерной лингвистике является вычисление статистики слов, и самой основной из них является подсчет количества токенов каждого типа слов в конкретном тексте. Наиболее распространенный способ хранения и доступа к этим счетам — это карта, но как создать такую ​​карту из заданного текста? Если мы посмотрим на текст как список строк, то парадигма groupBy, которую мы сделали выше, дает нам именно то, что нам нужно — на самом деле это даже проще, чем манипуляции со словами / тегами, сделанные выше.

Пример текста, который мы будем использовать, является языком скороговоркой о сурках.

Учитывая это, вот как мы можем вычислить количество вхождений каждого типа слова. Сначала мы группируем по элементам. Хотя список строк не так интересен, как список кортежей, как у нас со словами и тегами, он все же дает полезный результат: теперь у нас есть уникальный набор ключей, соответствующий типам элементов, найденных в массиве, и каждому значению соответствует Массив токенов этого типа.

И мы хотим сделать что-то намного более простое, чем то, что мы сделали с примером части речи: нам просто нужно посчитать длину каждого списка, поскольку каждый из них содержит каждый токен соответствующего типа слова. Таким образом, функция, передаваемая в mapValues, немного проще, чем те, что были описаны в предыдущем разделе.

С помощью счетчиков мы теперь можем получить доступ к частотам любого из слов, которые были в тексте.

Легко! Конечно, мы обычно хотим рассчитывать количество слов для текстов, которые длиннее и хранятся в файле, а не добавляются явно в код Scala. Следующий урок покажет, как это сделать.

Перебор ключей и значений на карте

Приведенный выше материал показывает некоторые полезные аспекты карт, но, конечно, вы можете сделать с ними гораздо больше, часто требуя перебора пар ключ-значение на карте. Мы будем использовать Карту подсчетов, созданную выше, чтобы продемонстрировать это.

Вы можете получить доступ только к ключам или только к значениям.

Обратите внимание, что это обе структуры данных Iterable, поэтому мы можем выполнять все обычные отображения, фильтрацию и т. Д., Которые мы уже сделали со списками. ( Конечно , вы можете преобразовать их в списки, если хотите использовать toList .)

Вы можете распечатать все пары ключ -> значение на карте несколькими способами. Одним из них является использование для выражения.

И вот другие способы достижения того же результата (вывод опущен, поскольку он одинаков).

И так далее. По сути, вы можете пошагово проходить карту по одной паре ключ-значение за раз, или вы можете получить набор ключей, а затем пройти по ним и получить доступ к значениям из карты. Форма, которую вы используете, зависит от того, что вам нужно — например, конструкция foreach не возвращает значение, но выражения for и выражения map возвращают значения. Почему ты бы так поступил? Ну, в качестве примера рассмотрим группирование всех слов, которые встречались одинаковое количество раз.

Мы переходим от карты к набору ее ключей к списку этих ключей к списку кортежей значений и к ключам карты от значений исходной карты к таким кортежам, а затем сопоставляем значения новая карта, чтобы просто содержать слова (оригинальные ключи). (Это полный рот, поэтому попробуйте каждый шаг в REPL, чтобы увидеть, что происходит в деталях.)

Теперь мы можем вывести countsToWords, отсортированные в порядке убывания по количеству, а затем в алфавитном порядке по слову в каждом отсчете.

Опции и flatMapping для работы с недостающими ключами

В начале этого урока я указал, что у нас возникнут проблемы, если мы попросим ключ, которого нет на карте. Давайте вернемся к карте engToDeu, с которой мы начали.

Существует другой способ доступа к элементам карты, используя метод get .

Теперь возвращаемое значение является Option [String] . Опция — это Some, которая содержит значение, или None , что означает, что значения нет. Если вы хотите получить значение из Some, используйте метод get в Options.

Если вы просто используете get on Map для получения Option, а затем немедленно вызываете get on Option, мы получаем то же поведение, что и раньше.

Итак, на данный момент, вы, вероятно, думаете, что это звучит как пустая трата времени, которая просто усложняет ситуацию. Подождите! Это на самом деле чрезвычайно полезно из-за сопоставления с образцом и работы многих методов на последовательностях.

Во-первых, вот как вы можете написать защищенную форму перевода слов в списке без исключения.

Я знаю … это, вероятно, все еще не убедительно — это все еще выглядит более сложным , чем условное выражение, которое мы использовали (далеко) выше, чтобы проверить, содержал ли engToDeu данный ключ (по крайней мере, для этого конкретного примера). Держись … потому что теперь мы почти готовы к тому, чтобы все стало проще, и узнаем некоторые полезные вещи о списках при этом.

Во-первых, вы должны знать о замечательном методе списков, который называется flatten . Если у вас есть список списков строк, вы можете использовать flatten для получения одного списка строк. Рассмотрим следующий пример, в котором мы сглаживаем список списков строк и создаем одну строку из результата с помощью mkString . Обратите внимание, что пустой список в третьем месте основного списка просто исчезает, когда мы выравниваем его.

Сглаживание в целом довольно полезно само по себе. Что касается игры со значениями Option, то можно подумать, что Options — это списки. Некоторые — как один элемент. Списки, а None — как пустые списки. Таким образом, когда у вас есть список опций, метод flatten дает вам значение в Some, и любые None просто исчезают.

Это настолько полезная парадигма, что есть функция flatMap, которая делает именно это.

Итак, возвращаясь к приведенному выше примеру перевода, теперь мы можем спокойно переходить к « schiffe » без суеты.

Является ли это желаемым поведением в данном конкретном случае — это другой вопрос (например, вы действительно должны делать какую-то особую неизвестную обработку слов). Тем не менее, вы обнаружите, что flatMap в целом довольно удобен для такого рода паттернов, в которых список элементов используется для извлечения значений из Map, в которых будут отсутствовать некоторые из этих значений.

Примером дальнейшего использования Options и flatMap является то, что вы также можете создавать функции, которые возвращают Options и, таким образом, поддаются flatMapping. Рассмотрим функцию, которая возводит в квадрат только нечетные числа и выбрасывает четные числа ( примечание : оператор% — это оператор по модулю, который находит остаток от деления одного числа на другое — попробуйте его в REPL).

Если вы отобразите числа от 1 до 10, вы увидите Somes и Nones, а если вы их спланируете , вы получите точно желаемый результат квадратов всех нечетных чисел без какого-либо загрязнения от четных чисел.

Это оказывается удивительно полезным и распространенным, настолько, что выражение « просто flatMap, что дерьмо » стало распространенным рефреном среди программистов Scala. Программисты Scala даже пишут сценарии, чтобы напомнить им сделать это. 🙂

Ссылка: Первые шаги в Scala для начинающих программистов, часть 7 от нашего партнера по JCG Джейсона Болдриджа в блоге Bcomposes .

Статьи по Теме :

• Scala Tutorial — Scala REPL, выражения, переменные, основные типы, простые функции, сохранение и запуск программ, комментарии
• Scala Tutorial — кортежи, списки, методы для списков и строк
• Scala Tutorial — условное исполнение с блоками if-else и соответствием
• Scala Tutorial — итерация, для выражений, yield, map, filter, count
• Scala Tutorial — регулярные выражения, сопоставление
• Scala Tutorial — регулярные выражения, сопоставления и замены с помощью API scala.util.matching
• Scala Tutorial — scala.io.Source, доступ к файлам, flatMap, изменяемые Карты
• Scala Tutorial — объекты, классы, наследование, черты, списки с несколькими связанными типами, применение
• Scala Tutorial — скриптинг, компиляция, основные методы, возвращаемые значения функций
• Scala Tutorial — SBT, scalabha, пакеты, системы сборки
• Scala Tutorial — блоки кода, стиль кодирования, замыкания, проект документации scala
• Веселье с функцией композиции в Scala
• Как Scala изменил мой взгляд на мой Java-код
• Тестирование с помощью Scala
• Вещи, которые должен знать каждый программист