Scala Tutorial — scala.io.Source, доступ к файлам, flatMap, изменяемые Карты

Предисловие

Это 8 часть руководств для начинающих программистов, попадающих в Scala. Другие посты находятся в этом блоге, и вы можете получить ссылки на эти и другие ресурсы на странице ссылок курса по компьютерной лингвистике, для которого я их создаю. Кроме того, вы можете найти эту и другие серии учебников на странице JCG Java Tutorials .

Это руководство о доступе к файловой системе для работы с текстовыми файлами. Предыдущий учебник показал, как построить карту, которая содержит количество слов каждого типа в данном тексте. Однако предполагалось, что текст был доступен в переменной String, и, как правило, нам интересно знать о файлах, которые существуют в файловой системе или в Интернете. Из этого туториала вы узнаете, как прочитать содержимое файла в Scala для обработки, либо создав одну строку для файла, либо используя его построчно в потоковом режиме. Попутно неизменные Карты представлены как способ включить подсчет слов без чтения всего файла в память.

Подсчет слов по содержимому файла

В качестве примера мы будем использовать полный Шерлок Холмс из проекта Гутенберг . Загрузите его, поместите в каталог, а затем запустите Scala REPL в этом каталоге. Для доступа к файлам мы будем использовать класс Source , поэтому для начала вам нужно его импортировать.

Source предоставляет несколько способов взаимодействия с файлами и делает их доступными для вас в вашей программе Scala. Вероятно, вам понадобится метод fromFile .

Это создает BufferedSource , из которого вы можете легко получить все содержимое файла в виде строки.

При этом вы можете сделать то же самое, что показано в уроке 7, чтобы получить количество слов (за исключением того, что здесь мы будем разбивать последовательности пробелов, а не только один пробел).

Чтобы вам не показалось странным, что Уотсон появляется только четыре раза, имейте в виду, что мы разделяемся на пробелы, и это означает, что в предложении, подобном следующему, знак интереса — Уотсон », а не Уотсон .

Поиск этого и других показывает больше токенов, содержащих Ватсона в истории.

Конечно, реальная проблема заключается в том, что токенизация на пустом месте слишком грубая. Чтобы сделать это должным образом, обычно требуется хороший ручной токенизатор (который может хранить токены, такие как, например, Mr. и Yahoo!, в то же время разделяя знаки препинания на большинство слов), или компьютерный обученный, который обучается на данных, помеченных вручную для токенов. Пример последнего см. В лексемах инструментария Apache OpenNLP , которые включают предварительно обученные модели для английского языка.

Рабочая строка за строкой

Довольно часто вам нужно построчно работать с файлом, а не читать все как одну строку, как мы делали выше. Например, вам может потребоваться обрабатывать каждую строку по-разному, поэтому просто иметь ее как одну строку не очень удобно. Или вы можете работать с большим файлом, который не может легко поместиться в память (что происходит, когда вы читаете всю строку). Вы можете получить строки в файле как Iterator [String] , в котором каждый элемент является отдельной строкой из файла, используя метод getLines .

Этот итератор готов для вас использовать строки, но он не сразу считывает весь файл в память — вместо этого он буферизует его так, что каждая строка будет доступна для вас, когда вы об этом просите, по существу, считывая данные с диска, когда вы требовать больше строк. Вы можете думать об этом как о потоке файла в вашу программу Scala, так же как современный аудио и видео контент передается на ваш компьютер: он никогда не сохраняется, а просто передается по частям туда, где он нужен, когда это необходимо.

Конечно, итераторы имеют много общего со структурами данных последовательности, такими как списки: если у нас есть итератор, мы можем использовать foreach , for , map и т. Д. Таким образом, чтобы распечатать все строки в файле, мы можем сделать следующее.

Это создает много выходных данных, но показывает, как вы можете легко создать собственную реализацию Scala для программы Unix cat : просто сохраните следующую строку в файле с именем cat.scala :

И затем вызовите это с именем файла, чтобы перечислить его содержимое.

Вернемся к REPL, это не совсем идеально, чтобы увидеть весь файл. Если вы просто хотите увидеть начало файла, используйте метод take в Итераторе перед foreach .

Метод take в целом весьма полезен для любой последовательности и обеспечивает дополнение метода drop, как показано в следующих примерах на простом List [Int] .

Подсчет слов построчно, сначала попробуйте

Теперь, когда мы увидели, как читать файл и начинать работать с ним построчно, как мы подсчитываем количество вхождений каждого слова? Вспомните из урока 7 и выше, что отправной точкой должна была быть последовательность (Array, List и т. Д.) Строк, в которой каждый элемент представляет собой слово-токен. Чтобы начать двигаться к этому, мы можем просто использовать метод toList на Iterator [String], полученный из getLines .

Теперь у нас есть содержимое файла в виде List [String] , и мы можем продолжать делать с ним полезные вещи. Например, мы могли бы отобразить каждую строку (строки) как последовательности строк, разделенных пробелами.

И, как мы видели в уроке 7 , когда у нас есть список списков, мы можем использовать flatten для создания одного большого списка.

Но теперь вы можете распознать, что это шаблон « карта-затем-сглаживание» , который мы видели ранее, что означает, что мы можем вместо этого использовать FlatMap .

Но вас должно немного беспокоить все это: не была ли здесь идея (частично) не читать все строки сразу? Действительно, с тем, что мы сделали выше, как только мы сказали toList на Итераторе, весь файл был прочитан в память. Тем не менее, мы можем обойтись без шага toList и просто напрямую добавить итератор в FlatMap и получить новый итератор по токенам, а не по строкам.

Теперь, если мы хотим посчитать слова, мы можем преобразовать это в список и выполнить groupBy трюк mapValues, который мы уже видели (вывод опущен).

Упс — это сработало, но мы снова перенесли весь файл в память, потому что список, созданный из toList, содержит все строки для файла. Далее мы увидим, как использовать изменяемую карту, чтобы обойти это.

Подсчет слов путем потоковой передачи с помощью итератора и использования изменяемых карт

До сих пор во всех руководствах я придерживался неизменных структур данных, за исключением случаев, когда изменяемые структуры появляются из-за контекста (например, массивы, выходящие из метода toString ). Хорошо по возможности использовать неизменяемые структуры данных, но бывают случаи, когда изменяемые структуры более удобны и, возможно, более уместны.

С неизменными картами, которые мы видели в предыдущем уроке, вы не могли изменить назначение для ключа, а также не могли добавить новый ключ.

Существует еще один вид Map, scala.collection.mutable.Map , который допускает такого рода поведение.

Он также имеет удобный способ увеличить число, связанное с ключом, используя метод + = .

Однако мы не можем использовать этот метод с ключом, который не существует.

К счастью, мы можем предоставить дефолт. Вот пример запуска новой карты со значением по умолчанию 0.

Примечание : когда вы начинаете с некоторыми значениями, уже имеющимися на карте, Scala может определить типы ключей и значений, но при инициализации пустой карты необходимо явно объявить типы ключей и значений.

Имея это в виду , вот как мы можем использовать flatMap и изменяемую карту для подсчета слов в тексте, не считывая весь текст в память.

Создав таким образом Карту счетчиков, мы можем преобразовать ее в неизменяемую Карту с помощью метода toMap, как только мы закончим добавление элементов.

Теперь мы не можем изменять значения на fixedCounts , что имеет преимущества во многих контекстах, например, мы не можем случайно уничтожить значения или добавить нежелательные ключи, и есть (положительные) последствия для параллельной обработки.

Чтение файла с URL

Оказывается, scala.io.Source может делать гораздо больше, чем просто читать из файла. Другой пример — чтение URL-адреса для доступа к файлу в Интернете с использованием метода fromURL .

Если вы просто собираетесь снова и снова анализировать один и тот же файл, это, вероятно, не то, что вам нужно — просто скачайте файл и используйте его локально. Однако это может быть весьма полезно в тех случаях, когда вы изучаете ссылки на страницах (например, при обработке данных Википедии или Твиттера) и вам нужно читать содержимое с URL-адресов на лету.

Используйте (вверх) источник

Последнее замечание об итераторах, которые вы получаете с Source.fromFile и Source.fromURL: вы можете проходить их только один раз! Это часть того, что делает их более эффективными — они не хранят весь этот текст в памяти. Так что не удивляйтесь, если вы получите следующее поведение.

Итак, Итератор исчерпан! Если вы хотите снова просмотреть файл, вам нужно будет запустить новый итератор, как вы это делали в первый раз. Неплохая вещь в том, чтобы оставаться с Итераторами и не преобразовывать их в списки (и, следовательно, переносить все в память), заключается в том, что каждая операция отображения, которую мы выполняем в Итераторе, применяется только к текущему элементу, который мы просматриваем, поэтому нам никогда не нужно читать все файл в память.

Конечно, если у вас есть достаточно небольшой файл для работы, вы можете абсолютно свободно вносить его в список и работать с ним таким образом, если хотите, — это часто будет более удобным, поскольку вы можете создавать шаблоны groupBy и mapValue .

Ссылка: Первые шаги в Scala для начинающих программистов, часть 8 от нашего партнера JCG Джейсона Болдриджа в блоге Bcomposes .

Статьи по Теме :

• Scala Tutorial — Scala REPL, выражения, переменные, основные типы, простые функции, сохранение и запуск программ, комментарии
• Scala Tutorial — кортежи, списки, методы для списков и строк
• Scala Tutorial — условное исполнение с блоками if-else и соответствием
• Scala Tutorial — итерация, для выражений, yield, map, filter, count
• Scala Tutorial — регулярные выражения, сопоставление
• Scala Tutorial — регулярные выражения, сопоставления и замены с помощью API scala.util.matching
• Учебник по Scala — Карты, Наборы, groupBy, Параметры, Flatten, FlatMap
• Scala Tutorial — объекты, классы, наследование, черты, списки с несколькими связанными типами, применение
• Scala Tutorial — скриптинг, компиляция, основные методы, возвращаемые значения функций
• Scala Tutorial — SBT, scalabha, пакеты, системы сборки
• Scala Tutorial — блоки кода, стиль кодирования, замыкания, проект документации scala
• Веселье с функцией композиции в Scala
• Как Scala изменил мой взгляд на мой Java-код
• Тестирование с помощью Scala
• Вещи, которые должен знать каждый программист