Прогнозирование рака молочной железы с помощью Apache Spark Машинное обучение Логистическая регрессия

В этом посте я помогу вам начать использовать логистическую регрессию Apache Spark spark.ml для прогнозирования злокачественных новообразований.
Цель библиотеки Spark spark.ml — предоставить набор API поверх DataFrames, которые помогают пользователям создавать и настраивать рабочие процессы или конвейеры машинного обучения. Использование spark.ml с DataFrames повышает производительность за счет интеллектуальной оптимизации.

классификация

Классификация — это семейство контролируемых алгоритмов машинного обучения, которые определяют, к какой категории относится элемент (например, является ли наблюдение злокачественной ткани злокачественным или нет), на основе помеченных примеров известных предметов (например, наблюдения, известные как злокачественные или нет). ). Классификация берет набор данных с известными метками и предопределенными функциями и изучает, как маркировать новые записи на основе этой информации. Особенности — это «если вопросы», которые вы задаете. Этикетка является ответом на эти вопросы. В приведенном ниже примере, если он ходит, плавает и крякает, как утка, тогда на этикетке будет написано «утка».

Давайте рассмотрим пример наблюдения ткани рака:

• Что мы пытаемся предсказать?
  • Является ли наблюдение за образцом злокачественным или нет.
  • Это Метка: злокачественная или нет.
• Какие «если вопросы» или свойства, которые вы можете использовать для прогнозирования?
  • Характеристики образца ткани: толщина скопления, однородность размера клеток, однородность формы клеток, предельная адгезия, размер единичных эпителиальных клеток, голые ядра, мягкий хроматин, нормальные ядра, митозы.
  • Это особенности. Чтобы построить модель классификатора, вы извлекаете интересующие элементы, которые наиболее способствуют классификации.

Логистическая регрессия

Логистическая регрессия является популярным методом прогнозирования двоичного ответа. Это особый случай обобщенных линейных моделей, который предсказывает вероятность результата. Логистическая регрессия измеряет отношения между Y «Метка» и X «Особенности» путем оценки вероятностей с использованием логистической функции. Модель прогнозирует вероятность, которая используется для прогнозирования класса метки.

Проанализируйте наблюдения рака с помощью сценария машинного обучения

Наши данные взяты из Висконсинского диагностического набора данных по раку молочной железы (WDBC), который классифицирует случаи опухоли молочной железы как доброкачественные или злокачественные на основе 9 признаков для прогнозирования диагноза. Для каждого наблюдения рака у нас есть следующая информация:

CSV-файл «Наблюдение за раком» имеет следующий формат:

В этом сценарии мы создадим модель логистической регрессии, чтобы предсказать метку / классификацию злокачественных или не основанную на следующих особенностях:

• Метка → злокачественная или доброкачественная (1 или 0)
• Особенности → {Толщина комков, однородность размера клеток, однородность формы клеток, предельная адгезия, размер единичных эпителиальных клеток, оголенные ядра, мягкий хроматин, нормальные ядра, митозы}

Spark ML предоставляет унифицированный набор высокоуровневых API, созданных поверх DataFrames. Основные понятия в Spark ML:

• DataFrame: ML API использует DataFrames из Spark SQL в качестве набора данных ML.
• Transformer: Transformer — это алгоритм, который преобразует один DataFrame в другой DataFrame. Например, превращение DataFrame с функциями в DataFrame с предсказаниями.
• Оценщик: Оценщик — это алгоритм, который может быть помещен в DataFrame для создания Transformer. Например, обучение / настройка на DataFrame и создание модели.
• Конвейер: Конвейер объединяет несколько Трансформаторов и Оценщиков, чтобы определить рабочий процесс ML.
• ParamMaps: параметры для выбора, иногда называемые «сеткой параметров» для поиска.
• Оценщик: Метрика, позволяющая измерить, насколько хорошо подобранная Модель справляется с данными, проведенными в течение длительного времени.
• CrossValidator: Определяет лучший ParamMap и переоснащает Оценщик, используя лучший ParamMap и весь набор данных.

В этом примере будет использоваться рабочий процесс Spark ML, показанный ниже:

Программного обеспечения

Этот учебник будет работать на Spark 1.6.1

• Вы можете скачать код и данные для запуска этих примеров здесь: https://github.com/caroljmcdonald/spark-ml-lr-cancer
• Примеры в этом посте можно запустить в оболочке Spark после запуска с помощью команды spark-shell.
• Вы также можете запустить код как отдельное приложение, как описано в руководстве по началу работы с Spark в MapR Sandbox .

Войдите в MapR Sandbox, как описано в разделе Начало работы с Spark в MapR Sandbox , используя идентификатор пользователя user01, пароль mapr. Скопируйте файл примера данных в домашнюю директорию песочницы / user / user01 с помощью scp. (Обратите внимание, что вам может потребоваться обновить версию Spark на вашей песочнице) Запустите оболочку Spark с помощью:

Загрузка и анализ данных из файла CSV

Сначала мы импортируем пакеты машинного обучения.
(В полях кода комментарии отображаются зеленым, а вывод — синим)

Мы используем класс case Scala для определения схемы, соответствующей строке в файле данных csv.

Приведенные ниже функции анализируют строку из файла данных в классе наблюдения рака.

Ниже мы загружаем данные из файла csv в RDD из строк. Затем мы используем преобразование карты для rdd, которое будет применять функцию ParseRDD для преобразования каждого элемента String в RDD в массив Double. Затем мы используем другое преобразование карты, которое будет применять функцию ParseObs для преобразования каждого массива Double в RDD в массив Array of Cancer Observation. Метод toDF () преобразует СДР массива [[Наблюдение за раком]] в Dataframe со схемой класса Наблюдение за раком.

DataFrame printSchema () Печатает схему на консоли в древовидном формате

После создания экземпляра DataFrame вы можете запросить его с помощью SQL-запросов. Вот несколько примеров запросов с использованием Scala DataFrame API:

описать вычисляет статистику для столбца толщины, в том числе count, mean, stddev, min и max

Особенности извлечения

Чтобы построить модель классификатора, вы сначала извлекаете функции, которые наиболее способствуют классификации. В наборе данных о раке данные помечены двумя классами — 1 (злокачественный) и 0 (не злокачественный).

Функции для каждого элемента состоят из полей, показанных ниже:

• Метка → злокачественная: 0 или 1
• Особенности → {«толщина», «размер», «форма», «madh», «epsize», «bnuc», «bchrom», «nNuc», «mit»}

Определить массив объектов

(справочник Learning Spark)

Для того чтобы функции использовались алгоритмом машинного обучения, эти функции преобразуются и помещаются в векторы признаков, которые представляют собой векторы чисел, представляющие значение для каждого объекта.

Ниже VectorAssembler используется для преобразования и возврата нового DataFrame со всеми столбцами объектов в векторном столбце.

Затем мы используем StringIndexer для возврата Dataframe со столбцом clas (злокачественный или нет), добавленным в качестве метки.

Ниже данных. Он разделен на набор обучающих данных и набор тестовых данных. 70% данных используются для обучения модели, а 30% будут использоваться для тестирования.

Тренировать модель

Далее мы обучаем модель логистической регрессии с упругой регуляризацией сети

Модель обучается путем установления связей между входными функциями и помеченными выходными данными, связанными с этими функциями.

Проверьте модель

Далее мы используем тестовые данные, чтобы получить прогнозы.

Ниже мы оцениваем прогнозы и используем BinaryClassificationEvaluator, который возвращает метрику точности, сравнивая столбец метки теста со столбцом прогноза теста. В этом случае оценка возвращает точность 99%.

Ниже мы рассчитаем еще несколько метрик. Количество ложных и истинных положительных и отрицательных предсказаний также полезно:

• Истинные положительные результаты показывают, как часто модель правильно предсказывала, что опухоль была злокачественной
• Ложные срабатывания показывают, как часто модель предсказывала, что опухоль была злокачественной, когда она была доброкачественной
• Истинные негативы показывают, как модель правильно предсказала, что опухоль была доброкачественной
• Ложные отрицания указывают на то, как часто модель предсказывала, что опухоль была доброкачественной, хотя на самом деле она была злокачественной

Хотите узнать больше?

• Бесплатное обучение Apache по требованию
• MapR и Spark
• Обзор Apache Spark ML
• Apache Spark ML Логистическая регрессия
• Искусственный интеллект читает маммограммы с точностью 99%

В этом посте мы показали, как начать использовать машинное обучение логистической регрессии Apache Spark для классификации. Если у вас есть какие-либо дополнительные вопросы по этому учебнику, пожалуйста, задавайте их в разделе комментариев ниже.