Библиотека машинного обучения, также называемая «SparkML» или «MLLib», состоит из общих алгоритмов обучения, включая классификацию, регрессию, кластеризацию и совместную фильтрацию.
Зачем изучать SparkML для Agile?
Spark становится де-факто платформой для построения алгоритмов и приложений машинного обучения. Разработчики работают над Spark для реализации машинных алгоритмов в масштабируемой и лаконичной форме в среде Spark. Мы изучим концепции машинного обучения, его утилиты и алгоритмы на этой основе. Agile всегда выбирает среду, которая обеспечивает короткие и быстрые результаты.
Алгоритмы ML
Алгоритмы ML включают в себя общие алгоритмы обучения, такие как классификация, регрессия, кластеризация и совместная фильтрация.
Характеристики
Он включает в себя извлечение признаков, преобразование, уменьшение размеров и выбор.
Трубопроводы
Конвейеры предоставляют инструменты для построения, оценки и настройки машинного обучения конвейеров.
Популярные алгоритмы
Ниже приведены несколько популярных алгоритмов —
-
Основная статистика
-
регрессия
-
классификация
-
Система рекомендаций
-
Кластеризация
-
Уменьшение размерности
-
Функция извлечения
-
оптимизация
Основная статистика
регрессия
классификация
Система рекомендаций
Кластеризация
Уменьшение размерности
Функция извлечения
оптимизация
Система рекомендаций
Система рекомендаций — это подкласс системы фильтрации информации, который ищет предсказания «рейтинга» и «предпочтения», которые пользователь предлагает для данного элемента.
Система рекомендаций включает в себя различные системы фильтрации, которые используются следующим образом:
Совместная фильтрация
Он включает в себя построение модели на основе прошлого поведения, а также аналогичных решений, принятых другими пользователями. Эта конкретная модель фильтрации используется для прогнозирования элементов, в которых заинтересован пользователь.
Контентная фильтрация
Она включает в себя фильтрацию отдельных характеристик элемента, чтобы рекомендовать и добавлять новые элементы с похожими свойствами.
В наших последующих главах мы сосредоточимся на использовании системы рекомендаций для решения конкретной проблемы и повышения эффективности прогнозирования с точки зрения гибкой методологии.