Учебники

17) Учебник по SSIS

Что такое SSIS?

Служба интеграции SQL Server (SSIS) является компонентом программного обеспечения базы данных Microsoft SQL Server, которое может использоваться для выполнения широкого спектра задач миграции данных. SSIS — это быстрый и гибкий инструмент хранилища данных, используемый для извлечения, загрузки и преобразования данных, таких как очистка, агрегирование, объединение данных и т. Д.

Это позволяет легко перемещать данные из одной базы данных в другую. SSIS может извлекать данные из самых разных источников, таких как базы данных SQL Server, файлы Excel, базы данных Oracle и DB2 и т. Д.

SSIS также включает графические инструменты и мастера для выполнения функций рабочего процесса, таких как отправка сообщений электронной почты, операции FTP, источники данных и места назначения.

В этом уроке вы узнаете:

Почему мы используем SSIS?

Вот основные причины использования инструмента SSIS:

  • Инструмент SSIS помогает объединять данные из различных хранилищ данных.
  • Автоматизирует административные функции и загрузку данных
  • Заполняет витрины данных и хранилища данных
  • Помогает вам очистить и стандартизировать данные
  • Встраивание BI в процесс преобразования данных
  • Автоматизация административных функций и загрузка данных
  • SIS содержит графический интерфейс, который помогает пользователям легко преобразовывать данные, а не писать большие программы
  • Он может загружать миллионы строк из одного источника данных в другой за считанные минуты
  • Выявление, сбор и обработка изменений данных
  • Координация обслуживания, обработки или анализа данных
  • SSIS устраняет необходимость в хардкорных программистах
  • SSIS предлагает надежную обработку ошибок и событий

История СИС

До SSIS использовались SQL Server, службы преобразования данных (DTS), которые были частью SQL Server 7 и 2000

Версия подробность
SQL Server 2005 Команда Microsoft решила обновить DTS. Однако вместо обновления DTS они решили назвать продукт Integration Services (SSIS).
Версия SQL Server 2008 В SSIS было сделано много улучшений производительности. Новые источники были также введены.
SQL Server 2012 Это был самый большой выпуск для SSIS. В этой версии введена концепция модели развертывания проекта. Это позволяет целым проектам и их пакетам развертываться на сервере вместо определенных пакетов.
SQL Server 2014 В этой версии сделано не так много изменений для SSIS. Но были добавлены новые источники или преобразования, которые были сделаны отдельными загрузками через CodePlex или SQL Server Feature Pack.
В SQL Server 2016 Версия позволяет развертывать целые проекты, а не отдельные пакеты. Есть дополнительные источники, особенно облачные, и большие источники данных, и в каталог было внесено несколько изменений.

Основные особенности служб SSIS

Вот некоторые важные функции SSIS:

  • Студия Среды
  • Соответствующие функции интеграции данных
  • Эффективная скорость внедрения
  • Тесная интеграция с другими семействами Microsoft SQL
  • Преобразование запроса интеллектуального анализа данных
  • Нечеткий поиск и групповые преобразования
  • Извлечение термина и преобразования поиска термина
  • Высокоскоростные компоненты подключения к данным, такие как подключение к SAP или Oracle

Архитектура служб SSIS

Архитектура служб SSIS

Ниже приведены компоненты архитектуры SSIS:

  • Control Flow (магазины контейнеров и задач)
  • Поток данных (источник, назначение, преобразования)
  • Обработчик событий (отправка сообщений, электронных писем)
  • Package Explorer (предлагает единый просмотр для всех в пакете)
  • Параметры (взаимодействие с пользователем)

Давайте разберемся с каждым компонентом в деталях:

1. Контроль потока

Поток управления — это мозг пакета служб SSIS. Это поможет вам упорядочить порядок исполнения для всех его компонентов. Компоненты содержат контейнеры и задачи, которыми управляют ограничения приоритета.

2. Ограничения Присутствия

Ограничение приоритета — это компонент пакета, который направляет задачи для выполнения в предопределенном порядке. Он также определяет рабочий процесс всего пакета служб SSIS. Он контролирует выполнение двух связанных задач, выполняя целевые задачи на основе результата предыдущей задачи — бизнес-правил, которые определяются с помощью специальных выражений.

3.Task

«Задача» — это отдельная единица работы. Это то же самое, что метод / функция, используемые в языке программирования. Однако в SSIS вы не используете методы кодирования. Вместо этого вы будете использовать технику перетаскивания, чтобы создать поверхность и настроить ее.

4.Containers

Контейнер — это единицы для группировки задач в единицы работы. Помимо обеспечения визуальной согласованности, он также позволяет объявлять переменные и обработчики событий, которые должны находиться в области действия этого конкретного контейнера.

Четыре типа контейнеров в SSIS:

  • Контейнер последовательности
  • A для контейнера петли
  • Контейнер петли Foreach

Контейнер последовательности : позволяет вам организовывать вспомогательные задачи, группируя их, и позволяет вам применять транзакции или назначать ведение журнала для контейнера.

Для контейнера цикла: Предоставляет ту же функциональность, что и контейнер последовательности, за исключением того, что он также позволяет запускать задачи несколько раз. Тем не менее, он основан на условии оценки, например, от 1 до 100.

Для каждого Контейнера Цикла: Это также позволяет цикл. Но разница в том, что вместо использования выражения условия цикл выполняется над набором объектов, ему нравятся файлы в папке.

5. Поток данных

Основное использование инструмента SSIS — извлечение данных в память сервера, их преобразование и запись в другое место назначения. Если поток управления является мозгом, поток данных является сердцем SSIS

6.Packages

Другим ключевым компонентом SSIS является понятие пакета. Это сборник задач, которые выполняются упорядоченно. Здесь ограничения президента помогают управлять порядком, в котором будет выполняться задача.

Пакет может помочь вам сохранить файлы на SQL Server, в базе данных msdb или каталоге пакетов. Его можно сохранить как файл .dtsx, который представляет собой структурированный файл, очень похожий на файлы .rdl для служб Reporting Services.

7.Parameters

Параметры ведут себя очень похоже на переменную, но с несколькими основными исключениями. Он может быть легко установлен вне упаковки. Его можно обозначить как значения, которые должны быть переданы для запуска пакета.

Типы задач служб SSIS

В инструменте SSIS вы можете добавить задачу для управления потоком. Существуют различные типы задач, которые выполняют различные виды работ.

Некоторые важные задачи SSIS упомянуты ниже:

Название задачи Описания
Выполнить задачу SQL Как следует из его названия, он выполнит оператор SQL для реляционной базы данных.
Задача потока данных Эта задача может читать данные из одного или нескольких источников. Преобразуйте данные, когда они находятся в памяти, и запишите их по одному или нескольким адресатам.
Задача обработки служб аналитики Используйте это задание для обработки объектов табличной модели или в качестве куба SSAS.
Выполнить задачу пакета Use может использовать эту задачу SSIS для выполнения других пакетов из того же проекта.
Выполнить задачу процесса С помощью этой задачи вы можете указать параметры командной строки.
Задача файловой системы Он выполняет манипуляции в файловой системе. Как перемещение, переименование, удаление файлов и создание каталогов.
Задачи FTP Это позволяет выполнять основные функции FTP.
Задача сценария Это пустое задание. Вы можете написать NET код, который выполняет любую задачу; Вы хотите выполнить.
Задача «Отправить почту» Вы можете отправить электронное письмо с уведомлением пользователей о том, что ваш пакет завершен или произошла какая-то ошибка.
Задача «Массовая вставка» Использование может загружать данные в таблицу с помощью команды массового вставки.
Задача сценария Запускает набор кодирования VB.NET или C # в среде Visual Studio.
Задача веб-службы Он выполняет метод на веб-сервисе.
Задача WMI Event Watcher Эта задача позволяет пакету служб SSIS ожидать определенные события WMI и отвечать на них.
Задача XML Эта задача поможет вам объединить, разделить или переформатировать любой файл XML.

Другие важные инструменты ETL

  • SAP Data Services
  • SAS Data Management
  • Oracle Warehouse Builder (OWB)
  • PowerCenter Informatica
  • Информационный сервер IBM Infosphere
  • Репертуар эликсира для данных ETL
  • Поток данных Sargent

Преимущества и недостатки использования SSIS

Инструмент SSIS предлагает следующие преимущества:

  • Широкая документация и поддержка
  • Легкость и скорость внедрения
  • Тесная интеграция с SQL Server и Visual Studio
  • Стандартизированная интеграция данных
  • Предложения в режиме реального времени, основанные на сообщениях
  • Поддержка модели распространения
  • Помогает удалить сеть как узкое место для вставки данных службами SSIS в SQL
  • SISS позволяет использовать пункт назначения SQL Server вместо OLE DB для более быстрой загрузки данных

Недостатки SSIS

Несколько недостатков использования инструментов SIS:

  • Иногда создают проблемы в средах не-Windows
  • Непонятное видение и стратегия
  • В SSIS отсутствует поддержка альтернативных стилей интеграции данных
  • Проблемная интеграция с другими продуктами

SSIS Best Practices

  • SSIS — это конвейер в памяти. Вот почему важно убедиться, что все преобразования происходят в памяти
  • Попробуйте свести к минимуму зарегистрированные операции
  • Планирование мощности путем понимания использования ресурсов
  • Оптимизация преобразования поиска SQL, источника данных и назначения
  • График и распространять его правильно

Резюме

  • Служба интеграции SQL Server (SSIS) является компонентом Microsoft
  • SSIS может использоваться для выполнения широкого спектра задач интеграции данных
  • Инструмент SSIS помогает объединять данные из различных хранилищ данных.
  • Важными версиями SQL Server Integration Service являются 2005, 2008, 2012, 2014 и 216
  • Среды Studio, соответствующие функции интеграции данных и эффективная скорость реализации — вот некоторые важные особенности SSIS
  • Поток управления, поток данных, обработчик событий, проводник пакетов и параметры являются важными компонентами архитектуры служб SSIS.
  • Задача «Выполнение SQL», «Задача потока данных», «Задача обработки служб Analysis Services», «Задача« Выполнение пакета », Задача« Выполнение процесса », Задача« Файловая система », Задачи FTP, Задача« Отправить почту », Задача« Веб-служба »- вот некоторые важные
  • Широкая документация и поддержка
  • Самый большой недостаток SSIS — отсутствие поддержки альтернативных стилей интеграции данных.
  • Службы данных SAP, управление данными SAS, Oracle Warehouse Builder (OWB), PowerCenter Informatica, информационный сервер IBM Infosphere
  • SSIS — это конвейер в памяти. Поэтому важно убедиться, что все преобразования происходят в памяти