Data Pipeline позволяет экспортировать и импортировать данные в / из таблицы, файла или корзины S3. Это, конечно, оказывается полезным для резервного копирования, тестирования и для аналогичных потребностей или сценариев.
В экспорте вы используете консоль Data Pipeline, которая создает новый конвейер и запускает кластер Amazon EMR (Elastic MapReduce) для выполнения экспорта. EMR читает данные из DynamoDB и записывает в цель. Мы подробно обсудим EMR позже в этом уроке.
В операции импорта вы используете консоль Data Pipeline, которая создает конвейер и запускает EMR для выполнения импорта. Он читает данные из источника и записывает в место назначения.
Примечание. Операции по экспорту / импорту несут затраты с учетом используемых услуг, в частности EMR и S3.
Использование конвейера данных
Вы должны указать действие и права доступа к ресурсам при использовании конвейера данных. Вы можете использовать роль или политику IAM для их определения. Пользователи, которые выполняют импорт / экспорт, должны отметить, что им потребуются идентификатор активного ключа доступа и секретный ключ.
Роли IAM для конвейера данных
Для использования конвейера данных необходимы две роли IAM —
-
DataPipelineDefaultRole — содержит все действия, которые вы разрешаете выполнять конвейеру за вас.
-
DataPipelineDefaultResourceRole — здесь есть ресурсы, которые вы разрешаете предоставить конвейеру.
DataPipelineDefaultRole — содержит все действия, которые вы разрешаете выполнять конвейеру за вас.
DataPipelineDefaultResourceRole — здесь есть ресурсы, которые вы разрешаете предоставить конвейеру.
Если вы новичок в Data Pipeline, вы должны породить каждую роль. Все предыдущие пользователи обладают этими ролями из-за существующих ролей.
Используйте консоль IAM для создания ролей IAM для конвейера данных и выполните следующие четыре шага:
Шаг 1. Войдите в консоль IAM, расположенную по адресу https://console.aws.amazon.com/iam/.
Шаг 2 — Выберите Роли на панели инструментов.
Шаг 3 — Выберите « Создать новую роль» . Затем введите DataPipelineDefaultRole в поле « Имя роли» и выберите « Следующий шаг» . В списке « Роли службы AWS» на панели « Тип роли» перейдите к конвейеру данных и выберите « Выбрать» . Выберите « Создать роль» на панели « Обзор» .
Шаг 4 — Выберите « Создать новую роль» .