Amazon Kinesis — это управляемый, масштабируемый облачный сервис, который позволяет в реальном времени обрабатывать потоковую передачу большого объема данных в секунду. Он предназначен для приложений реального времени и позволяет разработчикам получать любой объем данных из нескольких источников, увеличивая и уменьшая масштаб, который можно запускать на экземплярах EC2.
Он используется для сбора, хранения и обработки данных из больших распределенных потоков, таких как журналы событий и каналы социальных сетей. После обработки данных Kinesis раздает их нескольким потребителям одновременно.
Как использовать Amazon KCL?
Он используется в ситуациях, когда нам требуются быстро перемещающиеся данные и их непрерывная обработка. Amazon Kinesis можно использовать в следующих ситуациях —
-
Журнал данных и поступление данных — нам не нужно ждать, чтобы собрать данные, мы можем отправить данные в поток Amazon Kinesis, как только они будут получены. Он также защищает от потери данных в случае сбоя производителя данных. Например: системные журналы и журналы приложений могут непрерывно добавляться в поток и могут быть доступны в считанные секунды при необходимости.
-
Графики в реальном времени. Мы можем извлекать графики / метрики с помощью потока Amazon Kinesis для создания результатов отчета. Нам не нужно ждать пакетов данных.
-
Аналитика данных в режиме реального времени. Мы можем запустить потоковую аналитику данных в режиме реального времени с помощью Amazon Kinesis.
Журнал данных и поступление данных — нам не нужно ждать, чтобы собрать данные, мы можем отправить данные в поток Amazon Kinesis, как только они будут получены. Он также защищает от потери данных в случае сбоя производителя данных. Например: системные журналы и журналы приложений могут непрерывно добавляться в поток и могут быть доступны в считанные секунды при необходимости.
Графики в реальном времени. Мы можем извлекать графики / метрики с помощью потока Amazon Kinesis для создания результатов отчета. Нам не нужно ждать пакетов данных.
Аналитика данных в режиме реального времени. Мы можем запустить потоковую аналитику данных в режиме реального времени с помощью Amazon Kinesis.
Пределы Амазонки Кинезис?
Ниже приведены некоторые ограничения, которые следует учитывать при использовании Amazon Kinesis Streams.
-
Записи потока могут быть доступны до 24 часов по умолчанию и могут быть продлены до 7 дней за счет расширенного хранения данных.
-
Максимальный размер большого двоичного объекта данных (полезная нагрузка данных до кодирования Base64) в одной записи составляет 1 мегабайт (МБ).
-
Один осколок поддерживает до 1000 записей PUT в секунду.
-
Для получения дополнительной информации о лимитах посетите следующую ссылку — https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html.
Записи потока могут быть доступны до 24 часов по умолчанию и могут быть продлены до 7 дней за счет расширенного хранения данных.
Максимальный размер большого двоичного объекта данных (полезная нагрузка данных до кодирования Base64) в одной записи составляет 1 мегабайт (МБ).
Один осколок поддерживает до 1000 записей PUT в секунду.
Для получения дополнительной информации о лимитах посетите следующую ссылку — https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html.
Как использовать Amazon Kinesis?
Ниже приведены инструкции по использованию Amazon Kinesis.
Шаг 1 — Настройте Kinesis Stream, используя следующие шаги —
-
Войдите в аккаунт AWS. Выберите Amazon Kinesis в консоли управления Amazon.
-
Нажмите Создать поток и заполните необходимые поля, такие как имя потока и количество шардов. Нажмите кнопку Создать.
Войдите в аккаунт AWS. Выберите Amazon Kinesis в консоли управления Amazon.
Нажмите Создать поток и заполните необходимые поля, такие как имя потока и количество шардов. Нажмите кнопку Создать.
-
Поток теперь будет виден в списке потоков.
Поток теперь будет виден в списке потоков.
Шаг 2 — Настройка пользователей в потоке Kinesis. Создайте новых пользователей и назначьте политику каждому пользователю. (Мы обсудили вышеописанную процедуру для создания пользователей и назначения им политики)
Шаг 3 — Подключите ваше приложение к Amazon Kinesis; здесь мы подключаем Zoomdata к Amazon Kinesis. Ниже приведены шаги для подключения.
Войдите в Zoomdata как администратор и выберите «Источники» в меню.
Выберите значок Kinesis и заполните необходимые данные. Нажмите кнопку Далее.
Выберите нужный поток на вкладке Stream.
На вкладке «Поля» создайте уникальные имена меток, как требуется, и нажмите кнопку «Далее».
На вкладке Charts включите диаграммы для данных. При необходимости измените настройки и нажмите кнопку «Готово», чтобы сохранить настройки.
Обработка в режиме реального времени — позволяет собирать и анализировать информацию в режиме реального времени, например, цены на акции, в противном случае нам нужно дождаться отчета об отсутствии данных.
Простота использования — с помощью Amazon Kinesis мы можем создать новый поток, установить его требования и быстро начать потоковую передачу данных.
Высокая пропускная способность, эластичность. Позволяет собирать и анализировать информацию в режиме реального времени, например, о биржевых ценах, в противном случае нам нужно дождаться отчета об отсутствии данных.
Интеграция с другими сервисами Amazon. Его можно интегрировать с Amazon Redshift, Amazon S3 и Amazon DynamoDB.
Создание приложений Kinesis. Amazon Kinesis предоставляет разработчикам клиентские библиотеки, которые позволяют создавать и использовать приложения обработки данных в реальном времени. Добавьте клиентскую библиотеку Amazon Kinesis в приложение Java, и она будет уведомлять о появлении новых данных для обработки.
Экономически выгодно — Amazon Kinesis экономически выгоден для рабочих нагрузок любого масштаба. Платите за используемые ресурсы и платите каждый час за требуемую пропускную способность.