Киба: ETL сделано правильно

• Имеет конструктор по той же причине, что и источник. Любые потребности инициализации адресата могут быть переданы здесь.
• Реализует метод write(row) для записи строки в место назначения.
• Реализует метод close для очистки после себя.

Назначением в этом проекте является база данных PostgreSQL:

Библиотека / user_destination.rb

 require 'pg' class UserDestination # connect_url should look like; # mysql://user:pass@localhost/dbname def initialize(connect_url) @conn = PG.connect(connect_url) @conn.prepare('insert_user_stmt', 'insert into users (email, password_digest, created_at, updated_at) values ($1, $2, $3, $4)') end def write(row) time = Time.now @conn.exec_prepared('insert_user_stmt', [ row[:email], row[:password], row[:date_created], time ]) rescue PG::Error => ex puts "ERROR for #{row[:email]}" puts ex.message # Maybe, write to db table or file end def close @conn.close @conn = nil end end 

Как видите, при инициализации места назначения я создаю готовое утверждение. Это своего рода оптимизация PostgreSQL, и она показывает, как конструктор можно использовать для выполнения настройки для конкретного места назначения.

each простая функция записывает строку, выполняя подготовленный оператор. row — это хеш с ключами для нужных нам атрибутов. В таблице назначения также есть столбцы меток времени ( updated_at , created_at ), поэтому я отвечаю за них.

Хорошей идеей будет write в операторе пункт rescue , чтобы зафиксировать ошибки и отследить, какие записи умерли. Кроме того, если вы не обнаружите ошибки, миграция остановится на первой ошибке, что часто нежелательно.

Как я уже говорил о UserSource , этот класс можно сделать более универсальным во многих отношениях.

Теперь пришло время сделать наши трубы.

Трубопровод

Это очень простой (но очень реальный) пример ETL. transform просто берет атрибуты из источника и сопоставляет их с атрибутами пункта назначения, а затем возвращает новую строку. yawwwwns

 transform do |row| newrow = {} newrow[:email] = row[:Email] newrow[:password] = row[:Password] newrow end 

Kiba предлагает множество способов реализации преобразований, и вы можете их связывать. Цепные преобразования будут выполняться в том порядке, в котором они существуют в скрипте (который мы вскоре рассмотрим). Например, вышеупомянутое преобразование может быть изменено на это:

 transform do |row| row[:crypt] == "bcrypt" ? row : nil end transform do |row| newrow = {} newrow[:email] = row[:Email] newrow[:password] = row[:Password] newrow end 

В этом случае мы удаляем исходные строки из конвейера на основе атрибута. Ухоженная.

Также возможно создать класс Ruby, который выполняет преобразование. Вот так:

 class FilterMD5 def initialize(value_to_filter) @value = value_to_filter end def process(row) row[:crypt] == value_to_filter ? row : nil end end 

Затем преобразование изменяется на:

 transform FilterMD5, "md5" transform do |row| newrow = {} newrow[:email] = row[:Email] newrow[:password] = row[:Password] newrow end 

Опять же, FilterMD5 можно сделать более общим, возможно, приняв блок, который позволил бы использовать разные фильтры. Считайте, что домашнее задание.

Возможность поместить преобразование в класс делает написание спецификаций / тестов для этого преобразования тривиальным. Киба позволяет лучшие практики. держит руку пять

Пре- и постпроцессоры

Последний фрагмент Кибы, который я хотел бы охватить, — это пре- и постпроцессоры. Как вы можете себе представить, эти элементы запускаются до того, как какие-либо записи будут получены из источника, и после того, как все записи будут записаны в место назначения, соответственно. Любая общая настройка или очистка обрабатываются этими процессорами. В примере я использую его для сообщения о прогрессе:

 start_time = Time.now pre_process do puts "*** Start ACCOUNT MIGRATION #{start_time}***" end ... source, transforms, destination ... post_process do end_time = Time.now duration_in_minutes = (end_time - start_time)/60 puts "*** End ACCOUNT MIGRATION #{end_time}***" puts "*** Duration (min): #{duration_in_minutes.round(2)}" end 

Там. Теперь у меня есть хороший опыт работы с UX для сценариста, которым я являюсь. Путь, я.

Очевидно, мои примеры тривиальны, но вы можете представить себе случаи использования, когда реальная работа идет в эти блоки. Правильно?

Полный Монти

Вот мой сценарий Киба:

migrate_users.rb

 #!/usr/bin/env ruby $:.unshift "#{File.dirname(__FILE__)}/lib" require 'user_source' require 'user_destination' require 'filter_md5' mysql_url = ENV["MYSQL_URL"] source UserSource, mysql_url start_time = Time.now pre_process do puts "*** START ACCOUNT MIGRATION #{start_time}***" end transform FilterMD5 transform do |row| puts "OK" newrow = {} newrow[:email] = row[:Email] newrow[:password] = row[:Password] newrow[:salt] = row[:Salt] newrow[:old_id] = row[:AccountId] newrow end post_process do end_time = Time.now duration_in_minutes = (end_time - start_time)/60 puts "*** End ACCOUNT MIGRATION #{end_time}***" puts "*** Duration (min): #{duration_in_minutes.round(2)}" end destination UserDestination, ENV["PG_URL"] 

Исходный, целевой и файлы преобразования находятся в каталоге lib в моем проекте.

Запустить его

Запуск скрипта Kiba состоит из вызова исполняемого файла kiba и передачи имени вашего скрипта:

 kiba migrate_users.rb 

И пошло-поехало!

 *** START ACCOUNT MIGRATION 2015-06-25 12:53:10 -0400*** ....SOME ERRORS... *** End ACCOUNT MIGRATION 2015-06-25 12:54:11 -0400*** *** 11433 records moved in 1.02 minutes 

LOL для ETL DSL

Киба подарил мне много любви за создание ETL в Ruby. На мой взгляд, это очень хорошо продуманный, мощный DSL, заполняющий пустоту в экосистеме Ruby. Я призываю вас пройтись по сайту Kiba и узнать больше о библиотеке. Документы хороши, и есть сообщения в блоге, связанные с ETL и Kiba. Если вы в конечном итоге используете его, дайте знать Тибо. Я сделал, и он использовал меня в качестве отзыва на сайте. 🙂

идет на кухню, делает блины