Учебники

ETL-тестирование – качество данных

Проверка качества данных во время тестирования ETL включает в себя проверку качества данных, загружаемых в целевую систему. Включает в себя следующие тесты –

Проверка номера

Числовой формат должен быть одинаковым во всей целевой системе. Например, в исходной системе формат нумерации столбцов равен x.30 , но если целевым значением является только 30 , он должен загружаться без префикса x. в целевом столбце номер.

Проверка даты

Формат даты должен быть согласованным как в исходной, так и в целевой системах. Например, оно должно быть одинаковым для всех записей. Стандартный формат: гггг-мм-дд.

Проверка точности

Значение точности должно отображаться, как ожидается, в целевой таблице. Например, в исходной таблице значение равно 15.2323422, но в целевой таблице оно должно отображаться как 15.23 или раунд 15.

Проверка данных

Это включает проверку данных согласно бизнес-требованиям. Записи, которые не соответствуют определенным критериям, должны быть отфильтрованы.

Пример – в целевую таблицу должны загружаться только те записи, у которых date_id> = 2015 и Account_Id! = ‘001’.

Null Check

Некоторые столбцы должны иметь значение Null в соответствии с требованиями и возможными значениями для этого поля.

Пример. В столбце «Дата завершения» должно отображаться значение «Ноль», если и до тех пор, пока в столбце «Активное состояние» не будет указано «T» или «Умерший».

Другие проверки

Обычные проверки, такие как From_Date, не должны превышать To_Date.