Проверка качества данных во время тестирования ETL включает в себя проверку качества данных, загружаемых в целевую систему. Включает в себя следующие тесты —
Проверка номера
Числовой формат должен быть одинаковым во всей целевой системе. Например, в исходной системе формат нумерации столбцов равен x.30 , но если целевым значением является только 30 , он должен загружаться без префикса x. в целевом столбце номер.
Проверка даты
Формат даты должен быть согласованным как в исходной, так и в целевой системах. Например, оно должно быть одинаковым для всех записей. Стандартный формат: гггг-мм-дд.
Проверка точности
Значение точности должно отображаться, как ожидается, в целевой таблице. Например, в исходной таблице значение равно 15.2323422, но в целевой таблице оно должно отображаться как 15.23 или раунд 15.
Проверка данных
Это включает проверку данных согласно бизнес-требованиям. Записи, которые не соответствуют определенным критериям, должны быть отфильтрованы.
Пример — в целевую таблицу должны загружаться только те записи, у которых date_id> = 2015 и Account_Id! = ‘001’.
Null Check
Некоторые столбцы должны иметь значение Null в соответствии с требованиями и возможными значениями для этого поля.
Пример. В столбце «Дата завершения» должно отображаться значение «Ноль», если и до тех пор, пока в столбце «Активное состояние» не будет указано «T» или «Умерший».
Другие проверки
Обычные проверки, такие как From_Date, не должны превышать To_Date.