Если совокупность, из которой была отобрана выборка, является нормальной популяцией, то средние значения выборки будут равны средним значениям совокупности, и распределение выборки будет нормальным. Когда больше населения искажено, как в случае, проиллюстрированном на рисунке, распределение выборки будет иметь тенденцию приближаться к нормальному распределению, если выборка большая (то есть больше 30).
Согласно центральной предельной теореме , для достаточно больших выборок с размером более 30 форма распределения выборки будет становиться все более похожей на нормальное распределение , независимо от формы родительской популяции. Эта теорема объясняет связь между распределением населения и распределением выборки . Это подчеркивает тот факт, что если имеется достаточно большой набор выборок, то распределение выборки среднего значения приближается к нормальному распределению . Важность центральной предельной теоремы была обобщена Ричардом. И. Левин в следующих словах: