квартиль что это в статистике
Статистика — это грамматика науки о данных. Часть 3
Mar 30, 2019 · 4 min read
Повторение статистики для начала путешествия по науке о данных
Меры расположения
Процентили
Процентили делят упорядоченные данные на сто равных частей. В рассортированных данных процентиль — это точка, показывающая процентное отношение значений в наборе данных, находящихся ниже данной точки.
50-й процентиль — это медиана.
Например, на графике ниже показано развитие ребенка от рождения до 2 лет. Получается, что 98% развития ребенка за первый год жизни составляет в весе меньше 11,5 кг.
Другим примером является ра с пределение доходов в стране. 99-й процентиль — это уровень дохода, при котором 99% населения зарабатывают меньше этого значения и 1% — больше. Так в Великобритании, как показано на графике ниже, 99-й процентиль составляет 75.000 фунтов стерлингов.
Квартили
Квартили — это процентили, которые делят набор данных на четверти. Первый квартиль, Q1, равен 25-ому процентилю, третий квартиль, Q3, равен 75-ому процентилю. Медиана может быть обозначена либо вторым квартилем, Q2, либо 50-ым процентилем.
Интерквартильный размах (IQR)
IQR — число, которое показывает разброс средней половины (т.е. средние 50%) набора данных и помогает определить выбросы. IQR — это разница между Q3 и Q1.
Выбросы — это, проще говоря, те значения данных, которые находятся за пределами следующих интервалов: Q1–1.5 x IQR и Q3 + 1.5 x IQR.
Диаграмма «ящик с усами»
Диаграмма «ящик с усами» показывает:
Ящик с усами имеет горизонтальную и вертикальную оси и прямоугольный ящик.
«Усы» (выделенные фиолетовым цветом) начинаются с концов ящика и заканчиваются на самом минимальном или максимальном значениях данных. Также бывают ящики с усами, у которых есть отмеченные значения выбросов (выделены красным цветом). В таких случаях, усы не достигают минимального и максимального значений.
Ящики с усами на графике нормального распределения Ящики с усами на нормальных распределениях имеют некоторые особенности: Несмотря на то, что первый и третий квартили (Q1 и Q3) имеют такие названия, они, на самом деле, не составляют 25% от числа данных! Они показывают 34,135%. Также второй квартиль (Q2) составляет не 50%, а 68,27%.
Моменты случайной величины
Моменты случайно величины описывают различные аспекты характера и формы нашего распределения.
#1 — первый момент случайной величины — среднее значение данных, которое показывает место распределения.
#2 — второй момент случайной величины — дисперсия, которая показывает разброс распределения. Большие значения имеют больший размах, чем маленькие.
#3 — третий момент случайной величины — коэффициент асимметрии — мера того, насколько неравномерным является распределение. Коэффициент асимметрии положителен, если распределение наклонено влево и левый хвост короче правого. То есть среднее значение находится правее. И наоборот:
#4 — четвертый момент случайной величины — коэффициент эксцесса, который описывает то, насколько толстый хвост и насколько острый пик распределения. Этот коэффициент показывает, насколько вероятно найти точки экстремума в данных. Чем выше значение, тем вероятнее выбросы. Это похоже на разброс (дисперсию), но между ними есть отличия.
Как видно на графике, чем выше значение пики, тем выше коэффициент эксцесса, т.е. у верхней кривой коэффициент эксцесса выше, чем у нижней.
Обсудив меры центральной тенденции, рассмотрим подход к описанию положения статистических данных, который включает в себя определение пороговых значений, в пределах которых лежат указанные пропорции данных.
Мы знаем, что медиана делит распределение пополам. Мы можем определить другие разделительные линии, которые разбивают распределение на меньшие части.
Например, первый квартиль \(Q_1\) делит распределение так, что 25 процентов наблюдений лежат не выше него; следовательно, 1-й квартиль также является 25-м процентилем.
Второй квартиль \(Q_2\) представляет 50-й процентиль, а третий квартиль \(Q_3\) представляет 75-й процентиль, потому что 75 процентов наблюдений лежат не выше него.
Имея дело с фактическими данными, мы часто обнаруживаем, что нам нужно найти приблизительное значение процентиля. Например, если нас интересует значение 75-го процентиля, мы можем обнаружить, что ни одно наблюдение не разделяет выборку так, что ровно 75 процентов наблюдений лежат не выше этого значения.
Следующая процедура, однако, может помочь нам определить или оценить процентиль. Процедура включает в себя сначала определение положения процентиля в наборе наблюдений, а затем определение (или оценку) значения, связанного с этой позицией.
Формула для позиции процентиля в массиве из n записей, отсортированных по возрастанию:
\(\large \dst
L_y = (n+1) \frac
Значение \(L_y\) может быть или не быть целым числом.
Как правило, по мере увеличения размера выборки результат расчета положения в процентилях становится более точным; в небольших выборках он может быть весьма приблизительным.
В качестве примера случая, когда \(L_y\) не является целым числом, предположим, что мы хотим определить 3-ий квартиль доходности за 2012 год (\(Q_3\) или \(P_<75>\)) для 16 европейских фондовых рынков, представленных в Таблице 8.
В соответствии с Формулой 8 позиция третьего квартиля имеет вид \(L_<75>\) = (16 + 1) (75/100) = 12.75 или между 12-м и 13-м позициями в Таблице 9, в которой доходность представлена в порядке возрастания.
Определив «0.75» как «12.75», мы пришли бы к выводу, что \(P_<75>\) находится на 75% расстояния между 15.90% и 20.72%.
Подведем итоги:
1) Когда позиция \(L_y\) представляет собой целое число, она соответствует фактическому наблюдению. Например, если бы Дания не была включена в выборку, то \(n + 1\) было бы равно 16, а при \(L_<75>\) = 12 третий квартиль был бы \(P_ <75>= X_<12>\), где \(X_i\) определяется как значение наблюдения в \(i\)-й \((i = L_<75>)\) позиции данных, отсортированных в порядке возрастания (т. е. \(P_<75>\) = 15.90).
Возвращаясь к расчету \(P_<75>\) для доходности капитала, мы обнаружили, что \(L_y\) = 12.75; следующее более низкое целое число равно 12, а следующее более высокое целое число равно 13.
Используя линейную интерполяцию, находим:
Как указано выше, на 12-й позиции находится доходность акций Франции, поэтому \(X_<12>\) = 15.90%; \(X_<13>\) = 20.72%, что соответствует доходности акций Австрии.
Таким образом, наша оценка методом линейной интерполяции составит:
Мы следуем этой схеме всякий раз, когда \(L_y\) не является целым числом: ближайшие целые числа ниже и выше \(L_y\) устанавливают позиции наблюдений, которые ограничивают \(P_y\), а затем используются для интерполяции.
Пример, приведенный ниже иллюстрирует расчет различных квантилей для дивидендной доходности компонентов основного европейского индекса акций.
Пример расчета процентилей, квартилей и квинтилей.
Рыночная капитализация ранжируется в порядке возрастания.
