Глоссарий

Термины статистики и бизнес-метрики — в одном месте.

Описание данных 8

Центр, разброс и форма распределения

Среднее→ разобрано в уроке: Сумма всех значений, делённая на их количество. Показывает «центр тяжести» данных: если бы все наблюдения были одинаковыми, каждое равнялось бы среднему.; $\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i$
Медиана→ разобрано в уроке: Значение, которое делит упорядоченный ряд пополам: половина наблюдений меньше него, половина больше. При чётном числе значений берут полусумму двух центральных.
Мода→ разобрано в уроке: Значение, встречающееся в данных чаще всего. Единственная мера центра, применимая к категориям: самый популярный товар, самый частый способ оплаты.
Дисперсия→ разобрано в уроке: Средний квадрат отклонения значений от их среднего: чем сильнее данные разбросаны, тем она больше. Измеряется в квадратах исходных единиц — рубли², минуты².; $\sigma^2 = \frac{1}{n}\sum (x_i - \bar{x})^2$
Стандартное отклонение (σ)→ разобрано в уроке: Корень из дисперсии: типичное расстояние от среднего до отдельного наблюдения, в тех же единицах, что и данные. Для нормального распределения около 68% значений лежат в пределах ±1σ от среднего и 95% — в пределах ±2σ.; $\sigma = \sqrt{\frac{1}{n}\sum (x_i - \bar{x})^2}$
Перцентиль / квартиль→ разобрано в уроке: Значение, ниже которого лежит заданная доля данных: p95 — порог, который не превышают 95% наблюдений. Квартили — это перцентили 25, 50 и 75 (Q1, медиана, Q3).
Нормальное распределение→ разобрано в уроке: Симметричное колоколообразное распределение, полностью заданное двумя числами: средним μ (где пик) и стандартным отклонением σ (насколько колокол широкий). Правило 68-95-99.7: в ±1σ, ±2σ и ±3σ попадает соответственно 68%, 95% и 99.7% значений.
Асимметрия распределения→ разобрано в уроке: Мера несимметричности распределения: один хвост длиннее другого. При правосторонней асимметрии редкие большие значения тянут среднее вверх, и оно оказывается выше медианы.

Вероятность 5

Язык неопределённости и почему средние устойчивы

Вероятность→ разобрано в уроке: Число от 0 до 1, показывающее, насколько ожидаемо событие: 0 — невозможно, 1 — происходит всегда. В частотной трактовке это доля случаев, в которых событие наступает, если повторять опыт много раз.
Закон больших чисел→ разобрано в уроке: С ростом числа испытаний наблюдаемая доля сходится к истинной вероятности. Закон описывает поведение среднего на длинной серии и ничего не утверждает об отдельном испытании.
Условная вероятность→ разобрано в уроке: Вероятность события A при условии, что событие B уже произошло; записывается P(A|B). От обратной величины P(B|A) отличается — это разные числа.; $P(A|B) = \frac{P(A \cap B)}{P(B)}$
Теорема Байеса→ разобрано в уроке: Правило пересчёта вероятности после появления новых данных: P(A|B) = P(B|A)·P(A) / P(B). Учитывает базовую ставку P(A) — распространённость явления до измерений.; $P(A|B) = \frac{P(B|A)\cdot P(A)}{P(B)}$
ЦПТ→ разобрано в уроке: Центральная предельная теорема: если брать выборки из почти любого распределения и считать в каждой среднее, распределение этих средних стремится к нормальному, а его разброс сокращается как σ/√n.; $\sigma_{\bar{x}} = \frac{\sigma}{\sqrt{n}}$

Оценки и проверка гипотез 10

Как по выборке судить о целом и читать A/B-тесты

Стандартная ошибка→ разобрано в уроке: Стандартное отклонение самой оценки, а не данных: насколько среднее меняется от одной выборки к другой. Для среднего SE = σ/√n.; $SE = \frac{\sigma}{\sqrt{n}}$
Доверительный интервал→ разобрано в уроке: Диапазон правдоподобных значений оцениваемой величины. Трактовка относится к методу: если много раз повторять эксперимент и каждый раз строить 95%-й интервал, около 95% таких интервалов накроют истинное значение.; $\bar{x} \pm z \cdot SE$
Бутстреп→ разобрано в уроке: Оценка неопределённости без формул: из имеющейся выборки много раз случайно набирают новую выборку того же размера с возвратом и смотрят, как меняется интересующая статистика.
Нулевая гипотеза (H0)→ разобрано в уроке: Утверждение «эффекта нет, а разница объясняется случайностью». Проверка идёт от противного: считают, насколько наблюдаемые данные неправдоподобны для мира без эффекта.
p-value→ разобрано в уроке: Вероятность увидеть такой же или ещё более выраженный результат, если эффекта на самом деле нет. Это не вероятность того, что гипотеза верна, и не размер эффекта.
Ошибка 1 рода (α)→ разобрано в уроке: Ложноположительный результат: критерий отверг верную нулевую гипотезу, то есть объявил эффект, которого в действительности нет. Уровень α выбирают заранее — это доля таких ошибок, которую допускают (обычно 0.05).
Ошибка 2 рода (β)→ разобрано в уроке: Ложноотрицательный результат: эффект в действительности есть, но критерий его не обнаружил. Вероятность обратного — обнаружить существующий эффект — называется мощностью и равна 1−β.; $\text{мощность} = 1 - \beta$
Мощность→ разобрано в уроке: Вероятность обнаружить эффект заданного размера при условии, что он действительно есть. Зависит от размера эффекта, разброса данных, размера выборки и выбранного α.; $1 - \beta$
t-тест→ разобрано в уроке: Критерий сравнения средних двух групп: соотносит наблюдаемую разницу со стандартной ошибкой этой разницы. Требует независимости наблюдений и примерно нормального распределения средних.; $t = \frac{\bar{x}_1 - \bar{x}_2}{SE_{\text{разн}}}$
Множественные сравнения→ разобрано в уроке: Одновременная проверка многих гипотез — нескольких метрик, сегментов или вариантов. Риски ложноположительного результата при этом накапливаются: при 20 независимых тестах с α=0.05 хотя бы одно ложное «значимо» появится примерно в 64% случаев.; $P(\text{хотя бы одна ошибка}) = 1 - (1-\alpha)^m$

Связи и модели 5

Связи между величинами и качество моделей

Корреляция (r)→ разобрано в уроке: Число от −1 до +1, описывающее силу и направление линейной связи двух величин. Ноль означает отсутствие линейной связи, но не отсутствие связи вообще.
Регрессия / МНК→ разобрано в уроке: Метод, подбирающий прямую (или более сложную зависимость) так, чтобы сумма квадратов отклонений точек от неё была наименьшей. Коэффициент наклона показывает, на сколько в среднем меняется y при росте x на единицу.; $y = b_0 + b_1 x$
Переобучение→ разобрано в уроке: Модель выучила не закономерность, а случайный шум обучающих данных: на них результат отличный, на новых — плохой. Проявляется как разрыв качества между обучающей и отложенной выборкой.
Precision / Recall→ разобрано в уроке: Точность (precision) — какая доля объектов, отнесённых моделью к классу, отнесена верно. Полнота (recall) — какую долю объектов этого класса модель обнаружила.; $\text{precision} = \frac{TP}{TP+FP},\quad \text{recall} = \frac{TP}{TP+FN}$
ROC / AUC→ разобрано в уроке: ROC-кривая показывает, как соотносятся доли верно обнаруженных и ложноположительных результатов при переборе всех порогов классификатора. AUC — площадь под этой кривой: 1.0 — идеал, 0.5 — уровень случайного угадывания.

Ловушки интерпретации 3

Где выводы по данным чаще всего ломаются

Парадокс Симпсона→ разобрано в уроке: Зависимость, видимая по данным в целом, меняется на противоположную внутри каждой группы. Причина — скрытый фактор, по-разному распределённый между группами.
Ошибка выжившего→ разобрано в уроке: Искажение, при котором выводы делают только по объектам, «дожившим» до данных, не видя тех, кто из них выпал.
Закон Гудхарта→ разобрано в уроке: Как только показатель становится целью, его начинают оптимизировать напрямую — и он перестаёт отражать то, ради чего вводился.

Временные ряды и прогноз 9

Структура ряда во времени и проверка прогнозов

Временной ряд→ разобрано в уроке: Последовательность значений метрики, упорядоченная по времени с постоянным шагом. Соседние наблюдения в нём зависимы, поэтому обычные методы, рассчитанные на независимые данные, применять к ряду нельзя без оговорок.
Тренд и сезонность→ разобрано в уроке: Две регулярные составляющие ряда: тренд — медленное направленное движение, сезонность — колебание с известным периодом (день недели, месяц года). Остаток после их вычитания считают шумом.; y = T + S + E
Автокорреляция→ разобрано в уроке: Корреляция ряда с самим собой, сдвинутым на несколько шагов назад. Нарушает предпосылку независимости наблюдений: стандартные ошибки занижаются, а доверительные интервалы оказываются уже, чем следует.; $r_k = corr(y_t, y_{t-k})$
Стационарность→ разобрано в уроке: Свойство ряда, у которого среднее, разброс и структура связи между наблюдениями не меняются со временем. Требование большинства прогнозных моделей: только при нём выученное на прошлом переносимо в будущее.
Дифференцирование ряда→ разобрано в уроке: Переход от значений ряда к их приростам. Убирает тренд и делает ряд стационарным; сезонная разность (вычитание значения на период раньше) убирает цикл. Буква I в названии ARIMA.; $Δy_t = y_t − y_{t−1}$
Экспоненциальное сглаживание→ разобрано в уроке: Прогноз по взвешенному прошлому, где вес наблюдений убывает геометрически с возрастом. Расширение Хольта — Уинтерса хранит уровень, тренд и сезонность отдельными компонентами и продлевает каждую.; $L_t = α·y_t + (1−α)·L_{t−1}$
ARIMA / SARIMA / SARIMAX→ разобрано в уроке: Семейство моделей, описывающих ряд через его прошлое: AR — зависимость от прошлых значений, I — дифференцирование, MA — поправка на прошлые ошибки. S добавляет те же механизмы на сезонном лаге, X — внешние признаки (промо, праздники), будущие значения которых известны заранее.; (p,d,q)(P,D,Q)ₘ
Бэктест прогноза→ разобрано в уроке: Проверка прогноза на истории: обучение только на данных до точки отсечения и сравнение с фактом после неё. Точку сдвигают несколько раз, потому что оценка по одному разрезу — это оценка по одному наблюдению.
MAE / RMSE / MAPE→ разобрано в уроке: Метрики ошибки прогноза: MAE — средний промах в единицах метрики, RMSE — с усиленным штрафом за крупные промахи, MAPE — ошибка в процентах от факта. MAPE не определена при нулевых значениях и несимметрична; для таких рядов берут MASE — ошибку, делённую на ошибку наивного прогноза.; MAE = (1/n)·Σ|y − ŷ|

🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕🍕

Такие разборы — в канале

Пишу про аналитику простыми словами: как считать метрики, не наврать в A/B, что спрашивают на собесах и как я собираю этот сайт. Без воды.

Подписаться на канал