Дисперсионный анализ (ANOVA): сравниваем много групп

t-тест и z-тест сравнивают ДВЕ группы. Но в A/B часто несколько вариантов (A/B/C/D), а в жизни — много категорий: конверсия по странам, выручка по тарифам. Сравнивать их попарно опасно, и для этого есть дисперсионный анализ — ANOVA. Двигайте ползунки и следите за отношением разбросов F.

разброс МЕЖДУ группами (SS_b): 1199разброс ВНУТРИ (SS_w): 548F = 29.54F > критич. → группы различаются

Разброс между средними групп8

Разброс внутри групп σ6

F = (разброс между группами) / (разброс внутри). Раздвиньте средние — F растёт; добавьте шум внутри — F падает. Так ANOVA отвечает «есть ли вообще различие» сразу для нескольких групп, не плодя попарных сравнений.

Почему нельзя просто прогнать t-тест для каждой пары? Это ловушка множественных сравнений: при 4 группах уже 6 пар, и шанс случайно поймать «значимость» резко растёт. ANOVA задаёт один общий вопрос — «есть ли вообще различие хоть между какими-то группами?» — одним тестом, без раздувания ошибки.

листать можно стрелками ← →

Что это значит

ANOVA — правильный инструмент для A/B/C/D-тестов и для сравнения метрики по многим сегментам. Сначала один тест «есть ли разница вообще», затем — поправленные попарные сравнения. Это дисциплинирует и защищает от ложных открытий из урока про множественные сравнения.

Если внутри групп данные сильно скошены или есть выбросы, у ANOVA (как и у t-теста) есть непараметрические аналоги (Краскела–Уоллиса) — та же идея на рангах. Выбор, как всегда, диктуют данные.

Где это встречается

Агрономия, с которой ANOVA и началась: сравнить урожайность при нескольких удобрениях сразу. Сегодня — сравнение нескольких версий интерфейса, тарифов, регионов, моделей.

В аналитике ANOVA и её регрессионная форма повсюду, где нужно понять, объясняет ли категориальный фактор (группа, канал, сегмент) различия в метрике — и насколько.

Определения

ANOVA

тест на различие средних сразу у нескольких групп одним критерием, без попарного перебора.

По-простому: сравнить средние сразу нескольких групп одним тестом, без перебора пар.

Межгрупповой разброс

насколько средние групп отклоняются от общего среднего — «сигнал».

По-простому: насколько средние групп разошлись между собой — «сигнал».

Внутригрупповой разброс

насколько наблюдения колеблются внутри своей группы — «шум».

По-простому: насколько данные скачут внутри своей группы — «шум».

F-статистикаF = разброс между / разброс внутри

большое F → различия между группами перекрывают внутренний шум.

По-простому: большое F — сигнал между группами перекрыл внутренний шум.

Когда метод врёт (допущения)

Классическая ANOVA предполагает примерно нормальные остатки, схожий разброс в группах (гомоскедастичность) и независимость наблюдений. При тяжёлых хвостах или выбросах берут ранговый аналог — критерий Краскела–Уоллиса.

ANOVA отвечает «есть ли различие хоть где-то», но не «между какими именно группами». Чтобы это узнать, нужны пост-хок сравнения (например, Тьюки) с поправкой на множественность.

Дальше →