После ANOVA: какие именно группы различаются

ANOVA говорит лишь «различие где-то есть». Но бизнесу нужно «КАКАЯ группа лучше». Наивный ответ — прогнать t-тесты для всех пар — ведёт прямо в ловушку множественных сравнений. Поэтому после ANOVA применяют специальные пост-хок процедуры.

Разброс между группами6

Разброс внутри групп σ7

Каждая строка — разница средних пары групп с интервалом. Не накрыл ноль (зелёный) → значимо. Выключите поправку Тьюки — интервалы сузятся, и «значимых» пар станет больше: это и есть раздувание ложных находок при попарных тестах без поправки.

ANOVA сказала «различие где-то есть». Но между КАКИМИ из трёх групп? На графике — доверительные интервалы попарных разниц (A−B, A−C, B−C). Правило простое: если интервал не накрывает ноль (зелёный) — разница значима; накрывает (серый) — нет. Двигайте разброс между группами и внутри — интервалы реагируют.

листать можно стрелками ← →

Что это значит

Правильный разбор многогруппового сравнения: ANOVA → если значимо → пост-хок с поправкой (Тьюки). Так вы и не утонете в попарных тестах, и не пропустите, какая группа реально выделяется.

В A/B/C/D-тестах то же самое: сначала проверяют, есть ли вообще различие между вариантами, потом — поправленные сравнения с контролем. Иначе при многих вариантах «победитель» часто оказывается случайным.

Где это встречается

Агрономия и медицина — родина пост-хоков: сравнить несколько удобрений или доз и понять, какая именно лучше, не наловив ложных различий.

Продукт: сравнение нескольких версий лендинга или тарифной сетки — ANOVA/регрессия на входе, затем поправленные попарные сравнения для выбора варианта.

Определения

Пост-хок (post-hoc)

сравнения после значимой ANOVA, чтобы выяснить, какие именно группы различаются.

По-простому: сравнения после значимой ANOVA — какие именно группы разошлись.

Критерий Тьюки (HSD)

пост-хок процедура для всех пар, удерживающая общий риск ложноположительного результата на заданном уровне.

По-простому: проверка всех пар, держащая общий риск ложной находки в узде.

Семейная ошибка (FWER)

вероятность хоть одной ложной находки среди всех сравнений; её и контролируют поправки.

По-простому: шанс хоть одной ложной находки среди всех сравнений разом.

Двухступенчатость

сначала ANOVA (есть ли различие), затем пост-хок (где именно) — бережёт мощность.

По-простому: сначала ANOVA (есть ли разница), потом пост-хок (где) — бережёт мощность.

Когда метод врёт (допущения)

Пост-хоки наследуют допущения ANOVA (примерная нормальность остатков, схожий разброс групп, независимость). При их нарушении — непараметрические аналоги (Краскел–Уоллис + Данн).

Контроль семейной ошибки снижает мощность каждого отдельного сравнения: это честная плата за право проверять много пар сразу.

Дальше →