После ANOVA: какие именно группы различаются
ANOVA говорит лишь «различие где-то есть». Но бизнесу нужно «КАКАЯ группа лучше». Наивный ответ — прогнать t-тесты для всех пар — ведёт прямо в ловушку множественных сравнений. Поэтому после ANOVA применяют специальные пост-хок процедуры.
Каждая строка — разница средних пары групп с интервалом. Не накрыл ноль (зелёный) → значимо. Выключите поправку Тьюки — интервалы сузятся, и «значимых» пар станет больше: это и есть раздувание ложных находок при попарных тестах без поправки.
ANOVA сказала «различие где-то есть». Но между КАКИМИ из трёх групп? На графике — доверительные интервалы попарных разниц (A−B, A−C, B−C). Правило простое: если интервал не накрывает ноль (зелёный) — разница значима; накрывает (серый) — нет. Двигайте разброс между группами и внутри — интервалы реагируют.
Правильный разбор многогруппового сравнения: ANOVA → если значимо → пост-хок с поправкой (Тьюки). Так вы и не утонете в попарных тестах, и не пропустите, какая группа реально выделяется.
В A/B/C/D-тестах то же самое: сначала проверяют, есть ли вообще различие между вариантами, потом — поправленные сравнения с контролем. Иначе при многих вариантах «победитель» часто оказывается случайным.
Агрономия и медицина — родина пост-хоков: сравнить несколько удобрений или доз и понять, какая именно лучше, не наловив ложных различий.
Продукт: сравнение нескольких версий лендинга или тарифной сетки — ANOVA/регрессия на входе, затем поправленные попарные сравнения для выбора варианта.
Определения
Пост-хоки наследуют допущения ANOVA (примерная нормальность остатков, схожий разброс групп, независимость). При их нарушении — непараметрические аналоги (Краскел–Уоллис + Данн).
Контроль семейной ошибки снижает мощность каждого отдельного сравнения: это честная плата за право проверять много пар сразу.