Регрессия к среднему
Худшие магазины после «разбора полётов» улучшились. Лучшие сотрудники после премии сработали скромнее. Кажется, вмешательство сработало — но часто это иллюзия, чистая статистика. Имя ей — регрессия к среднему, и она обманывает даже опытных. Двигайте «долю удачи» и смотрите, как экстремумы откатываются.
Каждая точка — один и тот же объект, измеренный ДВАЖДЫ (например, продавец за два месяца или ученик на двух контрольных). Результат = устойчивый НАВЫК + случайная УДАЧА. «Доля удачи» — насколько результат случаен: 0% — чистый навык (повтор повторяет первый раз, точки на серой диагонали); 100% — чистый случай (повтор никак не связан с первым). Красная стрелка показывает откат: лучшие по тесту 1 на повторе в среднем ниже — потому что их удача в этот раз другая. Двигайте ползунок: чем больше удачи, тем сильнее откат.
Возьмём любой результат, в котором есть и навык, и случайность (продажи, оценки, KPI). Каждая точка — один и тот же объект, измеренный ДВАЖДЫ: по горизонтали результат первого раза (тест 1), по вертикали — повтора (тест 2). Серая диагональ — это «повтор в точности равен первому разу»: если бы результат был чистым навыком, все точки легли бы на неё. Жёлтым выделены лучшие 20% по тесту 1, а красная стрелка показывает, где эта группа оказалась на повторе.
Это одна из самых частых причин ложной веры в «работающие» меры. «Прошли тренинг отстающие — подтянулись», «оштрафовали худший филиал — исправился»: без контрольной группы вы измеряете регрессию к среднему, а не эффект меры.
Практический рефлекс: если меру применили к экстремальной группе и судят по «до/после» — насторожитесь. Нужен контроль или рандомизация (снова доказательная пирамида и A/B).
«Эффект обложки Sports Illustrated» и «проклятие новичка года»: попавшие на пик потом выступают скромнее — не из-за сглаза, а потому что на пик их закинула в т.ч. удача.
В медицине пациенты обращаются в худшем состоянии (экстремум) и потом улучшаются сами — поэтому без контрольной группы любое «лечение» кажется эффективным. Отсюда обязательность РКИ.