Интерактивная статистика

56 бесплатных интерактивных уроков: от среднего и медианы до A/B-тестов и Байеса. Двигайте графики и стройте интуицию. Без регистрации.

Модуль 9 «Ловушки данных»

Регрессия к среднему

Худшие магазины после «разбора полётов» улучшились. Лучшие сотрудники после премии сработали скромнее. Кажется, вмешательство сработало — но часто это иллюзия, чистая статистика. Имя ей — регрессия к среднему, и она обманывает даже опытных. Двигайте «долю удачи» и смотрите, как экстремумы откатываются.

тест 2 = тест 1среднееоткат к среднемурезультат теста 1 (первый раз) →результат теста 2 (повтор) ↑топ-20% по тесту 1
Лучшие по тесту 1 (жёлтая зона): в среднем 1.32 на тесте 1, но уже 0.41 на повторе — откатились к среднему (0) сами, хотя с ними ничего не делали.

Каждая точка — один и тот же объект, измеренный ДВАЖДЫ (например, продавец за два месяца или ученик на двух контрольных). Результат = устойчивый НАВЫК + случайная УДАЧА. «Доля удачи» — насколько результат случаен: 0% — чистый навык (повтор повторяет первый раз, точки на серой диагонали); 100% — чистый случай (повтор никак не связан с первым). Красная стрелка показывает откат: лучшие по тесту 1 на повторе в среднем ниже — потому что их удача в этот раз другая. Двигайте ползунок: чем больше удачи, тем сильнее откат.

Возьмём любой результат, в котором есть и навык, и случайность (продажи, оценки, KPI). Каждая точка — один и тот же объект, измеренный ДВАЖДЫ: по горизонтали результат первого раза (тест 1), по вертикали — повтора (тест 2). Серая диагональ — это «повтор в точности равен первому разу»: если бы результат был чистым навыком, все точки легли бы на неё. Жёлтым выделены лучшие 20% по тесту 1, а красная стрелка показывает, где эта группа оказалась на повторе.

Что это значит

Это одна из самых частых причин ложной веры в «работающие» меры. «Прошли тренинг отстающие — подтянулись», «оштрафовали худший филиал — исправился»: без контрольной группы вы измеряете регрессию к среднему, а не эффект меры.

Практический рефлекс: если меру применили к экстремальной группе и судят по «до/после» — насторожитесь. Нужен контроль или рандомизация (снова доказательная пирамида и A/B).

Где это встречается

«Эффект обложки Sports Illustrated» и «проклятие новичка года»: попавшие на пик потом выступают скромнее — не из-за сглаза, а потому что на пик их закинула в т.ч. удача.

В медицине пациенты обращаются в худшем состоянии (экстремум) и потом улучшаются сами — поэтому без контрольной группы любое «лечение» кажется эффективным. Отсюда обязательность РКИ.

Определения
Регрессия к среднему
экстремальные значения при повторном измерении в среднем ближе к среднему — из-за случайной компоненты результата.
По-простому: рекордные значения при повторе в среднем тянутся обратно к обычным.
Навык + удача
результат = устойчивая часть (навык) + случайная (удача). Откатывается именно удача, поэтому экстремумы «возвращаются».
По-простому: результат = навык + случай; откатывается именно случайная часть.
Отбор по экстремуму
вмешательство в самых худших/лучших — там эффект регрессии к среднему максимален и легче всего спутать с результатом.
По-простому: берём самых крайних — там откат к среднему легко принять за эффект.
Дальше →
Понравились материалы?

Эти материалы делает канал «Кусочек пиццы» — аналитика данных простыми словами: разборы реальных кейсов, метрики, карьера. Подпишитесь, чтобы не потерять.

Подписаться на «Кусочек пиццы»