Парадокс Симпсона
Следующая ловушка прячется в самих связях между величинами. Иногда тренд, видимый в данных целиком, полностью переворачивается, стоит разбить их на группы. Это парадокс Симпсона — он ломает наивные выводы и регулярно ловит даже опытных аналитиков.
Перед Вами облако точек — скажем, по горизонтали стаж сотрудника, по вертикали зарплата. По всем точкам линия идёт вниз: будто больше стаж — меньше зарплата. Странный вывод.
Классический реальный пример: лекарство в сумме помогало хуже, но в каждой подгруппе пациентов (лёгкие и тяжёлые случаи) — лучше. Просто тяжёлым его давали чаще, и они тянули общий результат вниз.
Поэтому аналитики почти рефлекторно разрезают данные по ключевым сегментам: устройство, регион, возраст. Один и тот же график «в целом» и «по сегментам» может рассказывать противоположное.
Парадокс ловили в приёмных кампаниях университетов, в сравнении больниц, в эффективности рекламы по каналам. Везде «среднее по всем» вводило в заблуждение, пока не разбили по группам.
Урок простой: агрегат — удобно, но опасно. Всегда держите в голове, какие группы он смешивает.