Корреляция: Пирсон, Спирмен и что r не ловит

Коэффициент корреляции r — удобное одно число про связь. Но он измеряет только ОДИН вид связи — линейную, — и его легко обмануть. Опытный аналитик никогда не доверяет r, не посмотрев на сам график. Переключайте облака точек и сравнивайте Пирсона и Спирмена.

Попробуйте подряд четыре пресета «Анскомб» — Пирсон r остаётся ≈0.82 в каждом из них, хотя картинки совершенно не похожи друг на друга.

● тянут связь вверх: (x−x̄)(y−ȳ) > 0● тянут вниз: (x−x̄)(y−ȳ) < 0

Пирсон r = 1.00Спирмен ρ = 1.00

Пирсон: r = Σ(x−x̄)(y−ȳ) / √( Σ(x−x̄)²·Σ(y−ȳ)² )

Спирмен: ρ = тот же Пирсон, но по рангам rₓ, r_y (а не по значениям)

Пирсон складывает «прямоугольники» (x−x̄)(y−ȳ): синие (обе координаты по одну сторону от среднего) тянут r вверх, красные — вниз; сумму нормируют на разброс. Спирмен делает то же, но сначала заменяет значения их РАНГАМИ (местами) — поэтому он ловит любую монотонную связь и устойчив к выбросам: на «Выброс прячет связь» Пирсон проваливается к нулю, а Спирмен по рангам остаётся высоким.

Сразу про два графика и формулу. Слева — облако по значениям с крестом средних (x̄, ȳ); это Пирсон: r = Σ(x−x̄)(y−ȳ) / √(Σ(x−x̄)²·Σ(y−ȳ)²). Каждая точка вносит вклад (x−x̄)(y−ȳ): синие точки (обе координаты по одну сторону от среднего) тянут r вверх, красные — вниз; сумму делят на разброс, чтобы r попал в [−1, 1]. Справа — те же точки, но по РАНГАМ (местам): Спирмен ρ — это тот же Пирсон, посчитанный по рангам. На «Линейной» точки тянутся прямой полосой, почти все синие — Пирсон высокий и заслуженный.

листать можно стрелками ← →

Что это значит

Квартет Анскомба, который мы только что переключали в виджете, — не просто легенда из учебника: одна и та же r ≈ 0.82 честно стоит за четырьмя совершенно разными картинками. Мораль одна: число корреляции без графика обманчиво.

На практике для рейтингов, мест, оценок (порядковые данные) и для связей с выбросами берут Спирмена. Для аккуратных линейных измерений — Пирсона. Но смотрят на scatter всегда.

Где это встречается

«Зарплата vs стаж» часто монотонна, но не линейна (рост замедляется) — Пирсон занизит связь, Спирмен покажет честнее.

В мониторинге один аномальный день легко рисует или ломает корреляцию метрик — поэтому связи перепроверяют без выбросов и ранговыми методами.

Определения

Корреляция Пирсона (r)

сила линейной связи по значениям; от −1 до +1. Чувствительна к выбросам, не видит нелинейность.

По-простому: сила ПРЯМОЙ связи; ломается на выбросах и кривых зависимостях.

Корреляция Спирмена (ρ)

корреляция Пирсона по рангам; ловит любую монотонную связь и устойчива к выбросам.

По-простому: Пирсон по рангам; ловит любой стабильный рост и не боится выбросов.

Монотонная связь

y стабильно растёт (или убывает) с x, пусть и не по прямой. Её ловит Спирмен, но не обязательно Пирсон.

По-простому: y стабильно растёт или падает с x, пусть и не по прямой.

Диаграмма рассеяния

график точек (x, y) — первый и обязательный взгляд на связь до любого коэффициента.

По-простому: точки на графике; смотреть на них ДО любого коэффициента.

Когда метод врёт (допущения)

Пирсон корректно отражает связь только если она примерно линейна и нет сильных выбросов; иначе он систематически вводит в заблуждение.

Любая корреляция (хоть Пирсон, хоть Спирмен) — это связь, а не причинность. Высокий коэффициент не означает, что одно вызывает другое.

См. также:Причинность и конфаундеры Парадокс Симпсона

Дальше →