Доверительные интервалы

Одно выборочное среднее — это точечная оценка, и она почти наверняка чуть мимо. Честнее назвать не точку, а диапазон, в котором правдоподобно лежит истинное значение. Это доверительный интервал. Но что именно означает «95%»?

▬ синий — интервал накрыл истину: 0▬ красный — НЕ накрыл: 0накрыли —% (ожидается ≈ 95%)

CI = x̄ ± z·SE = x̄ ± 1.96·(σ/√n)

для доли (A/B): p̂ ± 1.96·√( p̂(1−p̂)/n )

z зависит от уровня доверия: 90% → 1.645, 95% → 1.96, 99% → 2.576. Выше уровень — шире интервал.

Уровень:

Белый пунктир — истинное значение (в жизни оно нам неизвестно). Возьмём выборку: она даёт среднее и интервал вокруг него. Нажмите «взять выборку» несколько раз — каждый отрезок это интервал от одной выборки.

листать можно стрелками ← →

Что это значит

Поэтому в отчётах пишут не «конверсия 12%», а «12% ± 2%»: интервал честно показывает, насколько мы уверены. Две оценки с перекрывающимися интервалами различать рано — увидим это в уроке про A/B-тест.

И помните: широкий интервал — не ошибка, а сигнал «данных мало». Хотите ýже — берите больше наблюдений.

Где это встречается

Доверительные интервалы стоят за «погрешностью опросов» в новостях («45% ± 3%»), за вилками прогнозов и за планками на графиках в дашбордах.

Везде это одно и то же: не делать вид, что оценка точна, а честно показывать её неопределённость.

Определения

Точечная оценка

одно число — например, выборочное среднее. Почти всегда немного мимо истины.

По-простому: одно число-ответ, почти всегда чуть мимо истины.

Доверительный интервал

диапазон вокруг оценки, построенный так, что при повторении опыта заданная доля интервалов (напр. 95%) накрывает истинное значение.

По-простому: диапазон правдоподобных значений вокруг оценки, а не одна точка.

Уровень доверия

та самая доля (95%, 99%): как часто метод даёт накрывающий интервал на длинной серии.

По-простому: как часто такой интервал накрывает истину — напр. 95 раз из 100.

Когда метод врёт (допущения)

Формула CI = x̄ ± z·SE опирается на нормальность выборочного распределения (ЦПТ) и оценку σ по выборке; при малом n вместо z берут t-распределение (чуть шире). Для доли нужно достаточно успехов и неуспехов.

Интервал ловит только СЛУЧАЙНУЮ ошибку. Систематическое смещение (нерепрезентативная выборка) он не видит — можно получить узкий, но неверный интервал вокруг смещённой оценки.

См. также:Бутстреп: интервал без формул Интервал против p-value

Дальше →