Зачем проверять гипотезы
Вы что-то поменяли — и метрика выросла. Но данные всегда шумят: они и без всякого эффекта прыгают от выборки к выборке. Главный вопрос аналитика: перед нами реальный сигнал или просто рябь случайности? Проверка гипотез — это формальный способ ответить на него, не обманывая себя.
Сравним два мира. В одном эффекта нет: разница, которую вы видите, — чистая случайность. В другом эффект есть. Беда в том, что из-за шума ОБА мира могут дать одну и ту же наблюдаемую цифру. Глядя на единственный результат, нельзя быть уверенным, из какого он мира, — поэтому и нужна формальная процедура, а не решение «на глаз». (Сам интерактив с перекрытием двух миров будет в следующем уроке — здесь только идея.)
Что это значит
Какое решение это меняет
Решение по умолчанию — ничего не менять и считать разницу случайной. Проверка гипотез отвечает на один вопрос: достаточно ли данные удивительны, чтобы отказаться от этого дефолта и принять изменение.
Практический смысл прост: прежде чем радоваться росту метрики, аналитик спрашивает «а не могло ли это получиться случайно?». Если да — результат не считается. Это дисциплина, которая отличает доказательное решение от самообмана.
Важно и обратное: «не нашли эффект» — не то же самое, что «эффекта точно нет». Возможно, его просто не хватило сил заметить (об этом — урок про мощность). Тест отвечает осторожно и честно, а не категорично.
Где это встречается
Регуляторы лекарств не одобрят препарат, пока не доказано, что эффект не объясняется случайностью. Та же логика — в проверке вакцин, материалов, инженерных решений.
В продукте каждое изменение — гипотеза: «новая кнопка поднимет конверсию». Проверка гипотез превращает это «кажется» в измеримое, воспроизводимое решение.