Доказательная сила: зачем вообще нужен A/B
«Мы обновили меню на сайте пиццерии, и заказы выросли» — это доказательство? И да, и нет: всё зависит от того, КАК получено наблюдение. У свидетельств есть иерархия силы. Прежде чем разбирать механику A/B, поймём, почему именно он стоит на вершине этой пирамиды. Кликайте по уровням.
Не все доводы равны. Внизу пирамиды — самые слабые: мнение, единичный случай, отзыв («мне кажется, так лучше»). Они легко поддаются искажениям и ошибке выжившего. Чем выше уровень, тем надёжнее вывод и тем труднее объяснить его случайностью или посторонней причиной.
Уровень доказательств определяет, какие решения на них можно опирать: наблюдений хватает для гипотез, крупные ставки требуют эксперимента.
Практический навык — спрашивать про любой вывод: «на каком уровне пирамиды он получен?». «Менеджер уверен» — низ. «В данных есть корреляция» — чуть выше. «Сделали до/после» — ещё выше. «Прогнали честный A/B» — вершина. Это сразу калибрует доверие к решению.
A/B дорог: нужны трафик, время, инфраструктура. Поэтому его берут для важных и спорных решений, а очевидные мелочи катят и без него. Но когда цена ошибки высока — только рандомизированный эксперимент даёт надёжный ответ.
В медицине та же пирамида: мнение эксперта внизу, рандомизированные контролируемые испытания и их мета-анализы — наверху. Лекарство не одобрят на основании наблюдений — нужен RCT, прямой аналог A/B.
В продукте громкие провалы часто рождаются из низа пирамиды: «всем очевидно, что так лучше» — выкатили без теста — метрика просела. A/B существует ровно для того, чтобы такие «очевидности» проверять.