Байесовский A/B: вероятность, что B лучше A
Частотный A/B отвечает уклончиво: «p = 0.04, отвергаем H0». Бизнес же хочет простого: «какова вероятность, что B лучше A, и сколько мы потеряем, если ошибёмся?». На эти вопросы прямо отвечает байесовский подход. Двигайте априори и данные — апостериорное обновляется.
Два распределения — это правдоподобные значения конверсии A и B после данных. P(B>A) — доля случаев, где случайное значение из B больше, чем из A. Больше n — оба распределения уже, и ответ увереннее. Прямой ответ «стоит ли катить B», без p-value.
Идея та же, что в прошлом уроке, но для двух вариантов. Для конверсии A и для конверсии B строим по апостериорному распределению (из априори + наблюдённых данных). Теперь у нас не две точки, а два распределения правдоподобных значений конверсии.
Байесовский A/B особенно удобен для бизнес-коммуникации: «B лучше с вероятностью 96%, ожидаемые потери при выборе B — 0.1%» понятно без статистического образования и прямо ведёт к решению.
Но априори нужно выбирать честно: сильное смещённое априори при малых данных утянет вывод. На практике берут слабые (неинформативные) априори, чтобы решали данные.
Многие A/B-платформы предлагают байесовский режим именно ради интерпретируемых «вероятность выиграть» и «ожидаемые потери» — это снижает споры о трактовке p-value.
Тесная связка — с многорукими бандитами: там апостериорные распределения вариантов используют, чтобы по ходу направлять больше трафика на лучший вариант.
Определения
«Вероятность, что B лучше» наследует априори: со слабым prior на малых данных она легко показывает 90%+ на чистом шуме. Фиксируйте prior заранее, а не подбирайте под желаемый результат.
Байесовский A/B мягче к подглядыванию, но не иммунен: постоянные остановки на «95%, что лучше» всё равно смещают выводы. И эта вероятность молчит о том, НАСКОЛЬКО лучше, — смотрите ожидаемый эффект и потери.