Сетевые эффекты: когда A/B ломается

Пиццерия тестирует акцию «приведи друга — обоим скидка» на случайной половине пользователей. Но друзья-то общие: тестовая группа зовёт контрольную, и «чистое» сравнение разъезжается. Обычный A/B держится на тихом допущении: моё попадание в группу B не влияет на пользователя из группы A. В соцсетях, маркетплейсах и доставке оно рушится — и наивное сравнение групп даёт смещённый ответ.

● A (контроль)● B (тест)заражённых связей (A↔B): 11 из 16

Как проверить SUTVA: сравните оценку в двух дизайнах

Расхождение оценок: 5.5. Дизайны заметно расходятся — это и есть сигнал нарушения SUTVA: эффект протекает между группами.

Сплит по пользователям: связанные люди попадают в разные группы, эффект B «протекает» к их друзьям из контроля (красные связи), контроль подрастает — и наивная оценка эффекта B занижается. Кластерная рандомизация (целые сообщества в одну ветку) почти убирает межгрупповые связи и даёт чистую оценку. Практический способ ОБНАРУЖИТЬ интерференцию: посчитать эффект обоими способами — большое расхождение между ними и выдаёт нарушение SUTVA.

Скрытое допущение A/B называется SUTVA: исход каждого пользователя зависит только от ЕГО варианта, а не от того, что досталось другим. Рандомизация по пользователям честна, только когда люди не взаимодействуют. Часто это правда — и тогда обычный A/B работает.

листать можно стрелками ← →

Что это значит

Какое решение это меняет

Если пользователи влияют друг на друга, обычный A/B даст смещённый ответ. Решение о дизайне — кластеры или switchback — принимается до запуска.

Перед A/B на платформе с взаимодействием пользователей сразу думают о единице рандомизации: люди, кластеры, гео или время. Ошибиться здесь — значит получить красивый, но неверный результат, который развалится при раскатке.

Признак интерференции — общие ресурсы или коммуникация между пользователями. Маркетплейс с общим пулом курьеров почти всегда требует гео- или switchback-эксперимента, а не сплита по пользователям.

Где это встречается

Соцсети тестируют вирусные механики кластерами (по сообществам), иначе эффект «протекает» через дружеские связи в контроль.

Сервисы доставки и такси используют switchback и гео-эксперименты: если тест забирает курьеров у контроля, обычный пользовательский сплит покажет ложный результат.

Определения

SUTVA

допущение, что исход пользователя зависит только от его варианта, а не от вариантов других. Основа обычного A/B.

По-простому: допущение: мой вариант теста не влияет на твоё поведение.

Интерференция (interference)

нарушение SUTVA: группы влияют друг на друга (соцсети, общие ресурсы), и сравнение смещается.

По-простому: группы «протекают» друг в друга — эффект смешивается.

Кластерная рандомизация

делить не людей, а группы (сообщества, города), чтобы взаимодействие осталось внутри ветки.

По-простому: делим не людей, а города или группы целиком.

Switchback

переключать весь рынок между A и B по времени — схема для рынков с общим пулом ресурсов.

По-простому: переключаем весь продукт туда-обратно по времени.

Когда метод врёт (допущения)

Кластерные и гео-схемы честнее при интерференции, но дороже: эффективный размер выборки — это число кластеров, а не людей, поэтому нужно много кластеров для мощности.

Switchback предполагает, что эффект проявляется быстро и нет сильных переносов между периодами; при долгих отложенных эффектах он тоже смещается.

Дальше →