Интерактивная статистика

56 бесплатных интерактивных уроков: от среднего и медианы до A/B-тестов и Байеса. Двигайте графики и стройте интуицию. Без регистрации.

Модуль 9 «Ловушки данных»

Закон Гудхарта: метрика как цель

Последняя ловушка — про сами метрики. Как только метрику делают целью, люди начинают её «накручивать», и она перестаёт отражать то, ради чего вводилась.

Целевая метрикаРеальная ценностьНапр.: «звонков в час» ↑, а качество разговора ↓
Пока давление умеренное, метрика и ценность растут вместе.

Колл-центр решил поднять метрику «число звонков в час». Двигайте давление на метрику. Сначала и метрика, и реальная ценность (качество разговора с клиентом) растут вместе — всё хорошо.

Что это значит

При постановке целей (OKR, KPI) опытные команды всегда спрашивают: «как эту цель можно накрутить во вред делу?» — и добавляют контр-метрику, которая это поймает.

Это прямой мост ко второй части сайта: в каждой иерархии метрик нижний уровень — guardrails. Они существуют именно из-за закона Гудхарта.

Где это встречается

Школы, которые натаскивают на тест вместо знаний; больницы, занижающие приём тяжёлых пациентов, чтобы улучшить статистику смертности; соцсети, выжигающие аудиторию ради сиюминутного вовлечения.

Везде одно: оптимизировали один показатель — и сломали систему, которую он должен был измерять.

Определения
Закон Гудхарта
когда мера становится целью, она перестаёт быть хорошей мерой — её начинают накручивать.
По-простому: как только за метрику начинают гнаться, её начинают накручивать.
Гейминг метрики
формальное улучшение показателя во вред реальной цели, ради которой он вводился.
По-простому: поднять цифру, провалив ту цель, ради которой её ввели.
Контр-метрики (guardrails)
ограничители качества рядом с целевой метрикой, ловящие накрутку и деградацию.
По-простому: метрики-сторожа рядом с целевой — ловят накрутку и просадки.
Дальше →
Понравились материалы?

Эти материалы делает канал «Кусочек пиццы» — аналитика данных простыми словами: разборы реальных кейсов, метрики, карьера. Подпишитесь, чтобы не потерять.

Подписаться на «Кусочек пиццы»