Доклад Ильи Пестова, автора телеграм-канала Groks, на конференции по маркетинговой аналитике «Матемаркетинг-2019».
Многие аналитики постоянно собирают какие-то кейсы, бенчмарки, примеры внедрения KPI. Другими словами – все время пребывают в поиске некоего ориентира: каким должен быть CTR, CPC или CAC.
Автор telegram-канала Groks Илья Пестов убежден: приемлемого ориентира не существует. Ведь у каждой компании разная маржинальность, стратегия развития: что для одного бизнеса хорошо, для другого может быть плохо. Но что важно абсолютно для всех – «бьются» в итоге цифры в плюс или минус. И если в плюс, единственная задача заключается в том, чтобы максимизировать результат. На пути к этому есть множество преград.
Одна из фундаментальных проблем анализа — тирания метрик. Это словосочетание в своей одноименной книге использует Джерри Мюллер. В ней он объясняет, почему кажущаяся нам необходимость измерить производительность вовлекает нас в некую игру в статистику.
В нашем стремлении привить процессу анализа научную строгость мы зачастую переходим от измерения эффективности чего-либо к зацикливанию на самом измерении.
Смысл сказанного можно проиллюстрировать примером из сферы здравоохранения. Какой показатель нужно взять за основу, чтобы с его помощью измерить уровень квалификации врачей. В таком случае весьма логичной может показаться метрика — количество успешных операций. При этом обратная сторона такого показателя заключается в том, что врачи могут не браться за сложные и рискованные операции, чтобы не ставить под угрозу свой рейтинг, зарплату и прочие социальной бонусы.
Другой пример: KPI на объем продаж. Продавец, предоставленный сам себе, в погоне за объемом будет стремиться не добиться новых продаж, а присвоить себе уже существующие. Для этого он может предложить скидку. Хотя человек мог быть заинтересован в покупке без скидок. А бывает ситуация еще хуже, когда клиент готов покупать продукты регулярно, но ему предлагают совершить покупку сразу на несколько лет вперед, предлагая скидку в 50%. В таком случае месячный объем продаж возрастает, но бизнес теряет существенные деньги, а продавец получает за это еще и премию.
Никогда не нужно забывать о простом, но крайне важном законе Гудхарта: если какая-либо метрика становится целью, то она перестает быть хорошей метрикой. Он распространяется не только на второстепенные метрики, такие как конверсии по кнопке купить, но и на самое главное в любом бизнесе — на чистую прибыль.
Корпоративная история знает множество примеров игнорирования закона Гудхарта. Kodak, сосредоточившись на чистой прибыли, «проспал» повышение спроса на цифровую камеру. Хотя первая цифровая камера была разработана именно в Kodak в 1975 году.
Существует такая компания «Сирс». Примерно в середине прошлого века они по почте рассылали буклеты с товарами. Люди совершали заказы по телефону, это был эдакий Аmazon в оффлайне, который удивительным образом не заметил появление интернета. Все дело в том, что «Сирс» и Kodak были сосредоточены на доходах, не принимая во внимание то, что цели по расходам не менее важны. Samsung Electronics в кризисный для него 97 год стал наращивать инвестиции в R&D. Toyota в кризисы делает то же самое, как бы это не было парадоксально.
Мы плавно подошли ко второй проблеме анализа — парадоксы в статистике. Начнем с эффекта Симпсона — это статистический феномен, который описывает условия, когда в нескольких группах данных может быть общая тенденция, но при рассмотрении их в отдельности ситуация меняется, а тенденции становятся противоположными.
Предположим, что мы работаем с группой пользователей, из которых 5 тысяч сидят на IOS, 10 тысяч — на Android. Конверсия для IOS составляет 4%, для Аndroid — 5,5%. Глядя на эти показатели, некоторые руководители могут принять решение о перераспределении маркетингового бюджета в пользу Аndroid. Они совершают ошибку. Если мы рассмотрим эти данные подробнее, разбив по устройствам, то увидим, что конверсия в обоих группах устройств Аpple оказывается выше.
Подобных уловок при индукции импликации данных множество. Мы можем не только не заметить ошибку, но и не заметить возможность, что одинаково плохо с точки зрения теории игр.
Однажды основатель миллиардной компании LifePerson (разрабатывает решения в области обратной связи) Роберт Локачи поведал одну очень интересную мысль. Представьте, что у вас есть сайт, который генерирует множество звонков с неплохой конверсией. Кажется, что сайт очень хорошо выполняет свою роль, однако это также говорит нам о том, что для многих людей сайт не раскрывает ключевую информацию о продукте, поэтому им приходится связываться с компанией по телефону. Это не распространяется на сферу недвижимости и другие предприятия с длинным циклам продаж, однако поражает мысль о том, что большое количество звонков может быть настолько же хорошо, насколько и плохо. Это тоже своего рода парадокс.
Американский кабельный спортивный телеканал ESPN за шесть лет потерял около 13 миллионов платных подписчиков из-за увеличения цены подписки. В итоге его выручка выросла на 50 процентов, а эти 50 процентов эквивалентны более 200 миллионов долларов.
Обычно мы сторонимся радикальных решений, но порой именно они оказываются самыми эффективными. При этом опыт ESPN нельзя экстраполировать на все подряд. Сейчас в России меняется культура потребления. Мысль о необходимости платить за контент становится нормой. Но если бы вы 10 лет назад запускали сервис видео-стриминга, при этом, разочаровавшись в выручке, приняли бы решение о увеличении стоимости подписки, то проиграли бы еще больше.
Уверен, что решение ESPN принимали люди, которые изучали конъюнктуру и имели глубинное понимание медиа-рынка в США.
Перейдем к третьей проблеме: софизмы и авторитарность. Наблюдаю, что многие люди, в том числе аналитики, слепо принимают за догму любую информацию от авторитетного для них источника. Будь то конкретная личность или целый бренд, но таких авторитетов для аналитика быть не должно. Авторитетность должна служить неким фильтром для избирательности информации, но не быть гарантом ее достоверности.
Оказывается, что в США всего 10 праздников и вообще нет законодательно оплачиваемого отпуска. В России же 14 праздников и 28 отпускных дней. При этом почти каждый год все публикуют рейтинги, по результатам которых Россия — одна из самых работающий стран. Становится интересно, как так получается, что в штатах выходных и праздников меньше, а выработка часов у нас значительно больше. При изучении этого вопроса выяснилось, что все ссылаются на ОЭСР — Организацию экономического сотрудничества и развития.
Количество трудовых часов включает себя учет праздничных дней, отпусков, больничных, травмы и временную инвалидность, декреты и другие показатели. В России в 2016 году в среднем каждый россиянин отработал 1974 часа. Именно столько он и должен был отработать по производственному календарю. Это очень странно. ОЭСР ссылается на Росстат. Изучая методологию роста, выяснилось, что Росстат не учитывает ни больничные, ни инвалидность.
Есть еще и недельное количество выработанных часов в России. По данным Росстата, в среднем за неделю мы работаем меньше американцев, а за год все равно получается больше. Все, кто ссылается на данные ОЭСР по трудовым часам, предоставляет неправильную информацию. В методологии ОЭСР допущена ошибка.
Это как раз тот случай, когда влиянии брэнда превалируют над здравым смыслом. Ошибку допустила не ОЭСР, а всего лишь несколько аналитиков. За каждой организацией или компанией скрывается труд обычного человека.
Аналитик должен быть занудным скептиком, скептиком в первую очередь по отношению к своим суждениям. Существует феномен Даннинга Крюгера. У него много трактовок, но суть его в следующем: незнание порождает уверенность, из-за неспособности осознать свою ошибку. Высококвалифицированные специалисты наоборот склонны занижать свою оценку, считая других более компетентными.
Так мы подошли к последней характерной проблеме анализа — это когнитивное искажение. К сожалению, каждый человек иррационален по своей природе. Люди чаще всего умирают от заболеваний сердца, боятся они рака, а беспокоит их больше всего терроризм и убийства. Причина такого противоречивого мышления наше с вами когнитивное искажение.
В качестве первого примера я хочу упомянуть эффект неоднозначности. Есть корзина, в которой 30 красных шаров, а еще 60 желтых и зеленых. Давайте представим, что эта корзина настоящая. Вытащим из нее шар. Что вероятнее всего, что в моей руке сейчас комбинация из красного или желтого шара, либо из желтого или зеленого. Люди склонны делать выбор в пользу красного шара, потому что его количество определено, они боятся неопределенного риска, связанного с выбором других шаров. Хотя в корзине могло быть 59 зеленых, тогда вероятность вытащить именно его самая большая. Это в какой-то степени напоминает наш страх принятия радикальных решений.
Другой пример — ошибка базового процента. Вот есть Марк, он носит готическую одежду, у него длинные черные волосы, слушает Marilyn Manson. Он христианин или сатанист, что вероятнее? Люди склонны преувеличивать вероятность того, что он сатанист, недооценивая вероятность того, что он христианин. Происходит это потому, что в силу собственных предубеждений они игнорируют факт того, что базовый процент христианства значительно больше базового процента сатанистов.
Есть еще одно очень распространенное явление — это склонность к подтверждению. Однажды Григорий Бакунов из «Яндекса» рассказал, что некоторые люди, ища ответ на вопрос — можно ли принимать спиртное во время антибиотиков — доходят чуть ли не до 10 страницы поиска.
Это происходит регулярно, не только с алкоголем, а в той ситуации, когда находишь какой-то подозрительный факт, пытаешься создать последовательную цепочку, постоянно спотыкаясь об опровержении. Только спустя время осознаешь, что твой мозг увлёкся поиском подтверждений.
Когнитивное искажение — это большая проблема для мышления аналитика. Но гораздо хуже, когда вы или ваши подчиненные вольно или невольно эксплуатируют когнитивное искажения ваших пользователей. Давайте представим, что есть компания, которая ориентируется на пресловутый Net Promoter Score. Руководитель ставит задачу — повышение индекса потребительской лояльности, подразумевая под этим разработку продукта, редизайн, исправления багов. Но индекс легко повысить, сделав намёк на то, какая оценка хорошая, какая плохая. Номинальная лояльность сразу же вырастет, хотя отношение пользователя к продукту не изменилось. Произойдет это из-за так называемого «эффекта якоря». В Стэнфорде однажды проводили эксперимент: участников эксперимента разделили на две группы, у которых спросили, сколько лет было Ганди, когда он умер. Только для обеих групп было разное уточнение в вопросе. Для первых было — до 90 лет или после, для вторых — до 140 или после. В первой группе предположили, что Ганди умер в 50, вторые 67. Якорное число 90 в вопросе для первой группы заставило назвать эту группу меньше число, чем вторую, у которых этот якорь был намеренно завышен. Мы такие странные при стремлении что-то оценить. Достаточно просто нарисовать какое-то абстрактное число, у нас уже будет меняться восприятие оценки, оцениваемого объекта.
Когнитивных искажений очень много, рекомендуемо ознакомиться с каждым из них, это заставляет задуматься о многом. Наш мозг очень необычный.
Современный компьютер оперирует битами: единицы и нули — бинарная система. В основе квантового компьютера – кубит, который может находиться в суперпозиции, принимать одновременно несколько значений.
Это доклад называется «Суперпозиция аналитика». Он показывает, что мыслить нужно системно, переосмысляя все и вся, придавая сомнению любые суждения, не позволяя нашему мозгу обманывать нас. Во всех этих принципах таится еще масса внутренних противоречий. Как маневрировать в потоке данных, соблюдая все из них, неизвестно. Но научная строгость анализа свойственна перфекционизму, что есть плохо.
По разным данным от 30 до 70% рекламного бюджета самых разных компаний улетает "в трубу". Эти деньги можно сохранить или потратить на развитие бизнеса.
