В этой статье я расскажу как применять показатель отказов на практике, как оценить с его помощью качество работы, а самое главное сэкономить четверть бюджета.

Показатель отказов — процент от общего количества посещений, в рамках которых состоялось не более одного просмотра страницы, не произошло конверсии или какого-то другого события.

Сравнивать два сайта по показателю отказов некорректно. Хороший одностраничный лендинг будет обладать высоким показателем отказов, а сложный запутанный сайт, в котором сложно найти тарифы — низким.

Но в рамках одного сайта, это довольно хорошая метрика качества того или иного источника трафика.

Почему просто не посмотреть на конверсию?

Согласно теории вероятности, показатель отказов обладает в 5-30 раз меньшей погрешностью, чем показатель конверсий. Поэтому когда кликов у меньше 1000, то на показатель конверсии лучше не смотреть — у него очень большая погрешность. Показателю отказов можно “доверять” уже после 10 кликов.

Более того, показатель отказов может выражать, что-то что не выражает показатель конверсии.

Что выражает показатель отказов?

Существуют две версии:

  • Качество. Он выражает качество всего трафика.
  • Доля мусора. Он выражает только долю нерелевантных визитов.

Может показаться, что эти гипотезы не противоречат друг-другу но это не так. Например, средний рост негров выше роста европейцев. Но доля взрослых мужчин  с ростом меньше 1.5 метров у негров тоже выше — из-за пигмеев.

Первая гипотеза говорит, что показатель качества это средний рост, вторая — о том, что это просто “доля пигмеев”.

Если мы примем “Качество” как гипотезу, то при высоком показателе отказов, мы можем только снизить ставки. При гипотезе “Доля мусора” мы можем практически полностью выровнять показатели отказов с помощью проработки минус-словами.

Если построить на больших данных диаграмму зависимости конверсии от отказов, то мы получим следующий вид:

1

Визуально может показаться, что гипотеза о качестве верна. Но статистические модели не показывают явных преимуществ ни одной из этих моделей.

2

Более того, вероятность того, что товар добавленный в корзину будет куплен не зависит от показателя отказов, а вероятность добавления в корзину сильно зависит. Из этого можно сделать, что гипотеза о качестве, скорей всего, не отражает действительность.

Модель скрытых отказов

При прогнозировании конверсии в K50 Labs, мы используем модель скрытых отказов. Она говорит о том, что есть определенное число нерелевантных пользователей отказ которым не был засчитан. Пользователь может по первой странице не понять, что ему конкретно предлагают или перейти на вторую страницу просто ради праздного любопытства.

Модель скрытых отказов строится на следующих очевидных утверждениях:

  • Кроме явных отказов, есть еще и скрытые
  • Чем больше явных отказов, тем большая доля скрытых отказов в тех кликах, которым не засчитался отказ.
  • Суммарная доля отказов (скрытых и явных) не превышает 100%
  • Доля скрытых отказов больше либо равна нулю

В итоге получается довольно точный прогноз вероятности конверсии:

2

Эта модель настолько точно предсказывает вероятность конверсии, что ее оценка почти не улучшается при добавлении информации о промежуточных событиях, вроде добавления товара в корзину.

 

Из чего можно сделать вывод: показатель отказов это заниженная доля мусорных отказов. С помощью улучшения фокусировки (например, проработки минус-словами), в теории, можно выровнять показатель отказов в разных кампаниях или ключевых словах.

 

Полный показатель отказов

В модели есть один коэффициент (соотношение скрытых и явных показов). При прогнозировании конверсии  этот коэффициент выбирается так, чтобы зависимость между полным показателем отказов и показателем конверсии была пропорциональной.

4

Выбрав правый график мы получим, что около четверти отказов скрытые. Упростив модель получим следующую формулу:

Полный показатель отказов = 1-(1-показатель_отказов)2

Потери из-за отказов

Мы можем легко оценить финансовые потери которые возникают из-за недостаточной проработки минус-словами:

Оценка потерь снизу =Показатель отказов * Расход =Отказы * CPC

Столько денег мы тратим на покупку отказов. Это число более стабильно, чем показатель отказов. Например, если мы отсортируем ключевые слова по показателю отказов, то сверху окажутся ключевые слова с одним кликом и одним отказом. Сортировка по оценке потерь избавлена от подобных проблем.

Если показатель отказов равен 50%, то минимум половину бюджета мы расходуем впустую на покупку кликов незаинтересованных пользователей. Минимум, поскольку показатель отказов занижен.

Согласно принципу Паррето, 10% ключевых слов приносят 90% потерь, следовательно  можно довольно быстро сократить потери из-за отказов, нужно проработать 10% ключевых слов с самыми большими потерями.

Мы можем улучшить этот показатель благодаря модели скрытых отказов:

Оценка потерь =Полный показатель отказов * Расход= ( 1-(1-показатель_отказов)2) * Расход

Примерно столько денег мы тратим на покупку нерелевантного трафика. Ключевые слова, группы объявлений или кампании можно отсортировать по этому показателю и проработать минус-словами те из них, в которых потери максимальны.

При показателе отказов в 50% (0.5). Мы получим 50% явных отказов и 25% скрытых. Т.е. 75% бюджета расходуется впустую. Конечно сократить до 0% показатель отказов невозможно, но на треть вполне реально. Таким образом мы сможем съэкономить около 25% бюджета.

Хотя правильнее оценивать не потери бюджета, а недополученную прибыль.

ROI= Прибыль/Расход => Прибыль = Расход * ROI

Недополученная прибыль =ROI *показатель_отказов * Расход

Это число выражает, что будет если сократим показатель отказов до 0 и освободившийся бюджет пустим на другие ключевые слова. На порядок сортировки домножение на ROI не скажется, но числа будут лучше отражать потери прибыли.

Это можно сделать в Excel или Google Docs. Но удобнее всего это делать в бесплатной статистике от К50. Здесь находится инструкция по добавлению колонки.

 

Альтернативные потери

На самом деле сократить до нуля показатель отказов невозможно. Поэтому часть потерь из прошлой главы не являются альтернативными (часть потерь  будет в любом случае).

Поэтому, для очень больших аккаунтов имеет смысл посчитать более сложный показатель. Поскольку, если у нас ключевых слов очень много, то  польза от улучшения сортировки с лихвой перекрывает время на расчет более сложной метрики.

Если спрогнозировать показатель отказов после проведения оптимизации и вычесть его из текущего показателя и эту разницу умножить на расход, то мы получим оценку прибыли, которую принесет проработка минус-словами.

Выгода от проработки = (Показатель_до — Показатель_после) * Расход

Самый простой способ: выбрать два слова с большим числом показов. Потом проработать эти слова по максимуму минус-словами и через месяц посмотреть на результат. Пусть X1 и X2 полные показатели отказов до проработки, а Y1 и Y2 — после. Если мы предположим, что Y=a*X+b. То a и b можно найти из системы уравнений:

Y1=bX1+a

Y2=bX2+a

b=(Y1-Y2)/(X1-X2)

a=Y1-b*X1

X-Y = X — (bX + a) = (1-b)*X — a

Альтернативные потери =ROI *((1-b)*X — a)* Расход

Иногда получается, что в силу случайных ошибок  b>1 или a<0. В этом случае лучше воспользоваться формулой обычных потерь.

Регрессионный анализ

Описанный выше метод обладает большой погрешностью. Поэтому для определения a и b рекомендую использовать более точный  метод.

  1. Ключевые слова сортируются по обычным потерям. Прорабатывается некоторое число ключевых слов с самыми большими потерями. Как минимум 10-20 первых.
  2. Через месяц благодаря линейной регрессии, старым и новым показателям отказов вычисляется a и b. Для этого я написал таблицу в Google Docs.
  3. Ключевые слова сортируются по альтернативным потерям и прорабатываются  первые 10-20% (по принципу Паретто). Или до тех пор пока потери превышают стоимость труда потраченного на проработку.

 

Эшелонная диаграмма

На больших аккаунтах, когда ключевых слов десятки или сотни тысяч, можно проверить качество работы сотрудника используя эшелонную диаграмму.

Обычно, ключевые слова добавляются целыми тысячами. Т.е. за пару дней добавили множество ключевых слов, а потом начинается их проработка и в течении нескольких месяцев новые ключевые слова не добавляются, затем добавили еще пару тысяч.

55

Если проект существует несколько лет, то, обычно, сотрудники меняются. Можно довольно легко понять хуже или лучше новый сотрудник прорабатывает ключевые слова.

При этом ID ключевого слова в Директе зависит от времени его добавления. Поэтому можно построить следующую диаграмму:

24234

У первого эшелона самый высокий показатель отказов. Второй обладает низким показателем отказов, но у него плохая кучность. У третьего — довольно высокая кучность. Это говорит о том, что несмотря на что отказы у него немного выше, чем у второго, он, скорей всего лучше проработан.

Если последние эшелоны хуже прошлых, то это говорит, что новый сотрудник недостаточно хорошо прорабатывает минус-словами. Если последние эшелоны значительно лучше, то, скорей всего, сотрудник работает хорошо, но слишком много времени уделяет своим ключевым словам, забывая прорабатывать старые.

Преимущество этой диаграммы в том, что неважно в новые или старые кампании были добавлены ключевые слова — они будут в одном эшелоне.

Однако, такую диаграмму можно построить только для Яндекс.Директ, в Google AdWords ID ключевых слов не зависят от времени их добавления.