Тестирование является важной частью эффективной рекламной кампании. Как протестировать в минимальные сроки максимальное количество факторов? Как найти оптимальный вариант с минимум затрат на тестирование? Раскрываем ответы на эти и другие вопросы.
Содержание статьи:
Тестирование является важной частью эффективной рекламной кампании. Как протестировать в минимальные сроки максимальное количество факторов? Как найти оптимальный вариант с минимум затрат на тестирование? Раскрываем ответы на эти и другие вопросы.
Кто виноват?
Содержание статьи:
Проведение тестов — основа успешной рекламной кампании, так как найти удачное сочетание всех переменных в нашей работе часто можно исключительно методом проб и ошибок. Чаще всего переменными выступают оффер, посадочная страница, таргетинг и промоматериал, которые, в свою очередь, являются целым наборами переменных. Так в проматериалах, как правило, можем экспериментировать с заголовками картинками, тестами и посылами. Возможности вариаций таргетинга зависят от рекламной сети, как правило их +/- полдюжины, например, девайс пользователя, возраст, пол, интересы, ключевые слова и прочие. В эту категорию можем внести и цену,так как она влияет на наш охват.
Нашей командой, мы насчитали 33 различных факторов, которые потенциально стоит учитывать при ведении рекламных кампаний. Важный вопрос — как все их протестировать, не потратив много времени и денег.
Тут есть несколько вариантов.
Первый — это привычное всем A/B тестирование. Описывать не будем, упомянем лишь о том, что этот метод просто-напросто не учитывает синергию различных факторов.
Например, у вас есть несколько картинок для креатива и несколько заголовков. Вы можете сначала определить, что лучше всех работает картинка «A». Потом определить, что заголовок «4» работает с картинкой «A». Проблема в том, что возможно самым эффективным является сочетание картинки и заголовка «C2», но об этом вы никогда не узнаете.
Второй способ простетировать каждое объявление с каждым заголовком. Так вы определенно найдете, какое сочетание «картинка/заголовок» работает. Проблема в том, что при увеличении количества переменных сильно возрастает количество необходимых тестов. Так, если надо проверить хотя бы по 2 картинки, 2 заголовка, 2 возраста, 2 гео, необходимо провести 16 тестов. Если добавить к этому, предположим, пол и девайс, то уже все 64 теста.
Что делать?
Мы предлагаем использовать метод многофакторного анализа. Этот метод позволяет оценить влияние каждого отдельного фактора. Т.е. вы проводите тестирование методом «каждый с каждым». Далее оцениваете влияние каждого фактора на конечный результат, это может быть прибыль, процент конверсии или любой другой показатель. Советуем тестировать по два значения каждой переменной за раз, так чтобы одно значение было условный «+» второе условный «–». Для того чтобы оценить влияние фактора, просто суммируете результаты, полученные при каждом значениие фактора. Отнимаем от плюса минус и делим на два. В результате получим значение, насколько изменится среднее значение при выборе положительного фактора.
Пример
Тестим заголовок (A) и картинку (B) объявления, а имеенно их альтернативы «А-», «А+», «B+» и «B-» и оптимизируем конвертабельность. Соответственно делам тестовые объявление, которые бы соответствывали параметрам «++», «+-», «-+» и «—».
Проводим тест и получаем примерно следящие результаты
«++» = 5%
«+-» = 10%
«-+» = 2%
«—» = 3%
Видим, что средняя конвертабельность составляет 5%, высчитываем простым средним арифметическим. Далее оцениваем каждый фактор. Так средняя конверсия при «A+» 7.5%, при «A-» 2.5%. Исходя из нашей формулы и простой логики, выбор «A+» позволит повысить среднюю конвертабельность на 2,5% ((7,5-2,5) /2). Аналогичный расчет делаем для фактора B, и видим, что этот фактор имеет следующее влияние ((5+2) /2-(10+3) /2) /2, что равняется -1,5%. Это показывает нам, что при выборе второго заголовка средняя конверсия будет выше на 1,5%.
Это должно давать нам прогнозируемый результат «+-» 9 (5+2,5+1,5), что не соответствует проведённому тесту. Но мы не учли влияние факторов A и В друг на друга. Высчитывается он точно таким же способом, как делалось выше, только надо учитывать, что фактор AB принимает положительное значение, когда при умножении отдельных факторов дает положительно значение и наоборот. То есть среднее AB+ составляет 4 ((5+3)/2), а AB- 6 ((10+2)/2). Что дает нам влияние фактора AB -1. Теперь видим, что выходим на конкретный прогнозируемый результат «+-», который совпадает с фактическим.
С помощью этого метода можем оценить влияние каждого фактора, на конечный результат.
Для того чтобы подсчитывать результаты анализа мы используем заготовленные Exel-странички, которые выдают нам результаты подсчетов.
Немного магии
Фокус в том, что при большем количестве факторов, мы можем сократить количество тестов. Сокращаем предполагая, что некоторые факторы слабо влияют друг на друга.
Вернёмся к примеру выше, где нам нужно протестировать картинку, заголовок, возраст гео, пол и девайс. Полный анализ такого количества фактор требует 64 теста. Но мы можем предположить, что некоторые факторы слабо влияют один другого. Так гео слабо взаимодействует с картинкой и заголовком. В такие случаи вместо отслеживания фактор взаимодействия картинки и гео, можем отследить какой-то другой фактор. Например, пол.
Фактически для подобного теста можем выбрать 3 «основных» фактора, например, картинка, заголовок и гео. Далее вместо отслеживания гео/картинка, протестом пол. Вместо, гео/заголовок отследить девайс, а вместо гео/картинка/заголовок отследить возраст. В ходе такого теста мы сократим, количество необходимых тестов в 8 раз с (64 до 8) и все равно отследим влияние каждого интересующего нас фактора и взаимодействие фактора заголовка с картинкой. Profit.
