ГлавнаяМатериалыБлогНе только ДиректКак проводить А/Б тесты в Яндекс.Директ?
Филипп Царевский

Авторский блог   Филиппа Царевского

Как проводить А/Б тесты в Яндекс.Директ?

08 мая 2015

Статья частично цитирует книгу «Яндекс.Директ. Как получать прибыль, а не играть в лотерею».

Если уже получаете хорошую прибыль, начинайте тестировать всё! Всё, что можно.

Недавно общался в Питере с одним предпринимателем, владельцем агентства недвижимости. Он всё, что слышит, сразу внедряет и тестирует! Все виды рекламы, любая фишка в Директе, триггер на сайте и т. д. – всё пропускает через себя, оставляя то, что реально увеличивает доход.

А многие не могут протестировать даже собственный сайт, хотя А/Б-тест может увеличить прибыль в 1,5–2 раза!

Прилагаю скриншот интересной переписки с клиентом:

Существует несколько технических решений проведения А/Б-тестирования. Специалисты постоянно спорят, какое из них эффективнее. Поэтому я опишу все варианты, указав их преимущества и недостатки.

Есть два основных вида тестирования: одновременно и по очереди. В первом случае два объявления чередуются между собой автоматически, показываясь по очереди (их ротирует Яндекс). Очевидное преимущество такого метода в том, что внешние условия (начиная от количества конкурентов и заканчивая курсом доллара) одинаковы для каждого объявления. Во втором случае объявления показываются по очереди, но чередуем их мы сами — по часам, дням, неделям или даже месяцам. Внешние условия меняются, но по некоторым другим параметрам такой вариант имеет преимущества.

Для любого случая тестируется вся кампания или большая однотипная группа ключевиков (например, если мы продаём готовый бизнес, то можно отдельно протестировать группу горячих ключевиков, которые содержат слово «франшиза»). Также важно понимать, что в разные дни (например, понедельник и четверг) и в разное время дня люди ведут себя абсолютно по-разному. Сравнивать клики, сделанные утром и вечером, нет никакого смысла.

 

Начнём с первого варианта. Здесь есть два способа: запуск двух кампаний одновременно или тестирование с помощью групп объявлений. 

 

  1. Группы объявлений — инструмент Директа, который позволяет на один ключевик сделать несколько объявлений. Он показывает их по очереди и через какое-то время оставляет самое кликабельное (имеющее самый большой CTR). Выглядит здорово, но есть большой недостаток: система ротирует их очень медленно, причём на практике совсем неравномерно — в разное время суток, в разные дни недели. Поэтому есть смысл использовать только для ВЧ-ключевиков или в РСЯ. Каждое объявление нужно пометить своей UTM-меткой, чтобы смотреть не только его CTR, но и другие показатели. На поиске, сделав группы для высокочастотников, лучшее объявление потом переносится на все остальные НЧ-ключевики. Я не люблю этот способ ещё и потому, что в нём всё автоматизировано и на ход теста нельзя повлиять.

Единственный параметр оценки Яндекса — CTR. В скором времени показываться будет только одно из объявлений. С помощью групп я тестирую только картинку в РСЯ и призывы к действию — элементы, которые влияют, как правило, только на CTR.

 

  1. Запуск двух кампаний одновременно чем-то похож на тесты с помощью групп объявлений: мы делаем две копии кампании (с одним-единственным отличием) и запускаем обе. Яндекс показывает их по очереди, постепенно оставляя лучшие объявления. Этот метод включает в себя все недостатки групп и имеет ещё один, гораздо более существенный: в одной кампании уже есть накопленный CTR, вторая — абсолютно новая, и в ней считается прогнозный. Поэтому объявления будут показываться на разных позициях и преимущество будет у первой кампании: вторая будет видна гораздо реже.

Тестируя объявления по очереди, мы избегаем всех этих недостатков. Всё тестируется в одной кампании, поэтому CTR одинаковый. На тест каждого варианта выделяется семь дней. Практика показывает, что в один и тот же день недели люди ведут себя схожим образом. Главное, не тестировать на стыке сезонов и в праздники. Тест идёт сразу по всем ключевикам, в том числе по низкочастотным. Для одной группы ключевиков текст объявления срабатывает, как правило, один и тот же.

Тестировать только по ВЧ не очень хорошо: тест затянется. Ведь основную массу переходов мы получаем именно с НЧ. А подводить итоги одного теста можно минимум по 300 кликам. Поэтому этот вариант я считаю оптимальным.

Технически это делается очень просто: выгружается кампания, в ней меняется один элемент, загружается обратно. Все данные до теста лучше куда-нибудь записать. Через неделю новые показатели анализируются и сравниваются с предыдущими. После этого выбирается лучший вариант и проводится следующий тест.

Однако и в этом случае есть свои недостатки, причём существенные: зачастую одна неделя может существенно отличаться от другой. Особенно это касается рынка B2C, так как там большое влияние имеют дни зарплат. В этом случае остаётся следующий метод — «шахматки».

Это не самый мой любимый метод, но в подобных случаях альтернативы ему на данный момент не существует. Понять, насколько сильно отличается одна неделя от другой, очень просто. Для этого нужно накопить статистику хотя бы за месяц и посмотреть, велики ли скачки. Если важные показатели каждую неделю «скачут» более чем на 10% относительно среднего показателя, то тест по неделям теряет всякий смысл. Невозможно будет оценить, вызвано изменение тестом или очередным скачком.

Метод «шахматки» подразумевает создание двух новых кампаний, показы в которых чередуются по часам (0–1 час — первая кампания, 1–2 часа — вторая кампания и т. д.). Тестировать необходимо так же одну неделю. Безусловный плюс этого метода — равномерный показ объявлений при одинаковых внешних условиях. Однако и минусы у него не самые приятные. Во-первых, тестируя таким образом, приходится каждый раз создавать новые кампании — в противном случае из-за различного накопленного CTR они будут в неравных условиях, и результат может оказаться обманчивым. А если каждая кампания получает хотя бы 70–100 кликов в день, то реальный CTR начнёт оказывать своё влияние уже к концу тестируемой недели. Во-вторых, любая кампания, запущенная с нуля, имеет время так называемого «расклика».

Первые дни Яндекс как будто не доверяет новым объявлениям и начинает их очень аккуратно, постепенно «внедрять» в аукцион. Требуется некоторое время, чтобы объявления раскочегарились на полную мощность и наравне с остальными рекламодателями участвовали в аукционе. Порой в особо конкурентных нишах «расклик» занимает как раз около недели. Из-за этого приходится или выставлять завышенные ставки, или терять значительную часть показов (до половины). Третья проблема — невозможность набрать действующий CTR и снизить цену клика, если проводить один тест за другим (а ведение кампании подразумевает постоянное тестирование). Приходится каждый раз создавать две новые кампании, которые вынуждены заново набирать CTR. А как показывает практика, прогнозный CTR обычно ниже, чем реальный. Поэтому цена клика по ходу ведения кампании не снижается, как это обычно происходит (нередко за счёт хорошего CTR удаётся снизить расходы в 2–3 раза). А кому хочется переплачивать?

Поэтому данный метод хорош для разовых глобальных тестов в том случае, если поочерёдные недельные тесты невозможны из-за скачков. Но его постоянное использование приводит к значительной переплате и потере показов.

Настроить «шахматки» очень просто. Кампания выгружается из интерфейса дважды (создаём два дубля). В одном варианте больше ничего не меняем, во втором вносим те изменения, которые необходимо протестировать. Обязательно меняем UTM-метки, чтобы в метрике легко различить оба варианта между собой. Выгружаем обе кампании в интерфейс, как новые, и заново выставляем все параметры. С помощью временного таргетинга настраиваем чередование, как показано на скриншоте ниже. Важно удостовериться, что случайно не выставлено одно и то же время. Выстави время начала и окончания кампаний таким образом, чтобы они автоматически включились в понедельник ночью и отключились в воскресенье вечером. Основную кампанию, копия которой тестируется, также надо вспомнить вовремя остановить и настроить время запуска. Кроме того, назови кампании так, чтобы четко понимать, что именно в них проходит тест. (Например, «Шахматки/поиск/горячая/светодиоды/вариант 2»).

Этим методом можно тестировать и отдельные объявления — не обязательно целую кампанию.

 

 

Уточнение. Речь идет об А/Б-тестировании уже тогда, когда кампания стабильно работает. Если же заявок мало, улетает бюджет и вообще непонятно, что происходит, клиент нервничает – в этой ситуации можно тестировать даже по дням, в быстром темпе, по 150–300 кликов на 1 тест. Здесь цель теста не постепенное увеличение показателей, а исправление ситуации хоть как-то. Только в этом случае важно особенно глубоко копаться вметрике, изучать поведение пользователей на сайте и тщательно всё анализировать – каждый тест должен быть максимально взвешен и выверен.

Порядок тестирования важен!

В первую очередь тестируем заголовки, тексты, УТП, формулировки УТП, быстрые ссылки,картинки в РСЯ, стратегии показов, ставки.

Во вторую очередь – элементы виртуальной визитки, призыв к действию, отдельные слова в тексте, фавикон, домен, украшения (смайлик, восклицательный знак и т. д.)

Кроме того, не стоит зацикливаться только на рекламе. Обязательно тестировать сайт! Иногда замена заголовка повышает конверсию в 2 раза! А ещё картинки, фон, форма, цвет кнопки, расположение блоков, тексты, шрифты, значки, видео, карта...

 

4 главные ошибки при тестировании (речь не только о Директе)

 1. Качество теста.

Например, ты решил протестировать одностраничный сайт вместо большого. Конверсия упала. И логичная реакция: «у меня лендинги не работают»! Хотя, возможно, там кривая верстка, режущий глаза дизайн, сделан по шаблону, не проработана ЦА, нет логики в расположении блоков, заголовок не цепляет и т. д. И всё это можно тестировать – тест внутри теста! Можно пустить часть трафика на этот лендинг и постепенно его тестировать, при этом получая основные заказы с сайта.

 

2. Тестирование без предварительной аналитики.

Есть такой анекдот. Мужик говорит: «В этот Новый год не буду есть мандарины. Пора уже выяснить, из-за чего мне всегда так плохо 1 января».

Не надо менять что-то от балды! Проанализируй вебвизор, показатели, конкурентов, выяви слабые стороны, и там уже проводи тест. Какой смысл тестировать фавикон, когда у тебя доставка на следующий день, а у конкурентов – сегодня!

3. Тест «на глаз».

А как понять результат теста? Многие делают это на глаз. «Вроде заказов больше не стало». Это в корне неверный подход. Следует замерять все возможные показатели: CTR, конверсия сайта,конверсия отдела продаж (может, заявок стало больше, но их качество упало),время на сайте,глубина просмотра, показатель отказов. Изучи все показатели по отдельности и в комплексе, и только после этого оставь лучший вариант.

4. Не в то время.

Как ты думаешь, 16 августа и 1 сентября, 29 декабря и 12 января поведение потребителей будет одинаковым? Потребности и боли те же? Денег в кармане всегда одинаковое количество? Разумеется, какие-то колебания происходят постоянно. Дни выдачи зарплат, колебания курса доллара, погода на улице, программы на ТВ и прочее всегда будут добавлять свою погрешность. Если обращать на это внимание, особенно на первых этапах, – мы никогда не сможем ничего протестировать. Но есть время, когда тесты проводить категорически не рекомендую, т. к. погрешность будет очень большая. Это стыки сезонов, времен года, государственных праздников. Кроме того, может быть большая активность в нише во время событий, из-за которых спрос может резко изменяться (проведение крупных фестивалей, чемпионаты, выборы, митинги, войны, падение метеоритов и т. д.). Всегда стоит это учитывать.

Пример в моей теме. Есть один крупный бизнес-тренинг, который проходит несколько раз в год. Там в один из выходных дают задание – настроить Яндекс.Директ. В течение недели спрос очень большой, много посещений сайта и группы, заявок. Но при этом качество заявок такое, что приходится всем отказывать (настройте за 2 дня 5000 объявлений за 500 рублей). Зато многие из них становятся хорошими клиентами через 3–12 месяцев после этого.

Думаю, я привел достаточно примеров и разобрал все основные ситуации. Остается только применить это на практике. Иногда бывает лень это делать, но подумай о том, что комплекс А/Б-тестов в течение года увеличивает ROI с рекламы в среднем в 1,5–3 раза. Если это недостаточная мотивация, то скажу ещё, что в Директе это самое интересное – голова работает на полную!

Подробнее об А/Б тестах читайте в книге и смотрите в вебинаре по ведению кампании.

 

Хотите еще больше полезных материалов? Ознакомтесь с моими мини-курсами>>

Появились какие-либо мысли по ходу чтения? Поделись ими в комментариях ниже! Это может быть отзывом, критикой, вопросом, уточнением, примером, несогласием, указанием на ошибку, благодарностью и т.д. Авторы самых интересных комментариев будут приглашены на бесплатную Skype-консультацию со мной.

Статья оказалась полезной? Нажми на кнопку репоста в социальные сети, чтобы сохранить!


© - Все права защищены. Полное или частичное копирование материалов запрещено. При согласованном использовании материалов необходима ссылка на ресурс.

Если информация была для вас полезной, и вы хотите поблагодарить автора, отправьте любую сумму на наш кошелек. Все деньги уйдут только на продвижение блога. В благодарность пришлем закрытый полезный для работы чек-лист.