Нам пишет Алексей Волков.
Этим летом нам на глаза попалась статья «Как проводить A/B тестирование для описания приложений в AppStore и Google Play». Увеличение числа установок приложения после микро-теста впечатлило и мы провели свое тестирование на нашей игре «Слово за слово – игра с друзьями».
А/В тестирование состояло из 4 шагов:
- Подготовка материалов;
- Создание лендингов;
- Организация трафика на лендинги;
- Анализ результата.
Мы подготовили по 4 варианта иконки, описания и скриншотов, а затем приступили к созданию лендингов.
Всего было сделано 12 страниц, которые имитировали страницу в AppStore. К кнопке «скачать» прикрутили счетчик, который отслеживал количество кликов.
Пример лендинга.
После подготовки лендингов мы начали нагонять на них трафик из Google AdWords. Создав 12 кампаний, объявления и ключевые слова, со вздохом облегчения отправили их на модерацию.
Но на следующий день все 12 страниц отвергли, с пометкой «добавьте индивидуальности».
Пример скорректированного лендинга:
После сбора статистики, мы получили следующие результаты (кол-во трафика на каждом из лендингов – 1000 пользователей):
Иконка:
№ 1 – 29 переходов – 3 место;
№ 2 – 47 переходов – 1 место;
№ 3 – 42 перехода – 2 место;
№ 4 – 25 переходов – 4 место.
Описание:
№ 1 – 16 переходов – 4 место;
№ 2 – 44 переходов – 3 место;
№ 3 – 46 перехода – 2 место;
№ 4 – 48 переходов – 1 место.
Скриншоты:
№ 1 – 19 переходов – 3 место;
№ 2 – 17 переходов – 4 место;
№ 3 – 22 перехода – 2 место;
№ 4 – 43 перехода – 1 место.
И показатели становились хуже! Конечно, мы вернулись к прежнему варианту N1.
Было принято решение выкатить новый билд, поменяв в нем «имидж»: использовать наиболее выигрышные по итогам тестирования иконку, описание и скриншоты.
Понедельник день тяжелый, но может быть ещё тяжелее. До внесения изменений игра занимала следующие позиции:
RU-Overall – 119 место;
RU-Games — 43;
RU-Puzzle- 10;
RU-Word — 1.
После внесения изменений:
RU-Overall – 530 место;
RU-Games — 153;
RU-Puzzle- 41;
RU-Word — 5.
И показатели становились хуже! Конечно, мы вернулись к прежнему варианту.
Результат тестирования оказался для нас неожиданным, а последствия – шокирующими. Но негативный опыт – тоже опыт. В процессе анализа проведенного тестирования мы сделали вывод, что аудитория рекламной сети Google AdWords отличается от нашей целевой аудитории в AppStore, в отличии от приложения автора статьи, на которую мы опирались.
iPhone + iPad: Freemium [Скачать в App Store]
6 комментариев
Форум →Вывод, то неправильный.
После апдейта вы потеряли отзывы и рейтинг, стали хуже биться по ключевикам – как результат упали вниз.
@Drag, у нас апдейты происходят раз в две недели и мы ни разу не падали так стремительно вниз. А по ключевикам мы как бились до этого апдейта, так и после него бились – ничего не изменилось.
@alevolk, тогда и правда очень странно.
отзывы на последнюю версию в сторе очень противоречивые, может это плияло?
После того как вернули скриншоты и описание, резко скакнули вверх и вернулись на свою позицию?
@alevolk, По графику в AppAnnie видно что апдейт был в начале выпадения из топа, отсуствие отзывов ускорило его. Но вообще из топа часто быстро вылетаешь, ведь чем ниже позиция, тем меньше органики, и получается замкнутый круг. Последний ваш апдейт от 19 сентября, еще ниже опустил вас в рейтинге с 400 на 918, хотя в нем вы были с проверенным временем скринами. Так что не думаю что есть какая-та связь.
@Drag, Это падение было связано с техническими проблемами, которые мы почти решили. А после того апдейта как мы вернули иконку, мы опять вернулись на топ-1 в словесных.
Вцелом, за статью и опыт спасибо! Хотел бы обратить внимание на пару моментов.
Данный результат A/B тестирования с 1000 посетителями и 47 кликами – это не результат. Разница между вашим 1-м и 4-м местом в результатах в 30 кликов – это все в пределах погрешности, поэтому серьезно рассматривать его не стоит. А тем более – делать какие-то выводы.
И совет автору о статье – когда представляете нам результаты – сортируйте участников по занятым местам, иначе трудно понять кто из них занял какое место – у вас смешаны результаты, места и ваши номера участников.
Нашли орфографическую ошибку в новости?
Выделите ее мышью и нажмите Ctrl+Enter.Как отключить голосовые вызовы по 2G на iPhone?
Почему не получается установить macOS Mojave 10.14 на Mac
Как сохранить оригиналы фото из iCloud?
Есть ли история расчетов в калькуляторе на Mac
Почему iPhone не отображается в списке доступных устройств для AirDrop
Почему iPhone перестал создавать коллажи, подборки фото и воспоминания
Настраиваем автозамену текста в определенном приложении на iPhone или iPad
Как импортировать контакты с SIM-карты на iPhone