Каждый веб-сайт требует постоянного улучшения, чтобы оставаться конкурентоспособным. A/B-тестирование — это простой и эффективный метод внесения изменений, которые приведут к увеличению конверсии, благодаря которому можно оптимизировать работу сайта и увеличивать доходы от своей коммерческой деятельности.

История A/B-тестов

Трудно сказать, когда были разработаны A/B-тесты. Однако известно, что такой экспериментальный алгоритм был использован еще в 1908 году Уильямом Госсетом. В Интернет-версии, с которой сегодня ассоциируются эти тесты, они впервые появляются в 2000 году.

В 2000 году инженеры Google провели A/B-тест, чтобы выяснить, сколько результатов должно появиться на первой странице их поисковой системы. Однако тесты оказались совершенно неудачными из-за медленной загрузки страницы.

В настоящее время это наиболее распространенный способ тестирования порталов и внесения в них изменений. Это связано с простотой проведения данного вида испытаний.

Что такое A/B-тестирование?

При A/B-тестах готовятся две версии сайта, которые отличаются одним исследуемым параметром. Для каждого из них нацелено одинаковое количество пользователей, а затем сравнивается уровень конверсии (или другой надежный показатель), достигнутый до и после изменения.

Пример: владелец веб-сайта хотел знать, увеличит ли объем продаж увеличение кнопки «купить сейчас». Поэтому он сделал вторую подстраницу, где иконка кнопки была увеличена. Затем он перенаправил половину своих клиентов на новую версию портала. Через некоторое время он заметил, что клиенты, использующие веб-сайт с большой кнопкой, на 3% чаще покупают предлагаемые товары. Исходя из этого, он решил заменить кнопку на всех подстраницах своего магазина, и его выручка увеличилась по результатам теста.

Идея A/B-теста основана на простом сравнении двух вариантов и выборе лучшего. Это предельно простой подход, но результаты таких тестов позволяют реально повлиять на уровень конверсии и, как следствие, на доходы.

Есть несколько основных причин, по которым A/B-тестирование так популярно:

• прежде всего, их очень легко проводить, что снижает стоимость анализа,
• их результаты позволяют быстро внедрять новые решения,
• они позволяют непрерывно улучшать веб-сайты, внося дальнейшие исправления и тестируя их,
• хотя они чаще всего используются для разработки порталов, их также можно использовать для изучения содержания электронных писем, уведомлений или рекламных объявлений.

В период с 2000 по 2010 год Google провел около 7000 различных A/B-тестов. На них одновременно полагаются более 44% интернет-компаний.

Как провести A/B-тест?

В зависимости от цели и метода выполнения различают онлайн-тесты (изменение веб-сайтов) и автономные тесты (содержимое электронной почты, публикация, уведомления). В обоих случаях процедура проверки аналогична.

Анализ сайта

Вначале стоит поставить конкретную цель и меру. Это может быть количество транзакций, охват или вовлеченность пользователей портала, измеряемые количеством комментариев. Исходя из выбранной цели, нужно выбрать подстраницы, которые лучше всего подходят для такого теста. Далее надо определить, какие элементы нужно изменить.

Во время анализа необходимо выбрать параметр, который позволит сравнить два решения. Это не может быть основано на субъективном суждении, но на измеримом статистическом индикаторе.

Идеи и гипотезы

Мозговой штурм для создания гипотез и идей для изменений — самая творческая часть процесса тестирования. Это требует непредвзятого подхода и опыта и может вызвать некоторые проблемы у новичков. Однако каждый выполненный A/B-тест позволяет лучше находить самые слабые элементы страницы.

Прототипирование

Часто возникает множество идей, и сложно решить, какая из них будет лучшей. Поэтому стоит подходить к нему системно и вместе определиться с порядком изменений от наиболее многообещающего к наиболее слабому.

Контрольная работа

Можно создать новую версию подстраницы. При этом необходимо рассчитать, насколько большим должен быть размер выборки для оценки результатов.

Результаты

Окончание A/B-тестирования не означает окончания работы над изменениями. Результат позволил оценить одно изменение. Исходя из этого, можно определить, что еще нужно улучшить. Некоторые исследования дают неубедительные результаты, поэтому нужно искать другие элементы, влияющие на уровень конверсии. Также полезно полностью проанализировать статистику после внесения изменений.

Наиболее частые ошибки при проведении A/B-тестов

Многие владельцы сайтов допускают крупные и мелкие ошибки при проведении A/B-тестирования. Ниже приведен список наиболее распространенных из них.

1. Тестирование неподходящих подстраниц. Стоит подумать, какие подстраницы реально влияют на продажи или генерацию трафика.
2. Недостаточная выборка пользователей. Слишком мало перенаправленных посетителей может дать ложные результаты, что приведет к неправильным решениям.
3. Копирование идей конкурентов. Это хорошее вдохновение, но если полагаться только на сайты других магазинов, то невозможно получить над ними преимущества.
4. Редкое тестирование портала. A/B-тесты должны выполняться почти непрерывно. Это способ улучшить сайт небольшими шагами. Эффективные результаты достигаются только при длительной работе над тестами.
5. Слишком большие изменения. Следует различать дизайн и разработку. В последнем случае изменения должны быть небольшими, доведенными до мельчайших деталей. Слишком частые и крупные изменения могут сбить с толку клиентов.
6. Полагаться на интуицию и предположения. Процесс построения гипотез является творческой частью тестирования, но к нему следует относиться серьезно и уделять больше времени.
7. Нет анализа предыдущих результатов. Необходимо знать, почему предыдущие тесты были успешными или неудачными. Это упростит создание новых гипотез и внедрение новых идей.
8. Оценка только одного показателя. Выбор правильного индикатора позволяет быстро оценить, дает ли изменение желаемый результат, а анализ оставшихся параметров полезен при разработке новых гипотез. Поэтому следует анализировать всю статистику и строить на ее основе последующие A/B-тесты.
9. Ожидания завышены. Лучшие A/B-тесты редко повышают уровень конверсии на несколько десятков процентов. Улучшение довольно небольшое, но именно оно позволяет непрерывно развиваться и достигать конечных результатов.
10. Слишком быстрое завершение тестов. Многим интересно заранее увидеть результаты. Когда разница между двумя версиями страницы велика, часто возникает соблазн закончить тест раньше. Однако это может привести к принятию неверных решений.

A/B-тесты и многомерные изменения

Многие также пытаются изменить сразу слишком много параметров. A/B-тесты используются только для сравнения одного небольшого изменения. В противном случае результаты тестов будут совершенно бесполезны в долгосрочной перспективе, так как невозможно судить, что привело к увеличению коэффициента конверсии. Только постепенная проверка различных решений позволяет полностью понять изменения и их влияние на поведение клиентов.

Есть возможность создать A/B-тест на несколько смен. Однако количество создаваемых подстраниц очень быстро растет. Например, если нужно одновременно проверить размер и цвет кнопки «Купить сейчас», надо создать до четырех подстраниц:

• большая красная кнопка;
• большая черная кнопка;
• маленькая красная кнопка;
• маленькая черная кнопка.

Конечный результат будет аналогичен выполнению двух отдельных A/B-тестов — одного для размера кнопки, а другого для ее цвета.