A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий. A/B-тестирование (сплит-тест) отличается от предыдущих методов тем, что проводится сравнение двух вариантов друг с другом, чтобы понять, какой из них даст большее приближение к ожидаемому результату. В процессе A/B-тестирования может использоваться любой из вышеописанных методов. Важным для А/В-тестирования является правильно определить, какие именно показатели надо изменять для улучшения ожидаемого результата.
Единственный метод выяснить, что же как раз уводит визитёров со страницы — совершить тест. Чем больше вариантов, тем выше риск случайных кликов. MVT test проверяет несколько разных вариантов переменных одновременно и их взаимодействие. A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией. «Самая громадная неточность — в незнании, чего ожидать от MVT.
Тестирование бумажного прототипа
Это математическая модель, и ее программное воплощение, выстроенные по принципу функционирования и организации биологических нейронных сетей — сетей нервных клеток живого организма. Опасность многовариантных тестов содержится в том, что вы обычно пропускаете шаги 3, 4 и 7. По сути, вы не проводите всестороннего изучения неприятности, не разрабатываете обоснованные догадки, а просто бросаете итоги мозгового штурма в «блендер», включаете его и ожидаете, что же случится.
Лучший UX означает более низкий показатель отказов, что, в свою очередь, приводит к большему количеству просмотров страниц, увеличению времени, проведенному на сайте, и в конечном итоге, росту прибыли. По полнофакторному методу каждый фактор имеет только два варианта (обозначим +1 и -1). Например, для фактора A кнопка CTA жёлтая — +1, а оранжевая будет -1. Недавно мы тестировали один элемент на лендинге и закончили тест раньше.
Отладка механизмов сплит-тестирования — путь к высокой конверсии
Сплит тестирование (иногда его называют многостраничным тестированием) в целом похоже на A/B тестирование, но позволяет проводить эксперименты с использованием отдельного URL для каждой вариации. Другими словами, сплит тестирование можно провести между двумя существующими URL-адресами, что особенно полезно, если у вас динамический контент. Одновременно с этим вы имеете возможность тестировать только выбранный комплект элементов. Мультивариантное тестирование требует времени, но оптимизация иногда не терпит стремительных и необоснованных ответов. Крис Говард (Chris Goward) из WiderFunnel согласится, что компания проводит один мультивариантный тест на 10 сплит-тестирований.
- В варианте с BDD — в начале мы описываем поведение и спецификации, которые затем управляют нашей разработкой программного обеспечения.
- Так, сплит-тесты применяют силу громадных трансформаций, а не узких, чуть уловимых корректив, наподобие настройки оттенков цвета либо формулирования заголовков, как это часто бывает в MVT.
- Крис Говард (Chris Goward) из WiderFunnel согласится, что компания проводит один мультивариантный тест на 10 сплит-тестирований.
- Как было сказано выше, пока у вас нет огромных объемов трафика, даже задумываться о мультивариантных тестах преждевременно.
- Мультивариативное тестирование помогает лишь улучшать необходимые элементы, поэтому обычно используется не в качестве самостоятельного инструмента, а как дополнение к сплит-тестам.
Это связано с тем, что в большинстве проектов все еще сложно автоматизировать что то, что еще не было разработано. Обобщая оба упомянутых выше подхода, можно сделать вывод, что нет особой разницы и что автоматизацию тестов мы можем использовать в любом из вариантов. Ни один mvt тестирование из этих подходов не может считаться хорошим или плохим и выбор в первую очередь зависит от проекта т.е. Каждый конкретный случай следует рассматривать отдельно. Слабое мутационное тестирование (или слабое мутационное покрытие) требует выполнение только первых двух условий.
MVT и A/B тестирование
Например, используйте А/В тесты, чтобы выявить лучшие элементы страниц, а потом с помощью MVT полируйте окончательные варианты страницы. Как было сказано выше, пока у вас нет огромных объемов трафика, даже задумываться о мультивариантных тестах преждевременно. Посредством сплит-тестов проверьте основные элементы, такие как акцент на ценностном предложении, макет страницы (баланс текста и изображения), длина строк текста, общее восприятие и визуальная привлекательность страницы.
Первоначально он использовался в обрабатывающей промышленности, где были сделаны определенные допущения, чтобы уменьшить число комбинаций, необходимых для тестирования QA (обеспечение качества) и прочих экспериментов. Эти предположения неприменимы к онлайн-тестам, так что вам не стоит задумываться о методе Тагучи. «Другой подход к сокращению потребности в посетителях при мультивариантном тесте — исследовать меньше взаимодействий (например, только двухсторонние взаимодействия). В этом помогут такие методы, как дробный факторный эксперимент. Вы можете довольно существенно снизить необходимость в посетителях, если используете дробный факторный подход вместо полнофакторного, но так вы увидите только часть общей интеракционной картины. Процесс усложняется довольно быстро, если вы изучаете различные методы проектирования.
Как повысить конверсию Landing Page с помощью пользовательского тестирования?
В приведенном выше примере все восемь вариаций так же, как и прежде имеют суть в любом из вероятных сочетаний. Но при добавлении некоторых вариаций вы рискуете взять какой-то совсем сумасшедший коктейль. Казалось бы, все ходы и эти запросы очень обоснованы для вебмагазинов, но время от времени они смогут трудиться против вас.
При этом вы перебираете комбинации элементов, однако дизайн страницы остается неизменным. Для тестирования дизайна целиком следует применять A/B- или A/B/n-тесты. Мультивариативное тестирование помогает лишь улучшать необходимые элементы, поэтому обычно используется не в качестве самостоятельного инструмента, а как дополнение к сплит-тестам. Чтобы оценить эффективность веб-страниц, понять, какой заголовок лучше зацепит клиента, где разместить форму подписки или какой СТА повысит конверсию, маркетологи прибегают к тестированию. Для проверки простых гипотез отлично подходят тесты A/B и A/B/n, но, если нужно протестировать много разных вариантов, прибегают к мультивариантному тестированию (MVT).
Обзор мутационного тестирования[править править код]
В таких случаях лучше проводить сплит-тест, чтобы контролировать комбинации. «Мультивариантное тестирование требует намного больше инвестиций в технологии, дизайн, настройки, анализ данных. Помимо этого, полнофакторный MVT-тест заберет огромную часть вашего трафика (кроме того в случае если его количество внушителен и без того).
Кроме того, статистическая значимость измеряется количеством успешных (т.е. завершенных) операций/заказов/сделок. Например, компания MXToolbox предлагает бесплатные инструменты для менеджеров и многое другое. На их сайте также представлены платные тарифные планы с расширенными функциями. Многовариантный тест предполагает проверку всех возможных комбинаций и вариантов с учетом одной или нескольких переменных.