Посмотрите на интересный график авторства неких Nielsen, Jakob, and Landauer, Thomas K. Он из книжки "A mathematical model of the finding of usability problems", которую весной 1993 года составили из материалов математической же конференции. Этот график и прилагаемые к нему исследования убедительно доказывают, что наилучшие результаты от тестирования юзабилити чего бы то ни было (в самом широком смысле этого слова) получаются от не более чем 5 пользователей.
Как это выяснили:
Для начала была получена формула, описывающая количество проблем с юзабилити, найденных в тестировании с n-пользователей. Которая есть на источнике. Здесь я ее не привожу, чтобы математика не стала страшной. Самое важное в ней - типичный процент проблем, обнаруживаемых одним пользователем. Из экспериментальных данных он равен 31%. Построение кривой для L = 31% дает следующий результат на обещанном графике.
Что это значит:
- Наиболее яркой истиной графика является то, что ноль пользователей дает ноль информации.
- Как только вы получаете обратную связь от одного единственного тестировщика, вы уже узнали почти треть всего, что нужно знать о пригодности конструкции. Разность между нулем и даже немногими данными поразительна.
- После второго вы видите, что этот человек делает некоторое из того, что уже делал первый. Но люди разные и кое что новое в его данных уже будет. И так пока вы не получите данные от пяти человек.
- По мере того, как вы будете получать данные от все большего количества тестировщиков, вы узнаете все меньше и меньше нового. После пятого пользователя, вы просто тратите свое время, наблюдая одни и те же результаты.
Что стоит знать маркетологу:
Это значит, что для проверки гипотезы вам надо всего лишь пять покупателей. Пять покупателей, прошедших через тестируемую вами воронку. Не пять покупателей, которые "пришли сами", не пять покупателей из числа ваших друзей или знакомых. Вам нужны пять совершенно незнакомых вам людей, которые узнали о вас из рекламы/обзвона, прошли через все последующие этапы воронки и купили.
Не мало ли?
Давайте посчитаем на примере простейшей интернет-воронки: реклама в ФБ -> заход на сайт -> покупка. Предположим, что конверсия из показа рекламы в посетителя – 1%, конверсия из посетителя в покупателя – 1%. 5 покупателей = 500 посетителей = 50 тысяч охвата рекламы. Другими словами, мы делаем вывод о работоспособности гипотезы не на основе 5 покупателей, а на основе 50 тысяч человек, которым мы сделали предложение. Это уже выглядит более убедительно.
При стоимости клика в 10 рублей, размер рекламного бюджета на тестирование гипотезы – всего 5000 рублей. Это, пожалуй, самый убедительный вывод из описанного факта.
Journal information