Полный текст доклада "Hall test, home test. Практика проведения"
|
|
|
Шмакова Ирина. Постараюсь максимально осветить практически стороны проведения тестирования продуктов. Хочу поблагодарить коллег, которые, зная о теме готовящегося выступления, смогли поделится своими наблюдениями по практике проведения таких исследований.
Идут активные дискуссии о том, к какой группе методов относится тестирование продуктов. С моей точки зрения, это некий симбиоз количественных и качественных методов, что очень удобно, поскольку позволяет получать как качественную информацию, так и некие количественные показатели. В своей основе любое тестирование продуктов имеет то же допущение, что и другие качественные методы (например, фокус группы), то есть то, что размах вариаций психологического восприятия существенно меньше, чем размах вариаций покупательского поведения. Таким образом, даже на небольших выборках мы можем, по крайней мере, понять особенности покупательского поведения.
Асхат Хасянович в конце своего выступления затронул тему о том, чем отличаются Home тест и Hall тест, я бы хотела немного дополнить его таблицу.
Безусловно, Hall тест - это быстрее и дешевле. Hall тест позволяет нам контролировать выполнение методики. Hall тест позволяет заказчику наблюдать процесс исследования. На Hall тесте позволяется применять более сложную методику, в том числе тестирование рекламы и воспроизведение ситуации покупки. На Hall тестах можно тестировать крупногабаритные образцы. Почему же такой замечательный способ не использовать для всех товаров? По многим причинам.
Home тест может заменить НALL тест, когда:
Первое: представители целевой аудитории вообще по улицам не ходят, либо очень редки, при этом места их тусовок для вас неизвестны. Предположим, инвалиды, любители вязать, выпиливать лобзикам и так далее. Это труднодостижимая аудитория для Hall теста.
Второе: Вам жизненно необходимо соблюсти репрезентативность и, Вы сомневаетесь, что именно те, кто гуляет днем по центральным улицам составляют Вашу целевую аудиторию. При этом использовать телефонный рекрут Вы по бюджету не можете. Здесь опять Вам на помощь приходит Home тест.
Третье. Если необходимо сравнить с продуктом, которым потребитель обычно пользуется.
Четвертое. Асхат Хасянович уже говорил, что важно использование продукта в реальной обстановке. То есть, когда необходимо получить данные от потребителя об общем впечатлении от использования товара в естественных условиях. Пример, насколько удобно упаковка нового продукта помещается в стандартный холодильник средней семьи.
Пятое. Hall тест используется, когда оценка товара предполагает длительной срок его потребления. Например, соусы, средства для мытья посуды и так далее.
Шестое. Hall тест используется, когда применение товара прилюдно невозможно по этическим соображениям (например, средства личной гигиены, туалетная бумага).
И, наконец, когда очень хочется совместить преимущество Monadic теста и сравнения продуктов.
Объем выборки.
Какова выборка в Home тестах и в Hall тестах? Это зависит от многих факторов:
Чем больше образцов Вы тестируете, тем больше выборка. Один из важнейших показателей – пробуют первыми. По разным оценкам, таких должно быть не менее 150 – 300 человек. Де-факто получила распространение выборка, где группа первой пробы одного продукта составляет 50 человек.
Чем меньше разница между образцами, которые Вы тестируете, тем большее количество человек должно быть в каждой группе, для того, что бы Вы могли уловить даже самые мелкие различия. Как правило, задачи у Hall тестов и Home тестов не репрезентативное представление Вашей аудитории, а именно сравнение между собой отношения к продукту разных групп. Поэтому группа отбирается так, чтобы обеспечить сравнимость результатов не только в процентах, но и в количественном виде. Грубо говоря, количество мужчин и женщин, количество молодых и людей более старшего возраста, разбивать примерно поровну.
При Home тестах количество визитов к каждому человеку, который оценивает продукты, несколько - минимум три. Сначала Вы оставляете продукт для тестирования, потом Вы приходите к нему, оцениваете этот продукт, оставляете другой и в конце снова сравниваете. Таким образом, при каждом визите вероятность того, что Вам не откроют дверь, увеличивается. Вам нужно быть готовым к тому, что количество респондентов с каждым посещением будет уменьшаться. Поэтому при Home тестах выборку нужно закладывать, как минимум с 20% запасом.
Hall тесты. Место проведения Hall тестов и ситуация в Москве.
Выбор места для проведения Hall тестов ограничено несколькими параметрами. Первое, это необходимая величина потока. Понятно, что, если по улице проходит 30-50 человек в день, то в обозримые сроки Hall тест Вам не сделать.
Второе. Место опроса также влияет очень сильно. Глупо на центральных улицах тестировать, например, пиво для низкоценовой категории. Или, около учебного заведения тестировать косметику для пожилых женщин.
Третье. Необходимость ротации помещения. Для того чтобы Ваш Hall тест дал нормальные результаты, нельзя его проводить в одном помещении. Желательно задействовать несколько точек и время от времени их менять. К сожалению, ситуация с этим в Москве не очень хорошая. Сейчас точки довольно изъезжены. Всеми и постоянно используются помещения на Никольской, Тверской, Преображенской, а также помещения самих исследовательских организаций. Некоторые исследователи сами отыскивают новые точки, и затем тщательно их скрывают от других компаний.
Четвертое. Стоимость. Помещение, в зависимости от Вашего бюджета, выбирается на окраине или в центре города. Разница обычно в два раза. Если помещение в центре стоит порядка 110 долларов, то помещение на окраине 50-60 долларов.
Пятое. Соответствие помещения методике. Не всегда достаточно просто одного зала, важна возможность отделять разные части для проведения разных частей интервью, наличие подсобного помещения для технической работы и хранения материалов Если Вам нужно проводить двойной рекрутмент, если Вам нужно скрыть продукт тестирования, то надо иметь еще какие-то помещения.
Шестое. Отсутствие отвлекающих факторов для респондента. Если у Вас тест проводится в магазине, то не должно быть каких-то отвлекающих запахов, звуков и так далее. Если Hall тест проводится в любом месте, то Ваша обстановка должна быть устроена таким образом, чтобы было удобно проводить интервью: идеальный вариант, когда респондент не видит и не слышит никого, кроме интервьюера. Иди хотя бы имеет возможность свободно говорить и при этом не слышать мнение других.
И наконец,
организация места опроса. Должно быть техническое помещение, для хранения материалов и образцов, с которыми Вы в данный момент не работаете.
Кому проводить Hall тест?
Не все заказчики знают, что рекрутер и интервьюер обычно разные люди. Но практикуется и совмещение. Разделение объясняется и разными функциями и тем, что требуются разные навыки. Как правило, интервьюер обладает больше квалификацией, более высоко оплачиваемый человек, он должен уметь лучше располагать к себе респондента. Для рекрутера же важно просто пригласить человека в помещение, где дальше с ним будут работать интервьюер.
Обеспечьте ваших рекрутеров бэджиками с названием компании, а еще лучше – с контактными телефонами. Это поможет снизить количество ситуаций, когда и хочется пожаловаться на отвратительный рекрутмент, да непонятно кому. Сами исследовательские компании в этом случае будут больше заинтересованы в поддержании репутации. Кроме этого, наличие таких бэджиков облегчает рекрутмент.
Доведите действия ваших работников практически до автоматизма. Отработайте с рекрутерами различные сценарии разговора. Отработайте с интервьюерами сценарий и последовательность действий в интервью – куда идти, как поворачиваться, какие марки открывать в какой очередности. Хорошо отработанная команда проведения холл-теста напоминает действующий конвейер или модернистский балет, поставленный современным хореографом.
Для Home теста
При Home тесте визуально контролировать интервьюеров некому. Идет самый обычный контроль, такой же, как и при других квартирных посещениях. Мы не можем проверить, как он интервьюирует респондента, насколько он хорошо задает ему вопросы, в той ли последовательности.
Огромным соблазном для интервьюера служит возможность сократить свои трудозатраты, оставив все образцы для тестирования в один раз или же дописать анкету второго/третьего теста аналогично анкете первого.
Поэтому, по возможности контролируйте количество и продолжительность посещения.
В качестве превентивной меры, для того чтобы интервьюеры не несли сразу все образцы - не давайте их все сразу, пусть они лучше еще раз приедут и возьмут второй образец. Потому что, если они оставляют все образцы сразу, то респондент, как правило, не соблюдает последовательность пробы, экспериментирует с упаковкой, со смешиванием. То есть, хороших результатов Вы не получите.
И наконец, общее правило для всех интервьюеров:
Интервьюер должен принадлежать к той же социальной группе, что и опрашиваемый.
Рекрутмент на Hall тесты.
Каким должен быть рекрутмент при Home тестах? К этому моменту заказчиком предъявляется большинство претензий. Он должен быть доступным и легко выполнимым. Не загружайте интервьюера такими вещами, которые он все равно не сможет сделать. Он не сможет определить по внешнему виду, к какому социальному слою относится человек. Давайте интервьюерам небольшое количество критериев. Чем больше количество критериев, чем меньше группа, тем труднее набирать респондентов и, тем чаще рекрутеры начинают врать. Стандартно используется набор пол/возраст/активное потребление.
Давайте мелкие квоты на возраст. Это связано с неравномерным распределением возрастов опрошенных внутри возрастных квот. Например, если возраст от 25-ти до 30-ти лет, то количество 25-ти летних в соотношении с 30-ти летними, как 3:1. То есть, распределение смещается в сторону боле младших возрастов. И так по всем возрастным группам. Поэтому лучше вместо одной квоты 26-45 лет дать четыре более мелких, распределение возрастов в этом случае будет более равномерным.
И наконец, жесткий контроль рекрутмента. Подсылайте таинственных посетителей, которые пытаются проникнуть на Hall тесты, давайте людям диктофоны, для того чтобы они записывали свой процесс рекрутмента. Чем сильнее Ваш контроль, тем более «чистые» респонденты придут к Вам на Hall тест.
Либо вообще откажитесь от рекрутмента на улицах. В каких случаях это возможно?
Это «двойной» рекрутмент. Тогда, когда тот рекрутер, который работает на улице, приводит людей, ориентируясь только на внешние показатели - внешность, возраст, пол. При этом его оплата не зависит от того, сколько потом реально прошло на тест. Дальше, в помещении работает супервайзер, который, собственно, и отбирает нужных людей для проведения исследования. Если нужно он отбирает по более трудным вопросам - частота потребления нужного продукта, социальный статус, уровень дохода. Зарплата супервайзера не в коем случае не должна зависеть от того, какое количество людей приходит, а только от времени, которое он работал. Недостатки: необходимость превышения количества первично зарекрутированных в несколько раз, повышение стоимости опроса и необходимой площади в полтора-два раза. Некоторые исследователи считают, что такой двойной рекрут некорректен по отношению к респондентам – сначала зовут, а потом посылают, кроме этого, это существенное увеличение стоимости опроса в отношении подарков
Или телефонные рекрутмент - это применимо в тех организациях, в которых есть система CATI. Телефонный рекрутмент не очень сильно повышает, где-то раза в два-три, повышает стоимость рекрутмента, но на общую стоимость исследования он сказывается не так сильно, как иногда этого боятся. Также в этом случае повышается стоимость подарков для того, чтобы стимулировать респондентов ехать в место проведения Hall теста. Телефонный рекрутмент позволяет обеспечить очень хорошее качество пришедших на Hall тест.
Тестируемые материалы.
Очень важно, что с чем сравнивать. Когда идет Monadic тест, то понятно, что ни с чем Вы не сравниваете, но Monadic тест у нас не очень любят проводить, а проводят в основном сравнительные тесты. При этом очень часто стоит задача: «Вот наше предприятие разработало три образца продукции - выберите из них лучший». Или, «наше рекламное агентство произвело четыре ролика, какой выбираем. С моей точки зрения мы, конечно, можем сосредоточиться на этой задаче, но при этом очень рискуем, что когда продукт выйдет на рынок и будет сравниваться с тем, что реально находится на рынке - он потерпит крах. Потому что никаких данных о сравнении с тем, что реально находится на рынке, мы не получили. Поэтому, с моей точки зрения, обязательно в перечень тестируемых материалов должен включаться, по крайне мере, основной конкурент.
Оценивайте реально возможности Вашего респондента. Мне рассказали такой случай, когда тестировали слабоалкогольные коктейли в количестве 5-ти штук и, все пять вкусов пробовал один респондент. В данном случае явление влияния порядка, о котором говорил Асхат, было проявлено - просто дальше некуда.
Если у продуктов тестируются вкусы, запахи, то больше двух проб тестировать крайне не желательно. Просто человек дальше перестает различать и воспринимать. Для упаковок допустимо тестировать до 3-х- 4-х образцов, больше респонденту воспринять, достаточно сложно.
Ротация. Казалось бы, совершенно элементарная вещь, но мы сталкиваемся с тем, что про это забывают. Если сравнивается два вкуса, то обязательно половина тестируемых образцов «А» должна пробоваться в первую очередь, так же как половина образцов «В».
Перебивайте вкус. Между пробами продуктов обязательно делайте прослойку нейтральных вкусов. Обычно это питьевая или газированная вода и белый хлеб. Они, достаточно нейтральные по вкусу и, могут каким-то образом сгладить впечатление от продукта.
Количество тестируемых материалов. Обязательно делайте запас. У меня были случаи, когда тестировалось 400 образцов и, ровно 400 образцов нам принес заказчик. В результате мы не добрали выборки, потому что респондент на тестах что-то ломает, пробует много или не распробует и просить «повторить»и так далее.
И наконец, обращайте внимание на качество тестируемого материала, на сроки годности. Сроки годности, как это не смешно говорить, очень часто влияют на результаты тестирования. Мне рассказали случай, когда прислали из-за границы так называемый "живой йогурт", но из-за сложностей на таможне йогурт 1,5 месяца простоял на границе. И это надо было тестировать! Можно легко представить, какой результат получился.
Сравнимость.
При тестировании материалов очень важно обеспечить их сопоставимость. Упаковка должна быть без опознавательных знаков. Должна быть маркирована номерами и не содержать никаких указаний на фирму-производителя, название и т.д. В качестве примера, я принесла средство для мытья посуды и сигареты. Правда, надпись, что «курение опасно для здоровья» все равно сохранена. Для проведения теста либо заранее готовится небольшие обезличенные упаковки, либо закупается партия в местной торговой сети и этикетки отклеиваются/маскируются – в таком случае важна еще и форма самой упаковки. Даже, если Вы заклеили название продукта, совсем не факт, что потребитель не опознает его по упаковки. В мой практике был случай, когда требовалось тестировать зубную пасту, заказчик покупал зубную пасту основного конкурента, выдавливал ее из тюбика и упаковывал в упаковки без опознавательных знаков.
Все тестируемые продукты каждой группы должны изготовлены на одном и том же заводе и быть из одной партии выпуска. Образцы из разных партий могут существенно повлиять на результаты тестирования, так как нас еще нет, по многим продуктам, стабильного качества.
Определенная, одинаковая температура и консистенция, в момент сравнения - тоже очень важная вещь. Не всегда помещение для проведения Hall теста оборудовано холодильником. Даже в 95% случаях не оборудованы. Обычно продукт охлаждают в холодильниках исследовательской организации, а во время проведения теста помещают в тазы с водой, для того чтобы температура оставалась нужной.
И наконец, если Вы тестируете упаковку, то она должна соответствовать по качеству представленной упаковке на рынке. То есть, представьте себе, если Вы делаете имитацию покупки и перед Вами полка, на которой стоит черно-белая упаковка или упаковка, на которой не нанесены стандартные параметры. Наш потребитель, кстати, перед тем, как сделать выбор, любит все потрогать и покрутить в руках. Постарайтесь сделать упаковки максимально похожие на те, которые представлены на рынке. Только в этом случае тестирование покупки может иметь реальные результаты.
И наконец, техническое обеспечение Hall тестов. Это - ширмы, покрывала, которые позволяют раздробить комнату на зоны, закрыть от внимания потребителей те тестируемы продукты, которые пока не нужно видеть. Одноразовая посуда, в количестве на 20% превышающее количество нужное для теста. Тестируемый продукт должен быть в индивидуальной упаковке. Если Вам заказчик доставит упаковку, рассчитанную на большое употребление, то Вам придется перед тестом переложить продукт в индивидуальные упаковки. Потребитель очень плохо реагирует, когда ему пытаются дать попробовать ложечкой из посуды откуда, уже до него, попробовало 50 человек.
Стоимость.
Наконец вопрос, который больше всего интересует заказчика – стоимость. Посмотрим, какие составляющие включены в себестоимость тестов.
Аренда помещения - от 50-ти до 110-ти долларов, в зависимости от местоположения.
Подарки - не очень дорогие, от 3 до 10 долларов. Обычно это то, что производит сам заказчик. При этом мы все понимаем, что дарение продукции заказчика, это, в определенной степени, нарушение ESOMAR-овской конвенции, но, тем не менее, и заказчик и исследователь с удовольствием это делают.
Оплата интервьюеров, рекрутеров и технических помощников. Тут расчет прост, то есть человек, который работает на Hall тестах должен зарабатывать от 20-ти до 30-ти долларов в день. Oплата супервайзера и наблюдателя - от 20-ти долларов и выше.
Таким образом, в среднем стоимость .холл-теста. для заказчика от 10-ти до 20-ти долларов, в зависимости от сложности рекрутмента, от величины анкеты. Спектр мнений по стоимости холл-тестов варьируется от эмоциональных «меньше 15 стоить хороший холл-тест стоить не может» до скептических «За 10 мы опросим даже кенгуру в Австралии».
Для Home теста эта стоимость для заказчика от 12-ти до 25-ти долларов.
Хочу сразу отметить, что большинство утверждений, которые здесь приведены они относятся к FMCG. Это наиболее часто тестируемые продукты. Для В2В абсолютно другие вещи, там действуют абсолютно другие законы.
Насколько быстро можно получить результат?
Hall тест и Home тест - единый срок для подготовке анкет и в обработке результатов. Поле у Hall теста может быть достаточно коротким. Иногда 2-3 дня хватает. Бывают случаи, когда рекрутмент легкий и анкета небольшая, тогда и 400 человек в день опросить не сложно. Но, как правило, средняя норма около 100 человек в день. Но такой хороший поток бывает в первые дни, пока не выбраны легкие квоты. После чего остальных несчастных 50 человек приходится тянуть еще три дня. Для Home тестов сроки самого поля очень длительные. Чем больше визитов, тем длиннее Home тест. Кроме этого надо дать респонденту возможность попользоваться этим продуктом, оценить его. Поэтому минимальный срок для Home теста около 3-х недель.
http://www.v-ratio.ru/
