Benchmarking в онлайн-исследованиях: как сравнивать результаты с нормами

Benchmarking в исследованиях — это сравнение результата конкретного теста с накопленными нормами по рынку, категории, формату или методике. Нормы помогают понять, является ли показатель сильным, средним или слабым в релевантном контексте.

Benchmarking в онлайн-исследованиях: как сравнивать результаты с нормами

Benchmarking – это способ оценки результатов в сравнении с нормой или средним показателем по рынку, категории и т.д.

Норма или benchmark – это накопленные средние значения по большому числу прошлых исследований и замеров.

Нормы и benchmarking в онлайн-исследованиях – это способ оценить, что считается “хорошим”, “средним” или “плохим” результатом для конкретного типа метрики, категории, аудитории или методики.

Один показатель сам по себе часто мало что говорит. Например, 65% намерение к покупке – это много или мало?

Бенчмарк помогает понять: это выше нормы для категории, ниже или на уровне рынка.

Бенчмарки могут применяться в количественных онлайн-методиках, где есть повторяемые метрики, одинаковые шкалы и накопленная база прошлых исследований.

1. Тестирование концепций;
2. Тестирование упаковки;
3. Тестирование рекламных креативов (пре-тесты);
4. Рекламные тесты (Brand-lift) и т.д.

Например, для тестов концепций, упаковок могут использоваться нормы по следующим критериям:

• общая привлекательность;
• намерение купить;
• релевантность / соответствие;
• уникальность;
• понятность;
• соответствие бренду;
• заметность/видимость;
• доверие / правдоподобность и т.д.

Для рекламных тестов:

• Запоминаемость рекламы (ad recall);
• Узнавание / считывание бренда (brand-link);
• Привлекательность;
• Реклама надоела / усталость (wear-out);
• Близка идея;
• Вызывает доверие;
• Мотивирует покупать товары;
• Не похожа на другие рекламы;
• Побуждает воспользоваться рекламируемым сервисом;
• Понятная реклама;
• Рассказывает что-то новое о бренде;
• Релевантность / соответствует восприятию бренда;
• Улучшает отношение и др.

Нормы или бенчмарки могут быть детализированы по:

1. Категориям – например, FMCG, банки, авто, телеком, фарма и т.д.
2. Форматам креатива – видео, баннеры, social, display, CTV, mobile и т.д.
3. Каналам размещения – ТВ, диджитал, ритейл, блогеры и т.д.

Что важно понимать при использовании норм

1. Период сбора: за какой период собраны данные. Есть ли «свежие» данные за последние один-два года. Российский рынок сильно поменялся с 2022 года и данные за 5-10 лет не всегда могут быть применимы.

Например, для рекламных или брендовых исследований это может быть особенно важно.

2. Объем накопленной базы применяемых норм. Чем больше база, тем выше «чувствительность» к сравнению.

3. Состав норм: разнообразие тестов, категорий, брендов, которые входят в одну норму. Чем шире, тем лучше.

Например, если сравнивается запоминаемость рекламы в категории, но в этой категории представлен только конкурент исследуемого бренда, то имеет смысл рассмотреть возможность расширения категории или опираться на среднюю узнаваемость формата по всему рынку. Применимость той или иной нормы нужно оценивать в каждом отдельном случае. Если замеры для одного бренда регулярные, то можно сравнивать результат со средним по всем замерам.

Как собирается и считается норма (benchmark)

В таблицу или базу данных собираются данные о признаке и объеме наблюдений, на котором собран этот признак.

Пример для сбора Запоминаемости рекламы:

Запоминаемость рекламы (ad recall)

Норма рассчитывается как сумма всех запомнивших рекламу по отношению к общей суммарной базе:

((124 + 38 + 36 + 84 + 156) / (510 +125 + 258 + 346 + 600)) * 100 = 24%

Или если опираться на долю запомнивших, то считается, как сумма произведений, деленная на общую суммарную базу:

(510*0,24 +125*0,3 + 258*0,14 + 346*0,24 + 600*0,26) / (510 +125 + 258 + 346 + 600) = 24%

Использование в OMI

В рамках оценки эффективности рекламных кампаний в OMI собрана большая база норм по каналам, форматам и различным категориям. Оставьте заявку, чтобы заказать исследование или узнать подробнее.

Почему бенчмарк важнее одного числа

Без нормы показатель может вводить в заблуждение. Например, 24% ad recall может быть высоким результатом для сложной категории с низкой вовлеченностью, но слабым результатом для массовой категории с ярким креативом и высокой частотой контакта. Поэтому корректная оценка строится не только на абсолютном значении, но и на сравнении с релевантной базой.

Какие типы норм стоит различать

Как выбрать правильный benchmark

Правильный benchmark должен быть сопоставим с задачей исследования. Для рекламного теста важно учитывать формат креатива, канал контакта, категорию, целевую аудиторию, период сбора данных и методику вопроса. Если норма собрана на другой шкале, другой аудитории или устаревшем рынке, прямое сравнение может быть некорректным.

Как интерпретировать результат относительно нормы

Результат выше нормы означает, что показатель сильнее среднего уровня в выбранной базе сравнения. Результат на уровне нормы говорит о типичном результате для категории или методики. Результат ниже нормы не всегда означает провал: его нужно анализировать вместе с сложностью категории, силой бренда, новизной продукта, частотой контакта и качеством креатива.

Почему нельзя сравнивать любые нормы между собой

Главная ошибка — сравнивать показатели, собранные в разных условиях. Например, ad recall для ТВ-ролика нельзя напрямую сравнивать с ad recall баннера без учета формата, длительности контакта и медийного шума. Также нельзя смешивать нормы по разным шкалам, разным периодам и разным типам аудитории.

Что учитывать при расчете нормы

При расчете бенчмарка важно учитывать не только среднее значение, но и размер базы, дисперсию, количество исследований, период сбора, состав категорий, наличие выбросов и минимальный размер выборки. Чем более однородна база и чем больше наблюдений, тем надежнее сравнение.

Benchmarking и статистическая значимость

Если результат отличается от нормы на несколько процентных пунктов, это не всегда означает реальное превосходство или отставание. Для управленческих выводов важно проверять статистическую значимость различий и доверительные интервалы, особенно при небольших выборках или сегментном анализе.

Пример практической интерпретации

Если креатив получил ad recall 30% при норме 24%, это может говорить о хорошей запоминаемости. Но перед выводом нужно проверить brand-link и понимание сообщения: реклама могла запомниться, но не связаться с брендом или передать не тот смысл. Поэтому benchmarking лучше использовать как часть комплексной диагностики, а не как единственный критерий успеха.

Связка с другими метриками исследований

Для рекламных тестов benchmarking стоит смотреть вместе с Ad Recall, Brand Link, Message Comprehension, Likeability, Wear-out, Purchase Intent и Brand Lift. Для концепций и упаковки — вместе с привлекательностью, уникальностью, понятностью, релевантностью, доверием и намерением покупки.

Сравнение ключевых понятий

FAQ

Что такое benchmarking в исследованиях?

Это сравнение результата исследования с накопленными нормами по рынку, категории, формату или методике.

Что такое benchmark простыми словами?

Это ориентир или средний показатель, с которым сравнивают новый результат.

Зачем нужны нормы в онлайн-исследованиях?

Они помогают понять, является ли результат высоким, средним или низким для конкретного контекста.

Можно ли использовать старые нормы?

Можно, если рынок и методика не изменились существенно. Для динамичных категорий лучше использовать свежие нормы за последние 1-2 года.

Почему один показатель без benchmark может быть бесполезен?

Потому что без базы сравнения непонятно, является ли значение сильным или слабым для категории, формата и аудитории.

Какие ошибки чаще всего допускают при benchmarking?

Сравнивают несопоставимые категории, используют устаревшие нормы, не учитывают размер базы и делают выводы без проверки статистической значимости.