Тестування креативів: чому 12 заявок проти 7 ще нічого не доводять
Коротка відповідь: на малих числах переможця серед креативів не видно, навіть коли різниця здається очевидною. У нашій рекламній кампанії три креативи дали 12, 7 і 7 заявок, і вартість заявки виглядала як $8,1, $6,6 і $8,7. Якщо порахувати межі похибки, усі три діапазони накладаються майже повністю. Вибрати «найкращий» за цими даними означає вибрати навмання.
Друга проблема серйозніша. Рекламна система сама розподіляє бюджет між креативами, і більшість із них так і не отримують шансу.
Звідки дані
Наша власна реклама безкоштовного аудиту сайту в Meta з 15 липня по 18 жовтня 2026 року. Витрати й покази за кожним оголошенням ми взяли з кабінету. Заявки рахували не за кабінетом, а за нашою базою: кожна заявка несе мітку креативу в адресі сторінки.
Чому за базою, ми писали окремо: кабінет у тих самих кампаніях то недораховував, то перераховував заявки.
Перший приклад: три креативи, одна кампанія
| Креатив | Заявок у базі | Вартість заявки | 95% діапазон вартості |
|---|---|---|---|
| А | 12 | $8,11 | $4,64 - $15,69 |
| Б | 7 | $6,58 | $3,19 - $16,37 |
| В | 7 | $8,71 | $4,23 - $21,66 |
| Г | 2 | $30,00 | $8,30 - $248 |
Діапазон це межі, в яких з імовірністю 95% лежить справжня вартість заявки, якщо вважати заявки випадковими подіями. Для 12 заявок справжнє число могло бути від 6 до 21 при тому самому бюджеті. Для 7 від 3 до 14.
Креатив Б виглядає найдешевшим. Але його діапазон, від $3 до $16, повністю перекриває діапазони А і В. Навіть креатив Г з вартістю $30 формально не можна відкинути: дві заявки це занадто мало, щоб сказати хоч щось.
Другий приклад: креативи, які ніхто не тестував
Тепер основна кампанія. У ній за той самий період крутилось 34 креативи.
| Що сталося | Значення |
|---|---|
| Креативів у кампанії | 34 |
| Частка бюджету двох найактивніших | 71% |
| Креативів, які отримали менше ніж $5 | 20 |
Рекламна система швидко обирає фаворитів і віддає їм бюджет. Двадцять креативів із 34 отримали менше ніж п'ять доларів кожен. Для них немає жодного висновку: ні «працює», ні «не працює». Вони просто не дісталися до аудиторії.
Звідси типова помилка. Звіт показує, що два креативи «перемогли», а решта «не дали результату». Насправді решта не брала участі в змаганні.
Третій приклад: креатив, якого кабінет «не помітив»
В окремому тесті шести стилів один креатив отримав понад сто доларів бюджету і близько 485 кліків. Кабінет записав йому нуль заявок. У нашій базі з цим креативом прийшло 11 заявок.
Тобто рішення «вимкнути, бо не конвертує», прийняте за кабінетом, було б помилкою. На малих числах розбіжність у кілька заявок між кабінетом і базою повністю змінює висновок.
Скільки заявок потрібно
Груба, але корисна перевірка для двох креативів з однаковим бюджетом. Різниця між ними вважається помітною, якщо вона більша за подвоєний корінь із суми заявок.
| Заявки А і Б | Різниця | Поріг | Висновок |
|---|---|---|---|
| 12 і 7 | 5 | 8,7 | не видно |
| 40 і 28 | 12 | 16,5 | не видно |
| 100 і 70 | 30 | 22,9 | видно |
Тобто щоб розрізнити креативи з різницею в результаті близько 30%, потрібно приблизно сто заявок на кожен. Для більшості малих і середніх кампаній це місяці роботи, а не тиждень.
Що ми робимо замість «переможця за тиждень»
Чотири правила, які випливають з наших цифр.
- Тестувати менше креативів одночасно. Два-три з рівним бюджетом дають висновок швидше, ніж 34, з яких система обере двох.
- Рахувати за базою, а не за кабінетом. Мітка креативу в адресі сторінки й у заявці, і порівняння вже з неї.
- Дивитись на діапазон, а не на середнє. Якщо діапазони двох креативів накладаються, переможця немає.
- Тестувати гіпотези, а не картинки. Різні меседжі, наприклад «втрата» проти «доказу», дають більшу різницю, ніж колір фону, і її легше помітити на малих числах.
Чого ми не стверджуємо
Модель Пуассона спрощує реальність: заявки не завжди незалежні, а аудиторія між креативами не однакова, бо система сама обирає, кому що показати.
Правило «подвоєного кореня» придатне лише для двох креативів з приблизно рівним бюджетом. Для точного розрахунку потрібен повноцінний статистичний тест.
І ми не стверджуємо, що великі вибірки гарантують правильний вибір. Вони лише зменшують ймовірність помилки.
Часті питання
Скільки заявок потрібно для тестування креативів?
Щоб розрізнити різницю близько 30%, приблизно сто на кожен креатив при однаковому бюджеті.
Чому рекламна система віддає бюджет двом креативам?
Вона оптимізує на результат і швидко обирає тих, хто дав перші конверсії. Решта креативів часто не отримують показів.
Чи можна вирішувати за кліками?
Кліки накопичуються швидше, але вони не заявки. Креатив із найдешевшим кліком часто не найкращий за заявками.
Що робити, якщо заявок мало?
Тестувати менше варіантів, довше, з рівним бюджетом, і порівнювати діапазони, а не середні.
Підсумок
На наших даних три креативи з 12, 7 і 7 заявками мали вартість від $6,6 до $8,7, але межі похибки накладались майже повністю. Переможця там не було. В основній кампанії два креативи з 34 забрали 71% бюджету, а 20 отримали менше ніж $5 і так і не були протестовані. Ще один креатив кабінет записав із нулем заявок, а в базі з нього прийшло 11.
Висновок простий: на малих числах тестують мало варіантів, з рівним бюджетом, за даними бази, і дивляться на діапазон. Щоб побачити різницю близько 30%, потрібно приблизно сто заявок на кожен креатив.
Матеріал підготували Євгеній Чиж, засновник Chyzh Agency, і Олег Бєляков, Head of Ads.
У каталозі 1700+ діджитал-агентств, які готові допомогти в реалізації ваших завдань. Вибирайте та економте до 30% свого часу та бюджету! Це безкоштовно та займе менше 3-х хвилин.