Zacznij od decyzji, którą ma ułatwić test
Budżet testu A/B łatwiej zaplanować, gdy najpierw wiadomo, co zrobisz z jego wynikiem. Zamiast pytać ogólnie, która reklama jest lepsza, postaw konkretne pytanie: czy komunikat podkreślający krótki termin realizacji przyciąga bardziej wartościowe zapytania niż komunikat o szerokim wyborze? Oba warianty powinny kierować do podobnej grupy odbiorców i odpowiadać na tę samą intencję. Inaczej trudno ustalić, co wpłynęło na różnicę.
Wybierz jeden główny wskaźnik powiązany z celem kampanii. Przy zbieraniu zapytań może nim być koszt pozyskania poprawnie przesłanego formularza, a przy kampanii kierującej do oferty także liczba wartościowych wizyt. Kliknięcia i współczynnik klikalności pomagają zrozumieć reakcję na reklamę, lecz same nie pokazują, czy użytkownik znalazł na stronie to, czego szukał. Ustal przed startem, jak rozpoznasz wartościowe działanie i czy potrafisz je wiarygodnie zmierzyć.
Ogranicz liczbę wariantów i zmian
Przy skromnym budżecie najprościej porównać dwie wersje jednej rzeczy: nagłówka, wezwania do działania albo akcentu w treści reklamy. Jeśli jednocześnie zmienisz tekst, odbiorców, miejsce emisji i stronę docelową, wynik nie wskaże, która zmiana pomogła. Podobnie uruchomienie wielu wersji dzieli dostępne środki na małe części. Każda z nich zbiera wtedy mniej obserwacji, a przypadkowe wahania łatwiej uznać za przewagę.
Zadbaj też o porównywalny kontekst emisji. Reklamy kierowane na zapytania o pilną usługę mogą działać inaczej niż reklamy przy treściach służących dopiero rozeznaniu się w temacie. Testuj warianty w możliwie podobnych warunkach: przy tych samych ustawieniach kierowania, zbliżonym czasie emisji i tej samej stronie docelowej. Jeżeli narzędzie reklamowe oferuje eksperyment dzielący ruch między warianty, sprawdź jego ustawienia. Dwie osobne kampanie konkurujące o te same wyświetlenia mogą utrudnić rzetelne porównanie.
Wyznacz limit wydatków, który ma sens dla firmy
Najpierw określ łączną kwotę, którą możesz przeznaczyć na naukę bez ograniczania podstawowych działań firmy. Następnie zdecyduj, czy cały limit trafi na jeden test, czy część zachowasz na wdrożenie wybranego wariantu lub kolejną próbę. Nie istnieje uniwersalna kwota zapewniająca miarodajny wynik: potrzebny wydatek zależy między innymi od cen w danym środowisku reklamowym, liczby możliwych wyświetleń oraz częstotliwości działań na stronie.
Oszacuj przed startem, ile kliknięć lub konwersji pozwoliłby zebrać planowany limit przy wynikach, które już znasz z własnych kampanii. Traktuj to jako orientację, nie obietnicę. Jeśli spodziewasz się tylko pojedynczych konwersji, porównanie ich kosztu będzie bardzo niepewne. Rozważ wtedy prostszy test komunikatu na podstawie szerszych sygnałów, takich jak kliknięcia i zachowanie na stronie, albo dłuższy okres zbierania danych. Nie podnoś wydatków tylko po to, by szybko ogłosić zwycięzcę.
Ustal zasady trwania i kontroli przed uruchomieniem
Zapisz maksymalny wydatek, planowany okres testu i sytuacje, w których go przerwiesz, na przykład awarię strony lub błędne kierowanie reklam. Daj obu wariantom szansę na emisję w porównywalnych dniach i porach. Codzienne sprawdzanie wydatków oraz poprawności pomiaru jest przydatne, ale częste zmienianie stawek, treści czy ustawień w trakcie próby odbiera porównaniu czytelność.
Sprawdź wcześniej, czy formularz działa, a zdarzenia mierzone w panelu odpowiadają rzeczywistym działaniom użytkowników. Korzystaj tylko z danych potrzebnych do oceny kampanii, zgodnie z przyjętymi zasadami prywatności. Gdy nie możesz wiarygodnie przypisać działań do wariantów, odnotuj to ograniczenie zamiast uzupełniać luki domysłami. Warto również sprawdzić, czy strona docelowa jasno rozwija obietnicę z reklamy: rozbieżność między nimi może osłabić oba warianty niezależnie od jakości tekstu.
Oceń wynik i zdecyduj, co zrobić dalej
Po zakończeniu testu zestaw dla obu wersji wydatki, wyświetlenia, kliknięcia oraz działania zgodne z głównym celem. Zwróć uwagę nie tylko na koszt pozyskania działania, lecz także na jego jakość, jeśli możesz ją ocenić. Reklama z większą liczbą kliknięć nie musi przynosić lepszych zapytań. Przy małej liczbie obserwacji niewielka różnica może być przypadkowa; uczciwym wnioskiem bywa „wynik nie rozstrzyga”, a nie wybór zwycięzcy.
Jeśli jeden wariant wyraźnie lepiej wspiera cel i wynik jest spójny z tym, co widzisz na stronie docelowej, możesz wdrożyć go ostrożnie i dalej obserwować kampanię. Jeśli różnicy nie widać, zachowaj prostszy komunikat lub zaplanuj kolejny test dotyczący innej hipotezy. Notuj, co porównano, w jakim kontekście emitowano reklamy i jakie były ograniczenia pomiaru. Taka dokumentacja pomaga wydawać kolejne środki na pytania, których poprzedni test jeszcze nie rozstrzygnął.
