Testy A/B na stronie internetowej – jak je przeprowadzić i czym zastąpić Google Optimize?

Zmiana nagłówka, formularza, CTA albo układu strony może zwiększyć liczbę konwersji, ale może też pogorszyć dotychczasowe wyniki. Test A/B pozwala sprawdzić na rzeczywistym ruchu, która z dwóch wersji strony skuteczniej realizuje konkretny cel – np. generuje więcej zakupów, wysłanych formularzy czy kliknięć prowadzących do kolejnego etapu ścieżki użytkownika. Nie wystarczy jednak przygotować wariantu B i po kilku dniach porównać liczbę konwersji. Dobry eksperyment wymaga hipotezy, odpowiednio dobranej metryki, wystarczającej próby oraz ostrożnej interpretacji rezultatu. Trzeba też zaktualizować informację, która przez lata była nieodłączną częścią tego tematu: Google Optimize i Optimize 360 przestały działać 30 września 2023 roku. Google rozwija obecnie integracje Google Analytics 4 z zewnętrznymi platformami eksperymentalnymi.

W tym artykule dowiesz się m.in.:

• jak odróżnić pomysł na zmianę strony od hipotezy nadającej się do przetestowania,
• dlaczego większa liczba konwersji nie zawsze oznacza, że wariant B rzeczywiście wygrał,
• jakie elementy stron usługowych, sklepów i landing page’y warto poddawać eksperymentom,
• kiedy ruch na witrynie jest zbyt mały, aby test A/B dał przydatną odpowiedź,
• jakie błędy mogą całkowicie wypaczyć wynik,
• jak dziś prowadzić eksperymenty po wycofaniu Google Optimize.

Co to jest test A/B i na czym dokładnie polega?

Test A/B to kontrolowany eksperyment, w którym użytkownikom w tym samym czasie pokazuje się co najmniej dwa warianty tej samej strony. Wariant A jest wersją wyjściową, natomiast B zawiera zmianę, której wpływ chcemy sprawdzić. Ruch jest dzielony pomiędzy warianty, a następnie porównuje się ich skuteczność względem wcześniej ustalonego celu. Tak właśnie test A/B definiuje również Google Analytics: jako losowy eksperyment obejmujący przynajmniej dwa warianty strony wyświetlane równolegle losowym grupom użytkowników. Najważniejsze jest jednak słowo „eksperyment”. Test A/B nie powinien służyć sprawdzaniu przypadkowych pomysłów w rodzaju „zobaczmy, czy czerwony przycisk będzie lepszy”. Powinien odpowiadać na konkretne pytanie wynikające z danych, zachowań użytkowników lub problemu biznesowego.

Załóżmy, że użytkownicy często przechodzą na stronę oferty, ale niewielu z nich rozpoczyna kontakt. Analiza strony wskazuje, że formularz znajduje się bardzo nisko, a główne CTA jest mało precyzyjne. Hipoteza może więc brzmieć: Jeżeli wcześniej pokażemy użytkownikowi wyraźne CTA prowadzące do formularza, więcej osób rozpocznie kontakt, ponieważ skrócimy drogę pomiędzy zapoznaniem się z ofertą a wykonaniem następnego kroku.

Dopiero tak postawione założenie daje podstawę do zaprojektowania wariantu B.

Jak przeprowadzić test A/B krok po kroku?

Rzetelny test nie zaczyna się od uruchomienia narzędzia. Zaczyna się od znalezienia problemu, który rzeczywiście warto badać. Samo przygotowanie alternatywnego wariantu strony jest dopiero jednym z etapów.

Zacznij od danych, a nie od pomysłu

Najpierw trzeba ustalić, gdzie na ścieżce użytkownika pojawia się problem. Źródłem informacji mogą być dane z Google Analytics 4, wyniki kampanii, analiza lejka sprzedażowego, nagrania sesji, mapy kliknięć, dane z formularzy czy informacje od zespołu sprzedaży. Jeżeli na stronie produktu wiele osób dodaje produkt do koszyka, ale niewiele przechodzi dalej, warto analizować dalszą część procesu zakupowego. Jeżeli problem występuje wcześniej i użytkownicy rzadko klikają główne CTA, testowanie checkoutu prawdopodobnie nie odpowie na właściwe pytanie.

Sformułuj hipotezę, którą da się zweryfikować

Hipoteza powinna określać:

• co zmieniamy → jakiego rezultatu oczekujemy → dlaczego spodziewamy się takiego efektu.

Zamiast:

„Sprawdzimy krótszy formularz”

lepiej:

„Usunięcie pól, których nie potrzebujemy podczas pierwszego kontaktu, powinno zwiększyć odsetek wysłanych formularzy, ponieważ użytkownik będzie musiał poświęcić mniej czasu na ich uzupełnienie”.

Taka konstrukcja ułatwia później nie tylko ocenę wyniku, ale też wyciąganie wniosków do kolejnych eksperymentów.

Określ główną metrykę testu

Jeszcze przed jego rozpoczęciem trzeba zdecydować, po czym poznamy, że wariant B jest lepszy. W sklepie internetowym może to być współczynnik zakupów. Na stronie usługowej – przesłanie formularza lub wykonanie telefonu. Na landing page’u kampanii – liczba kwalifikowanych leadów. Nie należy jednak automatycznie uznawać każdej poprawy wskaźnika pośredniego za sukces.

Przykład? Nowy przycisk może zwiększyć liczbę kliknięć o 20%, ale jeżeli po przejściu dalej użytkownicy nie wysyłają formularza, wzrost CTR nie oznacza jeszcze wzrostu wartości biznesowej. Dlatego oprócz głównej metryki warto obserwować również kolejne etapy ścieżki.

Przygotuj wersję kontrolną i eksperymentalną

Wariant A powinien być wersją działającą przed rozpoczęciem testu. Wariant B zawiera zmianę wynikającą z hipotezy.

Jeżeli chcemy wiedzieć, co wpłynęło na wynik, lepiej nie zmieniać jednocześnie nagłówka, grafiki, CTA, formularza i całego układu strony. W przeciwnym razie nawet wygrana wariantu B niewiele powie o tym, który element odpowiadał za poprawę.

Nie oznacza to jednak, że zawsze należy testować wyłącznie pojedynczą zmianę wizualną. Można porównywać również dwie różne koncepcje strony, jeżeli eksperyment ma odpowiedzieć na pytanie o skuteczność całego rozwiązania. Trzeba tylko dostosować późniejsze wnioski do zakresu testu.

Podziel ruch pomiędzy warianty

Użytkownicy powinni trafiać do wariantów równolegle, a nie jeden po drugim. Porównanie wyników starej strony z marca z nową wersją uruchomioną w kwietniu nie jest klasycznym testem A/B. W międzyczasie mogły zmienić się kampanie, źródła ruchu, sezonowość, ceny, zachowania odbiorców czy działania konkurencji. Losowy podział użytkowników pomiędzy wariant A i B ogranicza wpływ takich czynników na wynik eksperymentu.

Nie kończ eksperymentu tylko dlatego, że B chwilowo prowadzi

To jeden z częstszych błędów. Jeżeli po pierwszych kilkudziesięciu konwersjach wariant B wygląda znacznie lepiej, łatwo uznać test za rozstrzygnięty. Taka przewaga może jednak zniknąć wraz ze wzrostem liczby obserwacji. Czas eksperymentu powinien wynikać m.in. z wielkości ruchu, bazowego współczynnika konwersji, spodziewanej różnicy oraz przyjętej metodologii statystycznej. Nie istnieje uniwersalna reguła mówiąca, że każdy test należy prowadzić dokładnie 7, 14 czy 30 dni.

Oceń wynik w kontekście biznesowym

Wariant B może wypaść lepiej statystycznie, ale to jeszcze nie zawsze oznacza, że zmianę warto wdrożyć. Jeżeli nowy proces zwiększa współczynnik konwersji z 4,00% do 4,05%, lecz jego wdrożenie wymaga wielu tygodni pracy programistycznej, efekt może nie uzasadniać ponoszonego kosztu. Z drugiej strony niewielka procentowa poprawa w dużym sklepie obsługującym setki tysięcy transakcji może mieć istotną wartość finansową. Wynik testu trzeba więc interpretować jednocześnie statystycznie i biznesowo.

Co warto testować na stronie internetowej?

Nie każdy test musi dotyczyć koloru przycisku. W praktyce znacznie ciekawsze są eksperymenty dotyczące informacji, sposobu prezentowania oferty i kolejnych etapów ścieżki konwersji.

• W e-commerce można analizować m.in. sposób prezentacji dostawy, układ karty produktu, komunikaty dotyczące dostępności, elementy koszyka, sposób prezentowania wariantów produktu czy kolejne etapy finalizacji zakupu.
• Na stronie usługowej przedmiotem eksperymentu może być treść głównego komunikatu, umiejscowienie formularza, liczba wymaganych pól, prezentacja zakresu usługi, CTA albo sposób przedstawienia dowodów potwierdzających doświadczenie firmy.
• W przypadku landing page’a dla Google Ads można sprawdzić, czy strona odpowiada wystarczająco precyzyjnie na intencję wynikającą z reklamy, czy użytkownik szybko dociera do oferty i czy droga do wykonania oczekiwanej czynności nie zawiera niepotrzebnych przeszkód.

Najlepszym kandydatem do testu nie jest więc element, który „da się łatwo zmienić”, ale taki, którego modyfikacja ma realną szansę wpłynąć na zachowanie użytkownika.

Ile powinien trwać test A/B, żeby wynik był wiarygodny?

Nie da się określić jednej prawidłowej długości testu A/B dla każdej strony. Czas potrzebny na eksperyment zależy od wielkości ruchu, liczby konwersji, bazowej skuteczności strony oraz tego, jak dużej zmiany oczekujemy. Strona generująca tysiące transakcji dziennie może zgromadzić wartościową próbę znacznie szybciej niż serwis B2B pozyskujący kilkanaście zapytań miesięcznie.

Istotny jest również rytm ruchu. Jeżeli zachowanie użytkowników w weekend różni się od dni roboczych, eksperyment trwający od poniedziałku do środy może dać obraz tylko części rzeczywistego cyklu.

Warto uważać także na okresy nietypowe. Wyniku testu prowadzonego wyłącznie podczas Black Friday, przed świętami lub w czasie wyjątkowo intensywnej kampanii nie zawsze można bezpośrednio przenieść na standardowe miesiące sprzedaży.

Jak sprawdzić, czy wynik testu A/B naprawdę coś oznacza?

Samo stwierdzenie, że wariant B wygenerował więcej konwersji, jest za mało. Zanim zostanie uznany za zwycięzcę, trzeba sprawdzić jakość samego eksperymentu.

• Pierwszym elementem jest wielkość próby. Jeżeli wariant A wygenerował trzy sprzedaże, a B pięć, różnica wygląda atrakcyjnie procentowo, ale liczba obserwacji jest zbyt mała, żeby pochopnie zmieniać całą stronę.
• Kolejna kwestia to prawidłowy podział ruchu. Jeżeli narzędzie miało kierować po 50% użytkowników do każdego wariantu, a ostatecznie proporcje znacząco od tego odbiegają, trzeba sprawdzić implementację i sposób przydzielania użytkowników.
• Znaczenie ma również to, co działo się w czasie testu. Uruchomienie nowej kampanii, zmiana ceny, awaria formularza, problemy z płatnościami czy modyfikacja strony w trakcie eksperymentu mogą utrudnić interpretację wyniku.

W dobrze przeprowadzonym teście pytanie nie brzmi więc wyłącznie: „która liczba jest większa?”, lecz również: „czy mamy wystarczające podstawy, aby przypisać różnicę testowanej zmianie?”.

Test A/B czy test wielowariantowy – kiedy potrzebujesz więcej niż dwóch wersji?

Test A/B porównuje kompletne warianty strony lub konkretnego rozwiązania. Test wielowariantowy idzie krok dalej: umożliwia jednoczesne sprawdzanie różnych kombinacji kilku elementów. Przykładowo można zestawiać dwa warianty nagłówka z dwoma grafikami głównymi i analizować, która kombinacja działa najlepiej. Google wskazuje, że celem testu wielowariantowego jest właśnie znalezienie najskuteczniejszej kombinacji wariantów i zbadanie wzajemnego wpływu poszczególnych elementów. Takie eksperymenty wymagają jednak znacznie większej ilości danych, ponieważ ruch zostaje rozdzielony pomiędzy większą liczbę kombinacji. Dla wielu stron prosty i dobrze zaplanowany test A/B będzie więc bardziej praktycznym rozwiązaniem.

Google Optimize – co to było i dlaczego nie można już przeprowadzać w nim testów?

Google Optimize było bezpłatnym narzędziem pozwalającym tworzyć i prowadzić eksperymenty na stronach internetowych. Przez lata stanowiło jeden z najłatwiejszych sposobów rozpoczęcia testów A/B w ekosystemie Google. Ta informacja ma dziś jednak charakter historyczny.

Google Optimize oraz płatny Optimize 360 zostały wyłączone 30 września 2023 roku. Wszystkie pozostające wtedy aktywne eksperymenty i personalizacje zostały zakończone. Google wyjaśniło, że chce rozwijać integracje Google Analytics 4 z zewnętrznymi narzędziami eksperymentalnymi, zamiast kontynuować własną usługę Optimize.

Oznacza to, że znalezione w starszych poradnikach instrukcje tworzenia kontenera Google Optimize, instalowania jego kodu czy konfiguracji eksperymentu w panelu są już nieaktualne.

Czym zastąpić Google Optimize podczas testów A/B?

Google Analytics 4 nie jest bezpośrednim następcą Google Optimize pozwalającym samodzielnie tworzyć warianty stron. Google wskazuje obecnie, że do uruchamiania i zarządzania testami A/B należy wykorzystywać zewnętrzne narzędzie eksperymentalne, natomiast GA4 może służyć do interpretowania jego wyników po odpowiedniej integracji. W materiałach dotyczących wycofania Optimize Google wymienia m.in. AB Tasty, Optimizely oraz VWO jako dostawców, z którymi rozwijane były integracje. Udostępniono również API umożliwiające integrację innych rozwiązań.

Wybór platformy nie powinien jednak zaczynać się od pytania „która jest najlepsza?”. Znacznie ważniejsze jest to, jakiego rodzaju eksperymenty firma chce prowadzić, jaki ma ruch, jak rozbudowanej segmentacji potrzebuje, kto będzie obsługiwał narzędzie oraz w jaki sposób jego dane mają być łączone z pozostałą analityką. Samo oprogramowanie nie naprawi również źle zaplanowanego eksperymentu. Można korzystać z bardzo zaawansowanej platformy i nadal uzyskiwać bezwartościowe wnioski, jeżeli test nie ma jasnej hipotezy, odpowiedniego KPI lub wystarczającej próby.

Czy testy A/B wpływają na SEO?

Testów A/B nie powinno się traktować jako prostego sposobu na poprawienie pozycji w Google. Ich podstawową funkcją jest sprawdzanie wpływu zmian na zachowania użytkowników i realizację konkretnego celu biznesowego. Nie oznacza to jednak, że eksperymentowanie jest bez znaczenia dla SEO. Testy mogą pomagać podejmować lepsze decyzje dotyczące architektury informacji, treści, elementów konwersyjnych czy doświadczenia użytkownika. Dzięki temu można rozwijać stronę na podstawie danych zamiast wprowadzać duże modyfikacje „w ciemno”. Nie należy natomiast zakładać, że np. obniżenie współczynnika odrzuceń automatycznie spowoduje wzrost pozycji w wynikach wyszukiwania. Tak prosta zależność nie stanowi właściwej podstawy do planowania SEO. W Afterweb patrzymy na stronę szerzej: widoczność ma doprowadzić właściwego użytkownika do witryny, natomiast sama witryna powinna skutecznie przeprowadzić go do kolejnego etapu. Dopiero połączenie danych dotyczących ruchu, widoczności, kampanii i konwersji pokazuje, gdzie rzeczywiście znajduje się przestrzeń do poprawy.

Kiedy przeprowadzanie testu A/B nie ma sensu?

Testy A/B są użytecznym narzędziem, ale nie rozwiązaniem każdego problemu. W niektórych sytuacjach eksperyment może trwać tak długo lub wymagać tak dużej próby, że bardziej opłacalna będzie inna metoda analizy. Dotyczy to szczególnie serwisów z bardzo niewielkim ruchem lub zaledwie kilkoma konwersjami miesięcznie. Trudno wtedy szybko uzyskać dane pozwalające rozróżnić rzeczywistą zmianę od zwykłej przypadkowości. Nie ma również potrzeby testowania błędu, którego poprawność jest oczywista. Jeśli formularz nie działa na urządzeniach mobilnych albo przycisk prowadzi do nieistniejącej strony, nie trzeba dzielić użytkowników na dwie grupy, aby ustalić, czy warto to naprawić. Przy małym ruchu często więcej informacji dostarczą analiza zachowań użytkowników, nagrania sesji, badanie użyteczności, dane z lejka, analiza formularzy czy rozmowy z zespołem sprzedażowym. Test A/B powinien rozstrzygać rzeczywistą niepewność, a nie zastępować zdrowy rozsądek.