Jak interpretować wyniki testów AB

W tym poście omówimy, jak interpretować wyniki testów A / B, aby wybrać zwycięzcę, analizując wyniki przykładowego testu, który skonfigurowaliśmy.

Ale zanim zaczniemy, musimy pamiętać o dwóch rzeczach, które musisz zrobić podczas konfigurowania własnych testów.

  1. Twój test powinien trwać, dopóki nie będzie przynajmniej 95% szansy na pokonanie kontroli.
    Czasami kuszące jest wcześniejsze zakończenie testu, ale jest to jedyny sposób, aby mieć pewność, że Poprawa współczynnika konwersji jest statystycznie istotna. Powinieneś również wiedzieć, że im mniejsza poprawa, tym dłużej test będzie musiał działać, aby osiągnąć istotność statystyczną. Test z poprawą o 5% będzie musiał trwać dłużej niż test z poprawą o 45%.
  2. Należy również testować przez minimum siedem dni.
    Uwzględnia to zmiany natężenia ruchu w dni powszednie i weekendy, a także zapewnia, że zwycięska odmiana wytrzyma próbę czasu. Jeśli nie może wygrać przez siedem dni, czy naprawdę możesz zaufać, że poprawi współczynniki konwersji na dłuższą metę w Twojej witrynie? Nie bardzo.

Skoro już o tym zapomnieliśmy, porozmawiajmy o tym, jak najlepiej zinterpretować wyniki testów.

Interpretacja Wyników Testów

Większość testów obejmuje zaangażowanie (liczba kliknięć na stronie) domyślnie, a następnie zmierzyć inne istotne cele, które zostały ustawione, gdy rozpoczął się test. W naszym przykładowym teście ustaliliśmy cele dla liczby osób, które trafiły na stronę rejestracji i liczby osób, które trafiły na stronę potwierdzenia, a także liczby osób, które zapisały się na bezpłatny okres próbny. Gdyby był to pełnoprawny test, śledzilibyśmy również liczbę osób, które ostatecznie zarejestrują się na płatne konto, ponieważ generowane przychody są najważniejsze, niekoniecznie liczba osób, które rejestrują się na bezpłatne konta. Dlatego też chcielibyśmy to śledzić. Jako cel przykładu umieścimy również zaangażowanie, abyśmy mogli zorientować się, która wersja zwiększa zaangażowanie.

Pierwszą rzeczą, którą zobaczysz po kliknięciu na “Raporty” a potem “Uruchamianie Testów” w Visual Website Optimizer jest podsumowanie bieżącego testu. Pokazuje całkowitą liczbę odwiedzających, całkowite konwersje, Współczynnik konwersji oraz liczbę śledzonych zmian i celów. Zapewnia również szybką tabelę podsumowującą, która wskazuje czerwonym lub zielonym paskiem, czy nowa odmiana poprawiła współczynniki konwersji, czy nie (zielony oznacza, że ma, a czerwony oznacza, że nie ma). Dane te są pomocne w szybkiej aktualizacji na pierwszy rzut oka, ale dowiesz się więcej, klikając na “Szczegółowy Raport” zakładka lub przycisk.

Uwaga: przykładowe dane w tym przykładzie są oparte na teście, który nie został przeprowadzony na CrazyEgg.com.

Używamy tych danych do przykładowych celów, a nie do pokazywania prawdziwych wyników ze strony Crazy Egg.

Po kliknięciu na “Szczegółowe Raporty”, zobaczysz opcję przełączania między celami i wykresem przedstawiającym Współczynnik konwersji dla każdej odmiany (w tym kontrola). Wykres wizualnie pokazuje współczynniki konwersji dla każdej odmiany i pomaga zorientować się, o ile lepsza jest jedna wersja w porównaniu do drugiej w okresie testowym. W poniższym przykładzie nowa odmiana (fioletowa linia), zaczął działać znacznie lepiej niż kontrola, wyrównał się nieco i nadal przewyższał zmienność w siedmiodniowym okresie testowym.

Poniżej wykresu znajduje się szczegółowy widok wyników dla wybranego celu. Porównuje kontrolę ze zmiennością(s) i pokazuje współczynnik konwersji, Zakres współczynnika konwersji, procentową poprawę, szansę na pokonanie oryginału oraz liczbę konwersji i odwiedzających dla każdej odmiany. Przyjrzymy się temu bliżej w następnej sekcji.

Szczegółowe Spojrzenie Na Wyniki

W przypadku naszych przykładowych statystyk mierzymy zaangażowanie, wizyty na stronie rejestracji i bezpłatne rejestracje próbne. Przyjrzyjmy się teraz bliżej każdemu z nich.

Zaręczyny

Kiedy patrzymy na zaangażowanie, widzimy, że nowa odmiana zwiększyła zaangażowanie przez 2.48% z 82% szansa na pokonanie oryginału. Zaangażowanie w nową wersję było 60.69%, a zaangażowanie w kontrolę było 59.23%.

Jedzenie na wynos: Ponieważ nie jest to bardzo ważna statystyka w tym teście, będziemy ją monitorować, aby dowiedzieć się więcej o nowej odmianie, ale nie będziemy przykładać do niej zbyt dużej wagi, ponieważ czasami wersje, które zmniejszają zaangażowanie, prowadzą do wyższego współczynnika konwersji dla innych celów, co oznacza, że mniej zaangażowania jest lepsze niż więcej dla niektórych odmian. Nie martwimy się również o 95% lub większą szansę na pokonanie oryginału, jeśli chodzi o zaangażowanie, ponieważ nie jest to najważniejsza statystyka w naszym teście.

Zarejestruj Się Odwiedziny Strony

Następnie przyjrzymy się odwiedzinom strony rejestracji. Nasz przykładowy test zwiększył liczbę kliknięć na stronie rejestracji o 2,5% z 72% szansą na pokonanie oryginału. Konwersje dla kontroli wynoszą 36,41%, a konwersje dla nowej odmiany wynoszą 37,32%.

Jedzenie na wynos: Po raz kolejny, nie jest to najważniejszy cel tego testu, więc weźmiemy to, czego możemy się nauczyć z ulepszonego współczynnika konwersji, ale nie będziemy opierać wyniku testu na tym wyniku. Miło jest zobaczyć, że kliknięcia wzrosły, co oznacza, że górna część naszego lejka konwertuje się lepiej, ale nie ma gwarancji, że doprowadzi to do większej liczby rejestracji (chociaż jest duża szansa, że tak będzie, więc jest to zachęcająca poprawa). Jest to kolejna statystyka, z której możemy się nauczyć, ale nie statystyka, której użyjemy, aby zdecydować o wygranej.

Darmowa Rejestracja Próbna

Następna i ostatnia statystyka to bezpłatne rejestracje próbne. Głównym celem naszego testu było zachęcenie większej liczby osób do zapisania się na bezpłatny okres próbny, więc jest to najważniejszy cel z trzech, na które patrzyliśmy do tej pory. Mimo że inne cele zwiększyły konwersje we wcześniejszych krokach ścieżki, niekoniecznie będziemy chcieli wprowadzić tę zmianę, chyba że poprawi się również darmowa rejestracja próbna.

Z statystyk wynika, że nowa wersja zwiększyła konwersje o 8.21% z 92% szansa na pokonanie oryginału. Współczynnik konwersji dla kontroli wynosi 24.86%, a Współczynnik konwersji dla nowej odmiany wynosi 26.9%.

Jedzenie na wynos: Jedzenie na wynos w oparciu o Wyniki jest bardzo obiecujące. Test trwa od siedmiu dni, a nowa odmiana ma 92% prawdopodobieństwo poprawy konwersji przez 8.21%. Jest jeszcze wcześnie, aby ogłosić zwycięzcę na podstawie zalecenia, aby poczekać, aż 95% szansa na pokonanie oryginału, ale wyniki wyglądają obiecująco. Będziemy kontynuować test trochę dłużej, aż osiągnie 95% lub większe szanse na wygraną, ale jest duża szansa, że tam dotrzemy, ponieważ jesteśmy już na 92% prawdopodobieństwo.

Ogłoszenie Zwycięzcy

Na podstawie tych wyników ogłosimy nową wersję zwycięzcą, o ile będzie ona nadal poprawiać konwersje, dopóki nie pojawi się 95% lub większe prawdopodobieństwo wygranej. Możemy nadal patrzeć na inne wyniki i ulepszenia konwersji, ale ponieważ cel numer trzy jest najważniejszy, ogłosimy zwycięzcę testu na podstawie tego, która wersja ma lepsze konwersje dla tego celu.

A kiedy już ogłosimy zwycięzcę, przekażemy informacje o zwycięskiej wersji działowi IT lub programiście internetowemu, aby wdrożyć zmianę. Visual Website Optimizer ułatwia testowanie prostych zmian bez angażowania programisty, ale zmiany ostatecznie muszą zostać wprowadzone na stałe w Twojej witrynie, co oznacza, że musisz poprosić o usługi programisty internetowego, który może wdrożyć zmiany.

Czego Nauczyliśmy Się Z Testu?

Czy te wyniki były dla Ciebie interesujące? Nowa odmiana zwiększyła zaangażowanie poprzez 2.48%, zwiększona liczba odwiedzin strony rejestracji przez 2.5%, oraz zwiększoną liczbę bezpłatnych rejestracji próbnych przez 8.21%. Jednym z największych wniosków, jakie wyciągnęliśmy z tego testu, jest to, że ukończenie celu końcowego ma większe znaczenie niż ulepszenia mikro-konwersji z innych celów. Ponieważ w tym teście zależy nam na większej liczbie osób zapisujących się na bezpłatny okres próbny, to jest to cel, który naprawdę się liczy i to jest cel, którego musimy użyć, aby ogłosić zwycięzcę. Odwiedziny na darmowej stronie rejestracji próbnej wzrosły tylko o 2,5%, ale darmowa rejestracja próbna wzrosła o 8.21%. Gdybyśmy tylko mierzyli kliknięcia na stronie rejestracji, nie zdalibyśmy sobie sprawy, jak korzystny był ten test dla statystyk, które naprawdę mają znaczenie. To pokazuje, jak ważne jest mierzenie najważniejszego celu dla Twojej witryny, a nie mikro-konwersji.

Ważne jest również, aby podkreślić, że celem, który naprawdę ma największe znaczenie, są ewentualne płatne rejestracje kont. Jeśli naprawdę chcemy, aby ten test poprawił wyniki finansowe, musimy również zmierzyć odsetek osób, które ostatecznie zarejestrują się na płatne konto. Możliwe, że zwiększymy liczbę darmowych rejestracji próbnych, ale zmniejszymy liczbę płatnych rejestracji kont, co oznacza, że musimy zmierzyć całą drogę do końca lejka, aby uzyskać najbardziej odpowiednie wyniki.

Dodatkowe Narzędzia: Heatmapy I Clickmapy

Visual Website Optimizer zapewnia również mapy cieplne i clickmapy, których możesz użyć, aby uzyskać dalsze informacje. Patrząc na heatmapy i clickmapy do testu, uzyskasz lepsze wyobrażenie o tym, jak ludzie wchodzą w interakcję z Twoją witryną. Będziesz wiedział, które linki i przyciski klikają najczęściej, które ignorują, co uważają za link, ale nie jest i gdzie mogą być zdezorientowani na stronie. Informacje te są przydatne do wymyślania nowych pomysłów i sprawdzania, czy odwiedzający stają się zdezorientowani w Twojej witrynie, czy nie. Możesz przejrzeć te informacje podczas i po teście, aby uzyskać jeszcze więcej informacji o tym, jak użytkownicy korzystają z twojej witryny.

Jest to przykład tego, jak wyglądają heatmapy i clickmapy w Visual Website Optimizer.

Crazy Egg oferuje również mapy cieplne i clickmapy, które oferują jeszcze więcej informacji o odwiedzających. Wersja VWO to świetny dodatek do testów A / B, ale Crazy Egg oferuje pełnowartościową wersję, która zapewnia jeszcze więcej informacji, takich jak kliknięcia oparte na różnych źródłach ruchu i mapy przewijania, które pokazują, jak daleko w dół przewija się strona odwiedzających. Heatmapy i clickmapy dostarczane przez Visual Website Optimizer to świetny początek i świetny dodatek do testów A / B, ale Crazy Egg jest lepszy do długoterminowego zbierania danych.

Jeszcze Kilka Narzędzi

Visual Website Optimizer zapewnia cztery dodatkowe bezpłatne narzędzia, które są przydatne do celów testowych.

Landing Page Analyzer

Analizator strony docelowej zawiera serię pytań dotyczących strony docelowej, które skutkują ostatecznym wynikiem opartym na różnych elementach, takich jak trafność, motywacja, wezwanie do działania, usuwanie zakłóceń i zmniejszanie wahania. Zawiera również szczegółowe informacje zwrotne z sugestiami i zaleceniami dotyczącymi sposobów ulepszenia strony docelowej po ukończeniu serii pytań, których używają do analizy strony.

Kalkulator Znaczenia Testu

Kalkulator znaczenia testu pomaga obliczyć, Jak ważny jest twój test na podstawie otrzymanych wyników. Jest to już obliczone za pomocą Google Content Experiments, Visual Website Optimizer i Optimizely, ale jeśli ręcznie uruchomisz własny test, możesz użyć kalkulatora znaczenia testu, aby zweryfikować znaczenie osiągniętych wyników.

A / B Ideafox

A / B Ideafox pozwala na wyszukiwanie studiów przypadków w oparciu o wyzwanie (sprzedaż, pliki do pobrania, zapisy) lub typ strony. Możesz także użyć funkcji wyszukiwania, aby znaleźć studia przypadków w oparciu o dowolne kryteria, które chcesz wprowadzić. A / B Ideafox to świetne miejsce, aby dowiedzieć się więcej o CRO i znaleźć badania, które ujawnią potencjalne możliwości testowania na twojej stronie.

Kalkulator Czasu Trwania Testu

Czwartym i ostatnim narzędziem jest kalkulator czasu trwania testu. Ten kalkulator pomaga dowiedzieć się, jak długo należy przeprowadzić test, aby uzyskać odpowiednie wyniki. Być może rozpocząłeś test w VWO, który poprawia konwersje o 8%, ale możesz nie wiedzieć, ile czasu zajmie uzyskanie odpowiednich wyników. Kalkulator czasu trwania testu pomoże Ci poznać na podstawie istniejącego współczynnika konwersji, oczekiwanej poprawy, liczby kombinacji, średniej liczby dziennych odwiedzających i odsetka odwiedzających uwzględnionych w teście.

Ostatni Punkt O Ruchu Drogowym

Należy pamiętać o tym, że ilość ruchu w witrynie określa, jak długo trzeba przeprowadzić test, aby uzyskać statystycznie istotne wyniki. Jeśli witryna otrzymuje dużą ilość dziennego ruchu, otrzymasz odpowiednie wyniki szybciej niż Witryna, która otrzymuje niewielką ilość dziennego ruchu.

Ponadto mniejsze różnice w współczynnikach konwersji wymagają dłuższego przeprowadzenia testu. Jeśli nie masz dużego ruchu i jeśli różnica między wariacjami jest niewielka, być może będziesz musiał uruchomić test przez bardzo, bardzo długi czas. Dobrą wiadomością jest to, że możesz użyć kalkulatora czasu trwania testu wymienionego powyżej, aby oszacować, jak długo będziesz musiał przeprowadzić test, aby uzyskać znaczące wyniki. Możesz również rozważyć znalezienie sposobów na zwiększenie ruchu w celu określenia ZWYCIĘSKIEJ odmiany w krótszym czasie.

Im większy ruch w witrynie, tym szybciej znajdziesz statystycznie istotne wyniki. I odwrotnie, jeśli ruch w witrynie jest zbyt niski, ustalenie statystycznie istotnego wyniku zajmie dużo czasu.

Wniosek

  • Należy zawsze uruchamiać testy, dopóki nie będzie co najmniej 95% prawdopodobieństwa, że nowa odmiana zwiększy konwersje.
  • Twoje testy powinny trwać co najmniej siedem dni, aby upewnić się, że wyniki mogą stać się w czasie.
  • Procentowa poprawa dla najważniejszego celu dla Twojego projektu ma większe znaczenie niż cokolwiek innego. Jeśli twoim celem jest wygenerowanie większej liczby potencjalnych klientów, powinieneś oprzeć wyniki testu na tym, a nie na liczbie osób, które klikną Twój “Dowiedz Się Więcej” guzik.
  • Inne cele można śledzić oprócz celu, który wyłoni zwycięzcę, ale nie należy opierać sukcesu lub porażki testu na tych wynikach.
  • Jeśli masz mały ruch i niewielką poprawę konwersji, musisz uruchomić test przez długi okres czasu. Kalkulator czasu trwania testu da ci wyobrażenie o tym, jak długo będziesz potrzebować, aby uruchomić test w oparciu o oczekiwaną poprawę i ruch w witrynie.
Total
0
Shares
Related Posts