Multivariat testing og A / B-test forenklet: Hvordan teste nettsideoptimaliseringsteknikker

multivariate testing

Introduksjon:

Det er mange nettsteder og applikasjoner som vi ofte bruker. Mens vi bruker dem, legger vi sannsynligvis ikke mye vekt på hvordan nettstedet ble den nåværende versjonen - på den annen side, hvis noe ikke virker riktig, vil vi sannsynligvis aldri besøke nettstedet / appen tilbake igjen.

Spørsmålet er - hva skal til for å få “det” riktig?

Hva du vil lære:

• Multivariat testing og A / B-testing
• Hva er multivariat testing?
• Typer MVT-testing:
• Hvordan gjøre multivariat testing
• Feil som bør unngås
• Gjør og ikke gjør
• Fordeler og ulemper
• A / B-testing
• Fordeler og ulemper med A / B-tester:
• A / B-testing vs multivariat testing vs delt testing
• Multivariat testing
• A / B / Split / Multivariate testverktøy
• Anbefalt lesing

Multivariat testing og A / B-testing

Det er oftest funksjonaliteten - som vi har bunnsolid QA-prosesser for å teste og evaluere. Men “det” også består av design, en kombinasjon av elementer, plassering av innhold på en side, noen ganger til og med farge, orientering etc. som spiller en fremtredende rolle i generell aksept av produktet av sluttbrukeren.

En gren av testing som kan hjelpe mye på dette området er Multivariat testing og A / B-testing .

I dagens artikkel vil vi diskutere Multivariat (MVT) testing og A / B-testing typer i detalj.

Begge disse er målrettet mot optimalisering av nettsider og forbedring av konverteringsfrekvensen (den hastigheten som besøkende blir kunder eller tilbakevendende besøkende - i sin tur virksomhet) for et nettsted.

Hva er multivariat testing?

La oss begynne med en Eksempel .

Hvis et bestemt nettsted jobber med å designe / redesigne / bestemme effektiviteten til en side som skal ha et bilde og den tilhørende teksten - Etter nøye vurdering og overveielse om selskapet shortlists følgende to bilder og to setninger - de mulige kombinasjonene av dem kan være som følger:

1) Bilde 1

2) Bilde 2

3) Overskrift / setning 1: “Målet må være null ulykker”

4) Overskrift / setning 2: “Vårt mål: Ingen ulykker”

Kombinasjoner:

I eksemplet ovenfor har vi testet variasjoner til kombinasjonene av feltene for å se hvilken som passer bra. Enkelt sagt, akkurat der er det multivariat testing.

Mer teknisk og spesifikt brukes nedenstående formel for å bestemme nei. av mulige kombinasjoner som er nødvendige for å teste de forskjellige kombinasjonene, og det er:

(# Variasjoner på Element A) X (# Variasjoner på Element B) ... .. = (Totalt # Variasjoner)

I eksemplet ovenfor er det to varianter for overskriften så vel som to varianter for bildet.

I henhold til formelen er det totalt 4 kombinasjoner av variantene som skal testes samtidig for å finne den beste variasjonskombinasjonen.

• Hovedmålet med å utføre multivariat testing er å måle og bestemme effektiviteten til hver variasjonskombinasjon på det endelige systemet.
• Etter å ha fullført variasjonskombinasjonene, startes testing for å bestemme den mest vellykkede designen når nok trafikk er mottatt av nettstedet.
• Resultatene oppnådd med hver variasjonskombinasjon sammenlignes med de andre for å finne ut hvilket design som er best egnet for å nå det endelige målet (i de fleste tilfeller er det Salg ).
• Denne statistikken gir et klart bilde av om den spesielle endringen har vært nyttig eller ikke.
• En positiv eller negativ innvirkning på brukerens interaksjon kan også analyseres

Hele denne prosessen med kontinuerlig multivariat testing, forbedring av design basert på oppnådde resultater og oppnåelse av forretningsmålene på grunn av det ( Eksempel: lengre engasjementstid for en bruker på en bestemt side) kalles Optimalisering av destinasjonssider - hvis mål er å bringe flere brukere og holde dem engasjert på en bestemt side.

Denne prosessen innebærer i stor grad testing med flere varianter, innsamling av statistikk og endringer basert på oppnådde verdier / resultater.

Ikke bare begrenset til nettsteder, men multivariat testing er også nødvendig for mobilapper. Nettsteder og mobilapper er sammensatt av kombinasjoner av variable elementer, og derfor blir den multivariate testingen gjort for å finne ut hvilken kombinasjon av variasjoner som fungerer best.

Dette spiller en avgjørende rolle i internettmarkedsføringsstrategien.

Typer MVT-testing:

Basert på fordelingen av trafikk til flere variantversjoner, er det flere typer multivariate tester som kan utføres:

a) Full faktortesting:

youtube til mp4 converter online gratis uten nedlasting

Det er den mest foretrukne formen for MVT-testing der alle mulige elementvariasjonskombinasjoner testes likt ved å omdirigere nettstedstrafikk til den til en vinner blir funnet. Alle mulige kombinasjoner er gitt lik sannsynlighet. Det beste med denne metoden er at det ikke er noen antagelser, og at den er basert på harde tall / statistikk som gjør den veldig pålitelig og mest anbefalt.

Den eneste ulempen er trafikken. Med økningen i antall forskjellige kombinasjoner kreves det mye nettstrafikk for å analysere dataene og bestemme vinneren.

b) Fraksjonell eller delvis faktoriell testing:

Som navnet indikerer, er bare en brøkdel av alle variantkombinasjonsversjoner utsatt for nettstedstrafikk. Statiske matematiske beregninger og analyser gjøres for resten av kombinasjonene for å finne den beste konverteringsfrekvensen.

Taguchi-metoden er den mest populære metoden for fraksjonell faktoriell multivariat testing. Denne metoden gir et mindre nøyaktig resultat ettersom bare et utvalg av variantene blir testet og ikke alle. Selv om denne metoden tar kortere tid å analysere vinneren, kan resultatet aldri betraktes som nøyaktig som det kan være i tilfelle Full Factorial-testing.

c) Adaptiv multivariat testing:

Dette er en ny tilnærming til multivariat testing. I dette tilfellet analyseres de besøkendes sanntidssvar på websiden for å bestemme den beste variasjonskombinasjonsversjonen.

d) Diskret valg:

Denne metoden avdekker interaksjonseffektene, si hvordan mennesker skaper avveining fra et kjøpsbeslutnings perspektiv. Det er en kompleks teknikk som systematisk varierer attributtene eller innholdselementene.

e) Optimal design:

Denne metoden inkluderer iterasjoner og testbølger. I tillegg til å teste det maksimale antall kreative variasjoner på minimum tid, tillater det også markedsførere å vurdere relasjoner, interaksjoner og begrensninger på tvers av innholdselementene til et nettsted eller en app. Dette hjelper deg med å finne den optimale løsningen.

La oss gå videre til et viktig spørsmål: Kan nettmarkedsføring optimaliseres ved multivariat testing?

Svaret er et rungende “ja”.

Ved hjelp av multivariat testing kan vi tydelig bestemme hva som skal implementeres og hva som skal unngås. Alt er fokusert på den besøkendes opplevelse.

Følgende aspekter vurderes når multivariat testing skal utføres:

#1. Forutsetningen for multivariat testing er å: Definer markedsføringsmål eller undersøk mål for nettstedet. Nedenfor er noen eksempler:

• Få maksimal inntekt / fortjeneste ved å annonsere, selge produkter, betale for klikk.
• Skape merkevarebevissthet i klientellet
• Spar utgifter, for eksempel: Veiled brukerne til selvbetjening gjennom vanlige spørsmål i stedet for online, i personlig tjeneste.

#to. Bare de tingene skal testes som virkelig retter seg mot organisasjonens markedsføringsmål.

# 3. Velg bare de elementene som vil måle markedsføringsmålene nøyaktig.

Eksempler kan være:

• For å tjene mer penger, bør sidene som inneholder alternativer som 'Kjøp nå' / 'betaling' / strømmer for å fullføre en registrering eller registrere deg, være fokusert på.
• For å skape bevissthet for besøkende og markedsføring, kan 'send til en venn' / 'henvis en venn' / 'del' osv. Være nyttig
• For å spare penger kan du fokusere på elementer som ofte stilte spørsmål, hjelp, kontakt, ring, klikk 'Legg i handlekurv' som fører til takkesider osv.

Hvordan gjøre multivariat testing

1. Identifiser et problem

Det første trinnet er å identifisere problemet. Dette gir deg muligheten til forbedring for nettstedet eller appen din. For eksempel kan problemet være omtrent som hvorfor besøkende på nettstedet ikke klikker på nedlastingsknappen.

2. Formuler hypotesen

Lag en hypotese for å forbedre nettsiden. For eksempel kan hypotesen være at kunder ikke klikker på nedlastingsknappen fordi synligheten ikke er tiltalende. Så, ved å gjøre det tiltalende, ville det være økte nedlastinger.

3. Lag variasjoner

Velg faktorene og lag variasjoner. Anta at de to faktorene er 'Last ned' -overskrift og 'PDF-produsent' -link. Som et eksempel har vi under 12 varianter:

4. Bestem prøvestørrelsen

Finn ut hvor mange besøkende som kreves på hver side, hvor lenge du trenger å kjøre testen, hvor mange varianter du har og den statistiske signifikansen.

5. Test verktøyene dine

c ++ spørsmål om koding av intervjuer

Test alt (hovedsakelig fungerer nettsiden / appen din bra) før du begynner å kjøre testen, slik at ingenting skader testresultatene dine.

6. Begynn å kjøre trafikk

Begynn å kjøre trafikken til variantene dine.

7. Analyser resultatene dine

Etter å ha utført testen i betydelig tid, får du resultatene til å analysere. Et eksempel er vist nedenfor:

De som har 95% eller mer konfidensnivå er statistisk signifikante resultater.

8. Lær av resultatene dine

Dette er det siste og et viktig trinn. Fra den multivariate testen lærer du om websidene / appen din og dens besøkende. Du kan bruke denne læringen til fremtidige tester.

Et ord med forsiktighet - Vær oppmerksom på følgende når du utfører multivariat testing:

Feil som bør unngås

1. Feil valg av varianter . For f.eks. anta at vi endrer skriftstørrelse, farge og stil på overskriftsteksten samtidig under en versjon av variasjonskombinasjonen. Det vil da være vanskelig å analysere fra mottatte data om hvilken variasjon i overskriften (enten skriftstørrelse, farge eller stil) som fikk besøkende til å svare annerledes.
2. For kort spenn av en multivariat testkjøring . Å avslutte testkjøringen tidlig og velge et lite utvalg data for å analysere vinneren, kan føre til ugyldig statistikk.
3. For lang varighet av en multivariat testkjøring. Å kjøre testen for lenge til å analysere marginaldataene fører også til mye tidsspill
4. Feil forståelse av nøkkelindikatorer. Fokusere, analysere og spore variabelkombinasjonen av de indikatorene som er ubetydelige eller ikke relatert til sluttmålet
5. Bare noen få viktige ytelsesindikatorer blir identifisert mens mange andre ikke blir sporet
6. Bestemme hvilken type besøkendes trafikk til en webside. Dette kan være veldig risikabelt og problematisk da ikke alle besøkende er like.
7. Analyserer ikke resultatene og gjøre de rette endringene på nettstedet.

Gjør det og ikke skal

Fra listen ovenfor, et sammendrag av gjør og ikke skal kunne vært:

Ikke gjør:

Ikke prøv å inkludere mange variabler i testen. Jo mer antall variabler som skal testes; jo større vil kombinasjonene være, noe som igjen betyr at det kreves mer trafikk for å samle betydelig statistikk.

Gjør:

1. Forhåndsvisning av alle variantkombinasjonsversjonene før du starter testkjøring fordi noen av dem kan være inkompatible eller ulogiske. For eksempel er en av de variable kombinasjonene at Headline sier “50% rabatt på abonnement” og av-knappen som sier “Gratis abonnement”. Slike bør fjernes.

2. Bestem effekten av kombinasjonsversjoner på konverteringsfrekvensen. Å ta med bare de kombinasjonene som har større innvirkning på konverteringsfrekvensen, er en god ide.

3. Anslå nettsidetrafikken for å samle signifikante statistiske data. Før du starter testkjøringen, er det bedre å ha en klar ide om nettsidetrafikken. Hvis en webside bare har 100-200 besøkende per dag, bør vi bare vurdere noen få variabler for å utføre den multivariate testen.

Fordeler og ulemper

Til nå har vi sett hva som er multivariat testing, hvordan det gjøres, feil, faktorer, gjør og ikke osv. La oss nå se på noen Fordeler og Ulemper av det:

Fordeler:

1. Bedre innsikt og forståelse av effekten av variabler eller elementer på konverteringsfrekvensen Mer trafikk fører til mer statistiske data som igjen fører til bedre analyse og beslutningstaking når det gjelder den beste variabelkombinasjonen for å nå det endelige målet.
2. Når det gjelder design og layoutendringer, er multivariat testing fleksibel.

Ulemper:

1. Multivariate testkjøringer tar lengre tid å fullføre.
2. Det kreves mye trafikk på siden for å få betydelig statistikk.
3. Mer komplisert å sette opp testkjøringer.
4. Krever flere antall versjoner av variabel kombinasjon for testkjøring.

A / B-testing

Det å være en kort liste over alle ting med multivariant testing, er det ingen slutt på de forskjellige testene som kan gjøres for å utføre optimalisering av nettsider, og en annen populær metode er A / B-testing .

Hva er A / B-testing?

( bilde kilde)

A / B-testing er også noen ganger kjent som Delt testing . Splittestingen er imidlertid annerledes. Vi vil se forskjellen mellom dem i den senere delen av denne opplæringen.

I A / B-testing blir to versjoner av samme nettside testet med like mye nettsidetrafikk. Versjonen som får maksimalt antall konverteringer er den ultimate vinneren. Denne nye versjonen øker definitivt konverteringsfrekvensen.

A / B delt testing Eksempel:

La oss forstå arbeidet med A / B-testing med et lite eksempel :

Ovenstående bilde er av en webside for sikkerhetsbevissthet.

Dette bildet består av en grå knapp som sier “ Ta en quiz og vinn spennende premier Denne originale nettsiden blir betraktet som 'En versjon'. Nå er ‘B-versjonen’ designet med en variasjon i fargen på knappen fra grå til rød.

Dette vises i bildet nedenfor:

Live nettsidetrafikk blir viderekoblet til begge versjoner. Etter at nok besøkende har tatt testen, og med mottatte statistiske data, kan det enkelt bestemmes hvilken versjon som har høyere effekt på konverteringsfrekvensen.

Her i eksemplet ovenfor, en knapp som sier “ Ta en quiz og vinn spennende premier ”I rød farge tiltrukket flere besøkende til å trykke på knappen og ta en quiz enn den eldre grå knappen.

Dermed ble websidens endelige mål om å øke mer inntekter oppnådd.

Fordeler og Ulemper av A / B-tester:

Fordeler:

1. Enkel og enkel metode for å sette opp eksperimenter for optimalisering av nettsider.
2. Pålitelige og nøyaktige resultater kan enkelt bestemmes selv med liten nettsidetrafikk.
3. Tester kan utføres veldig raskt, og statistiske data kan analyseres for å nå det endelige målet.
4. Ikke mye avhengig av noen form for teknologi.
5. Mer egnet for endringer i layout, innhold, design av hvilken som helst webside.

Ulemper:

1. Bare noen få eller si et begrenset antall endringer kan gjøres på en webside om gangen.
2. Det er ikke mulig å bestemme virkningen av forskjellige variabler som er tilstede på en webside på hverandre.

Sammenligningstabell:

A / B-testing vs multivariat testing vs delt testing

A / B-testing, multivariat testing og delt testing er de tre hovedtypene av UX (User experience) varianttesting. La oss se hvordan de er forskjellige fra hverandre.

De to nedenstående bildene gir deg en veldig god illustrativ sammenligning mellom A / B-testing og multivariat testing.

Multivariat testing

Delt testing:

Vi har en annen variant her kjent som delt URL-testing, som er mye mer komplisert enn A / B-testing og involverer endringer på serversiden , hvor vi har to forskjellige websider som testes mot hverandre. Denne typen testing fungerer bra for destinasjonssider i tilfeller der designteamet må bestemme hvilken som skal fungere bedre.

A / B / Split / Multivariate testverktøy

Det er mange verktøy tilgjengelig i markedet for disse tre typene UX-testing. Jeg vil nevne noen få beste her som du kan utforske. De er Google Optimize, Optimizely, VMO, Qubit, Maxymiser og AB Tasty.

Konklusjon :

Begge metodene, A / B og multivariat testing, øker konverteringsfrekvensen, forbedrer ytelsen og optimaliserer websider og apper. Begge er nyttige på sin egen måte og kommer med sine unike mangler og utfordringer - det er opp til oss å identifisere og analysere hvilken metode som passer best til kravet.

Vi, testere, er hovedsakelig involvert i å teste endringene som er gjort for å implementere multivariate eller A / B-tester. Når disse endringene er gjort og testet, kan disse kjøres på produksjonsmiljøet av markedsførings- eller forretningsteamet for å samle resultatene.

Så det er veldig viktig at testere tester disse endringene veldig nøye, ellers vil de endelige resultatene være unøyaktige, noe som resulterer i enorme forretningstap, da dette mesteparten av tiden er direkte relatert til forretningsinntektene.

Anbefalt lesing

• Beste verktøy for testing av programvare 2021 (QA Test Automation Tools)
• Testing Primer eBook Download
• Statisk testing og dynamisk testing - Forskjellen mellom disse to viktige testteknikkene
• Lastetesting med HP LoadRunner-veiledninger
• Forskjellen mellom stasjonær, klientservertesting og nettesting
• Hva er gammatesting? Den siste testfasen
• Hva er Compliance Testing (Conformance testing)?
• Programvaretesting QA Assistant Job