Keresés és weboldal
A/B teszt: tervezés, minta és eredményértékelés
A pozitív különbség még nem biztos nyertes. A jó teszt egy kérdést, következetes véletlen kiosztást és előre rögzített értékelési szabályt kapcsol össze.
Kontrollált összehasonlítás
A / B
Valódi különbség vagy ingadozás?
RövidenAz A/B teszt olyan összehasonlító kísérlet, amelyben a jogosult résztvevőket véletlenszerűen osztják két változat közé, és előre megadott mutatóval értékelik a különbséget. A megbízható következtetéshez működő kiosztás, következetes mérés és a választott statisztikai módszerhez illő értékelési szabály kell. Egy puszta előtte–utána összevetés nem ugyanilyen kísérlet.
Más elnevezések: A/B testing, split teszt, AB teszt.
Mi tesz egy összehasonlítást A/B tesztté?
Az A/B tesztben az A általában a jelenlegi megoldás, a B a vizsgált változat. A lényeg a véletlen, egyidejű kiosztás: a megfelelően kialakított csoportok között így a változtatáson kívüli tényezők várhatóan kiegyensúlyozottabban oszlanak meg. Ez nem jelent tökéletes azonosságot minden megfigyelt tulajdonságban, és nem helyettesíti a mérés ellenőrzését. A kísérlet érvényességéhez a technikai végrehajtás is hozzátartozik. Tervezéskor előbb a fő mutatót és a kiosztás egységét rögzítsd. Kész eredménynél a vásárlásszám előtt a csoportok méretét és a mérés érvényességét nézd meg.
Ha hétfőn egy oldalt, kedden másikat mutatsz mindenkinek, közben a nap, a kampány és a látogatói összetétel is megváltozhat. Ez előtte–utána összevetés, nem ugyanaz a vizsgálat. Tájékozódásra hasznos lehet, de az eltérést nem rendelheted automatikusan a designhoz. A két módszert a riportban külön nevezd meg, hogy a döntéshozó értse, milyen erős következtetésre van lehetőség.
A módszer alapjait és gyakori buktatóit a kontrollált online kísérletekről szóló kutatási összefoglaló tárgyalja. A saját teszttervben nem kell minden szakmai részletet újra levezetni, de a kérdést, a kiosztást és az értékelést pontosan rögzíteni kell. Egy szolgáltató felületén megjelenő „nyertes” jelzés csak az ott használt módszer feltételei mellett értelmezhető.
Milyen kérdést érdemes tesztelni?
Indulj konkrét akadályból vagy üzleti döntésből. Például a termékoldalról hiányzó kompatibilitási magyarázat miatt a vásárló nem tudja ellenőrizni az illeszkedést. A B változat a választási ponton megmutatja az ellenőrzött listát. A kérdés az lehet, hogy ez növeli-e a megfelelő vásárlások arányát úgy, hogy a téves választás miatti visszaküldés nem romlik. A példa kitalált tervezési helyzet.
A „melyik oldal tetszik jobban?” más kutatási kérdés. Véleményt kérhetsz róla, de ez nem helyettesíti a használat és a vásárlás megfigyelését. Ugyanígy a gombkattintás sem feltétlenül azonos az üzleti céllal. Ha a B változat feltűnőbb gombot kap, több véletlen kattintás is történhet, miközben a sikeres feladatvégzés változatlan. A fő mutatót a tényleges döntéshez válaszd.
Egy összetett új oldal teljes csomagként is tesztelhető. Ilyenkor a csomag hatásáról következtethetsz, nem az egyes szövegek vagy képek külön szerepéről. Ha a csapat később azt szeretné tudni, melyik elem számított, más tervre lehet szükség. Az értelmezési határt előre nevezd meg, különben a kísérlet után könnyen olyan történetet mondtok el, amelyet a felépítés nem vizsgált.
A tesztterv kötelező döntései
Előbb a kérdés, utána az eszköz
- Jogosult csoport
Kit osztunk ki, és ki marad ki előzetes szabály alapján?
- Változat és cél
Mit módosítunk, melyik fő mutatót vizsgáljuk?
- Minta és időablak
Mekkora eltérésre tervezünk, mikor érett az eredmény?
- Döntési szabály
Mikor vezetjük be, vetjük el vagy állítjuk le a tesztet?

| Döntés | Szemléltető kitöltés |
|---|---|
| Jogosult csoport | Adott termékoldal megfelelő látogatói |
| Kiosztási egység | Következetesen azonosítható látogató |
| Változat | Ellenőrzött kompatibilitási magyarázat |
| Fő mutató | Vásárlóvá váló jogosult látogatók aránya |
| Védőmutató | Téves választáshoz kapcsolódó visszaküldés |
| Döntés módja | Előre választott statisztikai értékelés |
A teszttervnek legyen verziója és felelőse. Ha indulás előtt változik a cél, frissítsd a dokumentumot. Ha menet közben lényeges hiba derül ki, írd le, miért kellett megállni vagy újrakezdeni. Az eredeti kérdés és a későbbi feltáró elemzés külön maradjon. Így a csapat később meg tudja különböztetni a tervezett bizonyítékot az eredmény láttán született új ötlettől.
Látogató, munkamenet vagy ügyfél legyen az egység?
A randomizáció egysége azt mondja meg, mit osztasz a változatok közé. Ha a látogatót osztod ki, lehetőleg ugyanazt a változatot lássa visszatéréskor is. Ha minden oldalmegnyitás új kiosztás, egy ember keverve találkozhat a két megoldással. Ez más hatást vizsgál, és megnehezíti a következetes értékelést. Az egységet a termék működéséhez és az adatkezelés lehetőségeihez igazítsd.
B2B-környezetben több kapcsolattartó ugyanahhoz a céghez tartozhat. Ha az egyik A-t, a másik B-t lát, később közös döntésükben keveredhet a hatás. Ilyenkor mérlegelhető a céges szintű kiosztás, de ez más mintatervezést és elemzést kíván. Nem kell minden kis céloldalhoz bonyolult rendszert építeni, viszont a következtetés korlátját ismerni kell. Külön probléma lehet, ha ugyanaz az ember több böngészőből érkezik.
Az elemzés egysége és a véletlen kiosztás ne mondjon ellent egymásnak. Ha ugyanazon ember több eseményét egymástól független megfigyelésként kezeled, alábecsülheted a bizonytalanságot. A konkrét statisztikai megoldást szakértővel vagy az eszköz dokumentált módszerével ellenőrizd. A nagy eseményszám nem feltétlenül jelent ugyanennyi független résztvevőt, ezért a riportban az esemény és a résztvevő száma külön is fontos lehet.
Mintatervezés: miért nem elég két hét?
A szükséges adatmennyiség a kiinduló aránytól, a keresett legkisebb érdemi különbségtől és a választott hibakockázattól függ. Ritka vásárlásnál és kis javulási cél mellett sok résztvevő kellhet. A két hét önmagában nem statisztikai feltétel. Fontos lehet a működési ciklusok lefedése, de a naptári idő nem helyettesíti a megfelelő minta tervezését. Ezt az indulás előtt kell megbecsülni.
A legkisebb érdemi különbséget üzleti szempontból válaszd. Mekkora változás fedezné a bevezetés és fenntartás költségét? A túl nagyra választott hatás gyorsabbnak látszó teszttervet adhat, miközben a kisebb, még értékes eltérésről nem fogsz tudni dönteni. A túl kicsi cél pedig a rendelkezésre álló forgalommal megvalósíthatatlan lehet. A terv egyensúly a kérdés jelentősége és a reális adatlehetőség között.
A statisztikai erő a meghatározott eltérés felismerésének tervezett valószínűségét jellemzi az adott feltételek mellett. Nem jelenti azt, hogy minden teszt biztosan talál nyertest. Ha nincs elég forgalom, egyszerűsítheted a kérdést, más kutatási módszert választhatsz vagy elvégezhetsz egy indokolt hibajavítást. Ne növeld mesterségesen az adatmennyiséget ugyanazon résztvevők ismételt eseményeinek független megfigyelésként számolásával.
Egy számpélda: arány és százalékpont
Szemléltető, kitalált tesztadat: az A csoport 5 000 résztvevőjéből 100 vásárol, a B csoport ugyanennyi résztvevőjéből 125. Az A vásárlói aránya 2%, a B-é 2,5%. A különbség 0,5 százalékpont. A relatív eltérés 0,5 osztva 2-vel, azaz 25%. A „25%-kal jobb” állításból önmagában nem derül ki, mekkora az alap és mekkora a bizonytalanság.
Ugyanaz az alap, eltérő vásárlásszám
Mindkét kitalált csoportban 5 000 résztvevő szerepel.
100 Vásárló
125 Vásárló

A példában a 25 többletvásárló megfigyelt csoportkülönbség, nem automatikusan bizonyított jövőbeli többlet. A véletlen ingadozás miatt egy másik mintában más számok jelenhetnének meg. A statisztikai értékelés ennek bizonytalanságát próbálja a választott modellben leírni. Ezért a darabszám, az arány és a különbség mellé a módszer szerinti intervallum vagy más megfelelő bizonytalansági mutató is szükséges.
A vezetői összefoglalóban mindkét mérték hasznos. A százalékpont a tényleges arányváltozást, a relatív százalék az alaphoz viszonyított nagyságot mutatja. Ne használd őket felváltva. A 2%-ról 2,5%-ra változó arány nem 0,5%-os relatív növekedés. A helyes megnevezés megakadályozza, hogy a csapat ugyanarról a tesztről egészen különböző üzleti képet kapjon.
Mit mond az intervallum és mit nem?
A hagyományos, gyakorisági megbízhatósági intervallumot a választott mintavételi és számítási eljárás tulajdonságaként kell értelmezni. Nem ugyanaz, mint annak közvetlen valószínűsége, hogy a már rögzített, ismeretlen paraméter az adott elkészült intervallumban van. Az alapértelmezést a NIST statisztikai kézikönyve részletezi. A használt eszköz módszere ettől eltérő, például bayesi értelmezést is használhat.
A fenti példában egyszerű, független kétarányos normálközelítéssel a 0,5 százalékpontos különbség körüli 95%-os intervallum hozzávetőleg −0,08 és +1,08 százalékpont között lenne. Ez kizárólag szemléltető számítás, a módszer feltételeivel. Tartalmazza a nullát és kis negatív eltérést is. A pontbecslés pozitív, de ebből az egyszerű értékelésből nem következik biztos előny. Más indokolt eljárás eltérő intervallumot adhat. A NIST kétarányos összefoglalója ezt a Wald-féle közelítést és pontosabb lefedettséget célzó alternatívákat is ismertet.
A pontbecslés körül tartomány van
- Közelítő alsó határ
- −0,08 ppKis negatív eltérés is belefér ebbe az értékelésbe.
- Megfigyelt különbség
- +0,5 ppA B és az A vásárlói arányának eltérése.
- Közelítő felső határ
- +1,08 ppA 95%-os intervallum a nullát is tartalmazza.

Az intervallum üzleti értelmezése fontosabb, mint egyetlen színes jelzés. Ha a lehetséges eltérések között még számottevő veszteség is van, más döntés lehet indokolt, mint amikor a bizonytalanság már szűk. A statisztikai és a gyakorlati jelentőséget külön kezeld. Nagy mintában egy nagyon kicsi eltérés kimutatható lehet úgy is, hogy a fejlesztés fenntartását nem indokolja. A döntési küszöböt előzetesen beszéljétek meg.
Miért veszélyes a korai leállítás?
Ha a hagyományos, rögzített mintára tervezett tesztet folyamatosan nézed és az első kedvező jelzésnél leállítod, megváltoztatod az eredeti hibakockázatot. A pillanatnyi különbség véletlenül is lehet nagy. Ezért az értékelési szabálynak illenie kell a megfigyelés módjához. Léteznek szekvenciális eljárások, de nem elég egy ilyen nevet használni: az eszköznek és a döntésnek ténylegesen azt a módszert kell követnie.
A működési hibát ettől függetlenül figyelni kell. Ha a B változat elrontja a fizetést vagy hozzáférhetetlenné teszi az űrlapot, a résztvevőket nem kell a tervezett mintáig hibás állapotban tartani. A leállítás ilyenkor működési döntés. A jelentésben rögzítsd, hogy a tesztet hiba miatt megszakítottátok, és ne nevezd az addigi eltérést kész üzleti eredménynek. A javított változat új vizsgálatot kívánhat.
A leállítási lap előre mondja meg, mi történik elegendő adatnál, bizonytalan eredménynél és technikai hibánál. A határidő lejárta nem kötelez nyertes kihirdetésére. Lehet érvényes döntés az, hogy nem áll rendelkezésre elég bizonyíték a különbségről. Az „A és B egyforma” ennél erősebb állítás, amelyhez megfelelő ekvivalencia- vagy más erre tervezett vizsgálat szükséges lehet. A bizonyíték hiánya nem automatikusan az azonosság bizonyítéka.
Kiosztási hiba és mérési eltérés
Az első ellenőrzés az legyen, hogy a tényleges csoportméret összhangban áll-e a tervezett kiosztással. Véletlen eltérés normálisan előfordul, de a gyanús arány mérési vagy végrehajtási hibát jelezhet. Ennek formális vizsgálata a sample ratio mismatch, röviden SRM-ellenőrzés. A kísérleti kutatási összefoglaló ezt a megbízhatóság fontos ellenőrzéseként kezeli. A pontos küszöböt a módszerhez igazítsd.
A nyers csoportméret mellett nézd meg, hogyan keletkezik a részvételi esemény. Ha csak a változat teljes betöltése után számolod a látogatót, a lassabban működő változatból eltűnhetnek a korán távozók. Ekkor nem ugyanazt a jogosult csoportot hasonlítod össze. A kiosztás, a megjelenés és a konverzió eseménye külön időpont lehet. A mérési tervben ezek szerepét és kapcsolatát előre tisztázd.
Ellenőrizd az ismételt küldést, a belső forgalmat és a változatok közti átjárást is. Az adatot ne utólag, kényelmes eredmény érdekében tisztítsd. A valóban hibás megfigyelések kezelésének szabályát írd le, és mutasd meg, milyen hatása volt a döntésre. Ha a hiba a két csoportot eltérően érinti, az addigi eredmény használhatósága kérdésessé válhat. Ilyenkor a helyes lépés lehet az újraindítás.
Több mutató és utólagos szegmensek
Ha sok mutatót vizsgálsz, könnyebb valamilyen kedvező eltérést találni. Ezért legyen egy előre megadott fő eredmény, a további mutatók pedig előre megnevezett védő- vagy feltáró szerepet kapjanak. A több összehasonlítás kezeléséhez a választott statisztikai tervhez illő eljárás kell. Nem helyes a teszt után egyszerűen azt a mutatót fő célnak nevezni, amelyik éppen jól alakult.
A szegmensvizsgálat hasznos új kérdést adhat. Lehet, hogy mobilon más akadály jelentkezik, vagy a visszatérők másképp értik az ajánlatot. Ha ezeket az elemzéseket utólag kerested, feltáró eredményként mutasd be. Egy apró csoport látványos különbsége nem feltétlenül ismétlődik meg. A következő vizsgálat már célzottan tervezhető erre a kérdésre, megfelelő mintával és előzetesen rögzített döntési szabállyal.
A csoportok közti különbség vizsgálata maga is külön kérdés. Abból, hogy mobilon van egy kedvező jelzés, asztali gépen pedig nincs, nem következik automatikusan, hogy a két csoport hatása eltér. Ehhez a különbséget közvetlenül is vizsgálni kell. A riportban ezért ne csak a színes eredménycímkéket hasonlítsd össze, hanem a becsléseket, a bizonytalanságot és az elemzés előzetes vagy utólagos jellegét is.
Üzleti döntés a kísérlet után
A bevezetéshez a fő mutató, a védőfeltételek és a fenntartás ráfordítása együtt számít. Több vásárlás lehet kevesebb fedezettel, több beküldés lehet rosszabb leadminőséggel. Ha a változat új kézi munkát hoz létre, ennek költségét is becsüld meg. A kísérlet egy meghatározott környezetben adott bizonyítékot, nem korlátlan jövőbeli ígéretet. Az eredményből a valós döntéshez vezető számítást külön írd le.
A döntési jegyzet őrizze meg az A és B változatot, a kiosztási szabályt, az időszakot, a mintát és az értékelés módszerét. Kerüljön bele a bizonytalanság és az ismert zavaró események listája. A végén szerepeljen egyértelműen, hogy bevezetitek, elvetitek vagy további vizsgálat kell. A bizonytalan tesztet is tartsd meg, mert később fontos lehet, hogy melyik kérdést már milyen feltételekkel vizsgáltátok.
Bevezetés után a technikai működést ismét ellenőrizd. A tesztelt változat és a mindenki számára kiadott megoldás eltérhet a megvalósításban. A tesztkód eltávolítása, a mérés egyszerűsítése és a végleges tartalom egyezése külön feladat. Figyeld a fontos mutatókat, de a későbbi idősoros ingadozást ne nevezd automatikusan az eredeti kísérlet cáfolatának. A környezet közben újra változhatott.
Keresőoptimalizálás és tesztváltozatok
Ha külön URL-en futnak a változatok, a kereső számára is következetes jelzések kellenek. A Google weboldaltesztelési útmutatója többek között az alternatív tesztoldalak canonical jelöléséről, az ideiglenes átirányításról és a teszt lezárásáról ír. Az útmutató nem a statisztikai teszttervet helyettesíti, hanem a keresési megjelenéshez kapcsolódó végrehajtást segíti. A konkrét megoldást a teszt technikájához igazítsd.
A keresőnek és az embereknek szándékosan eltérő tartalom mutatása nem jó megoldás a kísérlet elrejtésére. A teszt ne maradjon korlátlan ideig lezáratlan technikai állapotban. Ha befejeződött, kerüljön ki a végleges változat, a már szükségtelen átirányítás és kód pedig legyen eltávolítva. A művelet után ellenőrizd a címeket, a canonical jelzést és a működést, hogy a kísérlet ne hagyjon maga után elavult oldalpárokat.
Kitöltött előzetes tesztlap egy webshophoz
A következő lap kitalált munkapélda egy alkatrész-webshophoz. A kiinduló megfigyelés az, hogy az érdeklődők nem találják meg a támogatott készülékváltozatokat. Az A oldalon a lista külön dokumentumban szerepel, a B oldalon a termékválasztás mellett is olvasható. A teszt a magyarázat teljes megoldását vizsgálja, nem egyetlen szó vagy szín hatását. A résztvevők jogosultsága ugyanahhoz az érintett termékkörhöz kapcsolódik.
A fő mutató a kísérletbe bevont résztvevők közül a megadott időablakban vásárlóvá válók aránya. A számláló nem az összes vásárlási esemény, mert egy ember többször is rendelhet. A vásárlási időablakot a saját döntési ciklusból kell kiválasztani, és mindkét változatnál ugyanúgy alkalmazni. A teszt végén az utolsó belépőknek is meg kell kapniuk ezt az időt, mielőtt a lezárt értékelés elkészül.
A védőmutató a kompatibilitási okból visszaküldött rendelés. Ennek megfigyelése később érhet be, mint a vásárlásé. A tervben ezért külön szerepelhet egy korai működési áttekintés és egy későbbi üzleti döntés. Ha a kísérletből csak a vásárlást tudjátok megfigyelni, ezt a korlátot már induláskor rögzítsétek. A rossz termékválasztás kockázatát ne hagyjátok figyelmen kívül csupán azért, mert az első mutató gyorsabban elérhető.
A minimális érdemi eltéréshez a csapat kiszámolja, mekkora többletfedezet indokolná az új termékadat karbantartását. Ebből és a kiinduló vásárlói arányból készül a mintaterv a kiválasztott módszerrel. A dokumentum nem rögzít általános kötelező forgalomszámot. A konkrét becslést a vállalkozás saját adataival és az alkalmazott statisztikai eljárás feltételeivel kell elkészíteni. Az eredmény a teszt megvalósíthatóságáról is döntést adhat.
Indulás előtti technikai próbasor
Először a jogosultságot ellenőrizd: az érintett terméknél belép-e a résztvevő, más terméknél kimarad-e? Utána a kiosztást: új és visszatérő megnyitáskor következetes-e a változat? Kövesd végig a kosárig, a pénztárig és a tesztvásárlásig a támogatott környezetben. A megjelenő tartalom és a mérésbe kerülő változat ugyanaz legyen. Az ellenőrzés ne csak a kísérleti eszköz előnézeti módjára korlátozódjon.
Próbáld ki a lassú és a hibás állapotot is. Mi jelenik meg, ha a változatot adó szolgáltatás nem válaszol? Megmarad-e az alapoldal működése? A mobilos gomb nem ugrik-e el a későn betöltődő magyarázat miatt? A látogató ne kerüljön félkész állapotba. A Core Web Vitals és a funkcionális próba eltérő problémákra figyel, ezért az egyiket ne helyettesítsd a másikkal.
A mérési próbában az első megjelenés, a jogosultság, a változat és a vásárlás kapcsolatát ellenőrizd. Az ismételt oldalfrissítés ne hozzon létre fölösleges új résztvevőt vagy vásárlást. A belső tesztesetek megkülönböztethetők legyenek az éles adatoktól a kialakított szabály szerint. Az ellenőrző lapra csak a szükséges technikai azonosító kerüljön, felesleges személyes információ nélkül. A cél a hibák reprodukálhatósága, nem egy új adatgyűjtési lista létrehozása.
Döntési fa az eredmény megnyitásakor
Az első kérdés a végrehajtás: érvényes-e a kiosztás és használható-e a mérés? Ha nem, ne a konverziós színeket nézd tovább, hanem az adatproblémát javítsd. Ha a mérés megfelelő, ellenőrizd, hogy teljesült-e az előre rögzített megfigyelési és mintafeltétel. Ha még nem, az előzetes állapotot így nevezd meg. A következő lépés az elsődleges mutató és a védőfeltételek közös értékelése.
| Ellenőrzési kérdés | Ha a válasz nem megfelelő |
|---|---|
| A jogosult csoportot osztottuk ki? | A részvételi szabály vizsgálata |
| Megbízható az adatkapcsolat? | Mérési hiba javítása, szükség esetén új teszt |
| Beérett az előírt megfigyelési ablak? | Előzetes eredmény, további várakozás |
| Értelmezhető a fő mutató különbsége? | Bizonytalan eredmény dokumentálása |
| Vállalhatóak a védőmutatók? | Bevezetés elhalasztása vagy elvetése |
| Üzletileg indokolt a megoldás? | Ráfordítás és gyakorlati haszon újraértékelése |
A döntési fa végén nem kötelező nyertes címkének állnia. Lehet új mérési feladat, további adat vagy egy sikertelen változat lezárása. A dokumentum akkor jó, ha az eredmény kedvező és kedvezőtlen alakulásánál is ugyanazt a logikát követi. A csapat ne változtassa meg utólag a szabályt azért, mert az új design már elkészült és szeretné bevezetni. A ráfordítás megtörténte nem bizonyítja a változat előnyét.
Másolható eredményközlési minta
A rövid eredményközlés nevezze meg a kérdést, a csoportokat, az időszakot és a fő mutatót. Utána közöld a darabszámokat, az arányokat, az abszolút és relatív különbséget, valamint a választott módszer szerinti bizonytalanságot. Külön mondatban szerepeljen a védőmutató és az ismert korlát. A végén álljon a döntés és annak indoka. A látványterv vagy a teszteszköz képernyőképe csak melléklet, nem a magyarázat helyettesítője.
A szemléltető, ötezer fős csoportok eredményét például így lehet pontosan közölni: a megfigyelt vásárlói arány 2% és 2,5%, a különbség 0,5 százalékpont, relatívan 25%. A bemutatott egyszerű normálközelítés intervalluma a nullát is tartalmazza, ezért e számítás alapján nem tekintjük biztosan előnyösnek a B változatot. Ez nem éles teszteredmény, hanem minta a pontbecslés és a bizonytalanság közös bemutatására.
A lezárt dokumentumot dátummal és a bevezetett verzió azonosítójával tedd elérhetővé a jogosult csapatnak. Írd hozzá, mit távolítottatok el a tesztből, és mi maradt meg végleges funkcióként. A következő hasonló vizsgálatnál ez mutatja meg, melyik kérdésre milyen feltételekkel kaptatok választ. A naplózott bizonytalan eredmény is hasznos, mert megakadályozza, hogy ugyanazt a pontatlan következtetést később kész tényként idézzék.
A számpélda kézi ellenőrzése
Az A arányát úgy kapod meg, hogy százat elosztasz ötezerrel, majd százzal szorzol. A B ugyanígy százhuszonötből számol. A két százalék különbsége az abszolút eltérés; a relatív különbséghez ezt az A arányával osztod el. A kerekítést a végén végezd, különben a kis eltérések torzulhatnak. A táblázatban a nyers darabszámok is maradjanak meg, ne csak a kerekített százalék.
A kézi próba nem helyettesíti a teljes statisztikai értékelést, de felismerhetővé teszi a felcserélt nevezőt és a hibás százalékpontot. Az eredmény átadása előtt egy másik munkatárs is számolja újra legalább a fő arányokat. A bizonytalanság számításánál pedig ellenőrizzétek a használt módszert és az egységeket, különösen a százalék és a százalékpont közötti átváltást.
Gyakori kérdések az A/B tesztről
Elég, ha az egyik változat több vásárlást hozott?
A darabszám mellett a csoportméretet, a kiosztást és a bizonytalanságot is értékelni kell. Kisebb csoportból kevesebb vásárlás természetes lehet. A pozitív pontbecslés önmagában nem bizonyít biztos előnyt. A következtetést a választott módszer és az előzetes döntési szabály alapján vond le.
Miért nem jelent a 95% biztos nyertest?
A százalék jelentése a használt statisztikai eljárástól függ. A gyakorisági megbízhatóság és a bayesi valószínűség nem felcserélhető fogalom. Nézd meg az eszköz módszertanát, és ne fordíts minden jelzést arra, hogy a változat biztosan jobb. A gyakorlati jelentőséget külön is vizsgáld.
Leállíthatom a tesztet, amikor először nyer a B?
Csak olyan értékelési módszer mellett, amely ezt a megfigyelési és leállítási szabályt kezeli. Rögzített mintára tervezett tesztnél az ismételt korai megállítás torzíthat. Működési hiba esetén természetesen leállítható a változat, de a megszakítást és az eredmény korlátját rögzíteni kell.
Mit tegyek, ha kevés a forgalom?
Előbb becsüld meg, reális-e a keresett eltérés felismerése. Ha nem, vizsgálj konkrét használati akadályt, javíts bizonyított hibát vagy válassz más kutatási módszert. A kevés adatból ne gyárts biztos nyertest. A bizonyítékhoz illő, korlátozott következtetés is segíthet jó döntést hozni.
Források és szerkesztési megjegyzés
- Kohavi és szerzőtársai: online kontrollált kísérletek és A/B tesztek
- Google Search Central: weboldaltesztelés keresési szempontjai
- NIST: megbízhatósági intervallumok értelmezése
- NIST: két arány különbségének intervalluma és a normálközelítés korlátai
A forrásokat a feltüntetett frissítéskor ellenőriztük. A számpéldák oktatási minták, a javasolt ellenőrzőlisták szerkesztői útmutatók. A platformok működése és elnevezése változhat.
Vissza az összes fogalomhoz · Szerkesztési elvek · Javítást javaslok ehhez a szócikkhez
