Cwmwl Cudd-wybodaeth Optimeiddio: Sut I Ddefnyddio Peiriant Ystadegau I Brawf A / B Doethach, A Chyflymach

Strategaethau Profi Peiriannau Ystadegau a Phrofi A / B yn y ffordd orau bosibl

Os ydych chi'n bwriadu rhedeg rhaglen arbrofi i helpu'ch busnes i brofi a dysgu, mae'n debyg eich bod chi'n ei ddefnyddio Cwmwl Cudd-wybodaeth Optimeiddiol - neu rydych chi o leiaf wedi edrych arno. Yn optimaidd yw un o'r offer mwyaf pwerus yn y gêm, ond fel unrhyw offeryn o'r fath, efallai y byddwch chi'n ei ddefnyddio'n anghywir os nad ydych chi'n deall sut mae'n gweithio. 

Beth sy'n gwneud Optimizely mor bwerus? Wrth wraidd ei set nodwedd mae'r peiriant ystadegau mwyaf gwybodus a greddfol mewn teclyn trydydd parti, sy'n eich galluogi i ganolbwyntio mwy ar gael profion pwysig yn fyw - heb orfod poeni eich bod yn camddehongli'ch canlyniadau. 

Yn debyg iawn i astudiaeth ddall draddodiadol mewn meddygaeth, Mae profion / B yn dangos gwahanol ar hap triniaethau o'ch gwefan i wahanol ddefnyddwyr er mwyn cymharu effeithiolrwydd pob triniaeth. 

Yna mae ystadegau'n ein helpu i ddod i gasgliadau ynghylch pa mor effeithiol y gall y driniaeth honno fod dros y tymor hir. 

Mae'r rhan fwyaf o offer profi A / B yn dibynnu ar un o ddau fath o gasgliad ystadegol: Ystadegau mynych neu Bayesaidd. Mae gan bob ysgol amryw o fanteision ac anfanteision - Mae ystadegau mynych yn ei gwneud yn ofynnol i faint sampl gael ei osod cyn cynnal arbrawf, ac mae ystadegau Bayesaidd yn poeni'n bennaf am wneud penderfyniadau cyfeiriadol da yn hytrach na nodi unrhyw ffigur unigol ar gyfer effaith, i enwi dwy enghraifft. Uwch-bwer Optimizely yw mai hwn yw'r unig offeryn ar y farchnad heddiw i gymryd a gorau o ddau fyd dull.

Y canlyniad terfynol? Mae optimeiddio yn galluogi defnyddwyr i redeg arbrofion yn gyflymach, yn fwy dibynadwy, ac yn fwy greddfol.

Er mwyn manteisio i'r eithaf ar hynny, serch hynny, mae'n bwysig deall beth sy'n digwydd y tu ôl i'r llenni. Dyma 5 mewnwelediad a strategaeth a fydd yn eich galluogi i ddefnyddio galluoedd Optimizely fel pro.

Strategaeth # 1: Deall nad yw pob metrig yn cael ei greu yn gyfartal

Yn y mwyafrif o offer profi, mater a anwybyddir yn gyffredin yw po fwyaf o fetrigau rydych chi'n eu hychwanegu a'u tracio fel rhan o'ch prawf, y mwyaf tebygol ydych chi o weld rhai casgliadau anghywir oherwydd siawns ar hap (mewn ystadegau, gelwir hyn yn “broblem profi lluosog ”). Er mwyn cadw ei ganlyniadau yn ddibynadwy, mae Optimizely yn defnyddio cyfres o reolaethau a chywiriadau i gadw ods hynny yn digwydd mor isel â phosib. 

Mae gan y rheolaethau a'r cywiriadau hynny ddau oblygiad wrth fynd i sefydlu profion yn Optimizely. Yn gyntaf, y metrig rydych chi'n ei ddynodi fel eich Metrig Cynradd yn cyrraedd arwyddocâd ystadegol gyflymaf, popeth arall yn gyson. Yn ail, po fwyaf o fetrigau y byddwch chi'n eu hychwanegu at arbrawf, yr hiraf y bydd eich metrigau diweddarach yn ei gymryd i gyrraedd arwyddocâd ystadegol.

Wrth gynllunio arbrawf, gwnewch yn siŵr eich bod chi'n gwybod pa fetrig fydd eich Gwir Ogledd yn eich proses benderfynu, gwnewch eich Metrig Cynradd. Yna, cadwch weddill eich rhestr metrigau yn fain trwy gael gwared ar unrhyw beth sy'n rhy ddiangen neu'n orfodol.

Strategaeth # 2: Adeiladu Eich Priodoleddau Custom Eich Hun

Mae Optimeiddio yn wych am roi sawl ffordd ddiddorol a defnyddiol i chi rannu canlyniadau eich arbrawf. Er enghraifft, gallwch archwilio a yw rhai triniaethau'n perfformio'n well ar benbwrdd yn erbyn symudol, neu arsylwi gwahaniaethau ar draws ffynonellau traffig. Wrth i'ch rhaglen arbrofi aeddfedu serch hynny, byddwch yn dymuno'n gyflym am segmentau newydd - gall y rhain fod yn benodol i'ch achos defnydd, fel segmentau ar gyfer pryniannau un-amser yn erbyn tanysgrifiadau, neu mor gyffredinol ag “ymwelwyr newydd yn erbyn ymwelwyr sy'n dychwelyd” (sydd, a dweud y gwir, allwn ni ddim dal i ddarganfod pam nad yw hynny'n cael ei ddarparu allan o'r bocs).

Y newyddion da yw y gall peirianwyr sy'n gyfarwydd ag Optimizely, trwy faes Project Javascript, adeiladu unrhyw nifer o briodoleddau arfer diddorol y gellir neilltuo ymwelwyr iddynt a'u segmentu ganddynt. Yn Cro Metrics, rydym wedi adeiladu nifer o fodiwlau stoc (fel “ymwelwyr newydd yn erbyn ymwelwyr sy'n dychwelyd") yr ydym yn eu gosod ar gyfer ein holl gleientiaid trwy eu Project Javascript. Mae trosoli'r gallu hwn yn wahaniaethydd allweddol rhwng timau aeddfed sydd â'r adnoddau technegol cywir i'w helpu i weithredu, a thimau sy'n ei chael hi'n anodd gwireddu potensial llawn arbrofi.

Strategaeth # 3: Archwiliwch Cyflymydd Ystadegau Optimizely

Un nodwedd offeryn profi a or-luniwyd yn aml yw’r gallu i ddefnyddio “bandaits aml-arfog”, math o algorithm dysgu peiriant sy’n newid yn ddeinamig lle mae eich traffig yn cael ei ddyrannu yn ystod arbrawf, i anfon cymaint o ymwelwyr â’r “buddugol” amrywiad â phosib. Y broblem gyda bandaits aml-arfog yw nad yw eu canlyniadau yn ddangosyddion dibynadwy o berfformiad tymor hir, felly mae'r achos defnydd ar gyfer y mathau hyn o arbrofion wedi'u cyfyngu i achosion sy'n sensitif i amser fel hyrwyddiadau gwerthu.

Yn y ffordd orau bosibl, fodd bynnag, mae math gwahanol o algorithm bandit ar gael i ddefnyddwyr ar gynlluniau uwch - Cyflymydd Ystadegau (a elwir bellach yn opsiwn “Dysgu Cyflym” ”y tu mewn i Bandits). Yn y setup hwn, yn lle ceisio dyrannu traffig yn ddeinamig i'r amrywiad sy'n perfformio orau, mae dyrannu traffig yn optimaidd yn ddeinamig i'r amrywiadau sydd fwyaf tebygol o gyrraedd arwyddocâd ystadegol gyflymaf. Fel hyn, gallwch ddysgu'n gyflymach, a chadw atgynyrchioldeb canlyniadau profion A / B traddodiadol.

Strategaeth # 4: Ychwanegu Emojis at Eich Enwau Metrig

Ar yr olwg gyntaf, mae'n debyg bod y syniad hwn yn swnio allan o'i le, hyd yn oed yn wallgof. Fodd bynnag, mae agwedd allweddol ar sicrhau eich bod yn darllen y canlyniadau arbrawf cywir yn dechrau sicrhau bod eich cynulleidfa yn gallu deall y cwestiwn. 

Weithiau er gwaethaf ein hymdrechion gorau, gall enwau metrig fynd yn ddryslyd (aros - a yw'r tân metrig hwnnw pan dderbynnir yr archeb, neu pan fydd y defnyddiwr yn taro'r dudalen diolch?), Neu mae gan arbrawf gymaint o fetrigau sy'n sgrolio i fyny ac i lawr y canlyniadau tudalen yn arwain at orlwytho gwybyddol llwyr.

Gall ychwanegu emojis at eich enwau metrigau (targedau, nodau gwirio gwyrdd, hyd yn oed y bag arian mawr weithio) arwain at dudalennau sy'n llawer mwy sganiadwy. 

Ymddiried ynom - bydd darllen canlyniadau allan yn teimlo'n llawer haws.

Strategaeth # 5: Ail-ystyriwch Eich Lefel Arwyddocâd Ystadegol

Ystyrir bod y canlyniadau'n derfynol yng nghyd-destun arbrawf Optimizely pan fyddant wedi cyrraedd arwyddocâd ystadegol. Mae arwyddocâd ystadegol yn derm mathemategol anodd, ond yn y bôn mae'n debygolrwydd bod eich arsylwadau yn ganlyniad gwahaniaeth gwirioneddol rhwng dwy boblogaeth, ac nid siawns ar hap yn unig. 

Mae lefelau arwyddocâd ystadegol optimaidd yr adroddir amdanynt “bob amser yn ddilys” diolch i gysyniad mathemategol o'r enw profion dilyniannol - mae hyn mewn gwirionedd yn eu gwneud yn llawer mwy dibynadwy na rhai offer profi eraill, sy'n dueddol o gael pob math o faterion “sbecian” os byddwch chi'n eu darllen yn rhy fuan.

Mae'n werth ystyried pa lefel o arwyddocâd ystadegol rydych chi'n ei ystyried yn bwysig i'ch rhaglen brofi. Er mai 95% yw'r confensiwn yn y gymuned wyddonol, rydym yn profi newidiadau i wefannau, nid brechlynnau. Dewis cyffredin arall yn y byd arbrofol: 90%. Ond a ydych chi'n barod i dderbyn ychydig mwy o ansicrwydd er mwyn cynnal arbrofion yn gyflymach a phrofi mwy o syniadau? A allech chi fod yn defnyddio arwyddocâd ystadegol 85% neu hyd yn oed 80%? Gall bod yn fwriadol ynghylch eich balans gwobr-risg dalu ar ei ganfed dros amser, felly meddyliwch am hyn yn ofalus.

Darllenwch Mwy Am y Cwmwl Cudd-wybodaeth Gorau

Bydd y pum egwyddor a mewnwelediad cyflym hyn yn hynod ddefnyddiol i'w cadw mewn cof wrth ddefnyddio Optimizely. Yn yr un modd ag unrhyw offeryn, mae'n ymroi i sicrhau bod gennych ddealltwriaeth dda o'r holl addasiadau y tu ôl i'r llenni, fel y gallwch sicrhau eich bod yn defnyddio'r offeryn yn effeithlon ac yn effeithiol. Gyda'r dealltwriaethau hyn, gallwch gael y canlyniadau dibynadwy rydych chi'n edrych amdanyn nhw, pan fydd eu hangen arnoch chi. 

Beth ydych chi'n feddwl?

Mae'r wefan hon yn defnyddio Akismet i leihau sbam. Dysgwch sut mae eich data sylwadau yn cael ei brosesu.