Citat:
Ursprungligen postat av LosKrikon
Tanken var att dela loppen i två delar, där du bara gör analys på den ena och sedan testar de optimala settingsen på den delen även på den andra delen och ser hur mycket tex ROI skiljer sig. Den andra delen kan då ses som "framtida" eftersom vi inte tagit hänsyn till dess statistik när vi gjorde analysen. Kontrollgrupp typ, istället för att göra analys på allt du har nu och sen kolla hur det blir med nya lopp, så får den andra halvan av loppen bli "nya" eftersom vi inte vet resultatet där (eller vet och vet, vi räknar inte med det allafall). Jag kommer köra så åtminstonne.
|
Det LosKrikon talar om är ett vanligt förfarande för att minska risken för data-snooping (
Data-snooping bias - Wikipedia, the free encyclopedia). Dela tillgänglig data i två delar (inte nödvändigtvis lika stora) och gör dina analyser och modelleringar med hjälp av data från den ena. Om du sedan testar modellen på den andra delen och resultatet skiljer sig markant så har du förmodligen överanalyserat datat och råkat ut för data-snooping.
Notera dock att detta förfarande förstås inte helt avvärjer risken för data-snooping. Del två kanske innehåller data som av någon anledning kan modelleras på samma sätt som den första delen, men som inte gäller framtida data. Kanske är det tex. någon parameter som ändras från säsong till säsong men både del 1 och två kommer från samma säsong. Eller så kan det vara bara slupmässiga variationer som orsakar det.
En annan sak att tänka på är att om man modellerar mha del ett och finner stor skillnad mot del två, uppdaterar modellen och testar mot del två igen osv så kommer man förr eller senare hitta någon som verkar modellera båda delarna bra men lider av problemet jag skrev om i förra stycket.
Ett sätt att testa om ens modell är gilltig kan vara att titta på hur dess verkliga resultat förhåller sig till det teoretiska. Är det tex. troligare att ett spel går in om modellen säger att det verkliga sannolikheten är 20% fel mot oddset jämfört med om modellen säger 10% fel. Ökar ROI i takt med att kraven på modellen om vad som är spelvärt ökar?