Citat:
Ursprungligen postat av Bramhed
Min fråga är då hur du utvärderar huruvida din modell är bra eller inte? Enbart prediktion vs utfall?
I mitt fall har jag relativt sett komplexa modeller där jag kanske träffar bättre i ett visst område med en modell, korrigerar och får lite bättre träff där men på bekostnad av sämre träff i annat område. Ju mer jag bryter ner modellen desto mindre data får jag i varje delsegment, och då står man där med frågan vad som är slump och inte 
Jag kan helt enkelt inte överblicka mina modeller på det sättet, och det är därför som jag måste jämföra dem på fler sätt än "prediktion/utfall per delsegment".
Jag är dock tacksam för att ni ifrågasätter vad fan jag svamlar om för det blir lätt att man sitter oemotsagd på sin kammare och hittar på saker |
Har en del med validering att göra utanför bettingen men det är inte min starka sida (och jag vet inte hur applicerbart det är i detta fallet). Modellerna du talar om verkar relativt komplexa och även om det är något off-topic så undrar jag hurvida dina predictors verkligen (läs: statistiskt) kan vara av större signifikans än den eventuella felmarginalen med dessa. Jag har själv haft det svårt att bestämma vilka variabler att ta med och börjar mer och mer föredra enklare uppsättningar. Hur som haver.. (side track
)
Vi har tre typer av validation till vårt förfogande, som sedan kan brytas ned i flera subkategorier. Du behöver dock alltid någon slags data att jämföra din modells output med. (1) Den uppenbara är att man validerar mot samma data (X) som man utvecklade modellen med. (2) Du kan även validera mot annan data från den population som data X togs ifrån (så kallad intern validering, görs främst genom någon slags bootstrap, typ MC). Rent krasst är intern validering "leave-one-out". (3) Du kan validera mot data från en extern population, om än snarlik.
I ett praktiskt, mycket enkelt fall där du har utvecklat en modell baserad på data från Serie A så hade (1) validerat modellen på samma matcher, (2) validerat mot Serie A matcher som inte använts för att utveckla modellen, och (3) validerat mot Serie B matcher.
Jag misstänker att det jag skrivit kan vara mycket dravvel men jag hoppas det ger viss hjälp. Personligen anser jag att komplexa modeller inte kommer vara till hjälp i sportsbetting (för att hitta värde iallafall) p.g.a. de stora felmarginalerna men.. Det finns en uppsjö av gratis information från amerikanska universitetskurser ute på nätet som lär kunna ge dig bättre information än speltorskarna på detta forumet.
