Hjälp med webb/data

[poppee]

Jag läste nyligen att någon behövde tips på hur eller var man kunde tanka ned data från webben istället för att använda sig av klipp-å-klistra. Under många år ställde jag själv samma fråga eftersom jag dagligen använde data från internet som jag kopierade till Excel. Till slut tröttnade jag och gjorde något åt problemet, och för de av er som fortfarande kliar sig i huvudet så tänkte jag nu berätta hur jag bar mig åt så ni också kan göra något åt saken.

Jag är inte helt klar med mitt eget projekt ännu - jag hittar nya vägar och infallsvinklar medan det utvecklas så det här är väl en berättelse i vardande. Om det finns något specifikt ni vill fråga om som jag missar att beskriva, eller beskriver slarvigt så känn er fria att fråga på. Antingen här eller med ett pm. Just nu bor jag i USA den mesta tiden, så jag är här mest på natten.

Ok, då kör vi...

[poppee]

Först måste jag sätta scenen.

Jag spelar på Betfair och då bara på galoppen i england/irland. Jag är en siffersnubbe och jag älskar att testa teser som "vad händer om man bara väljer hästar som gått i ledningen i snabblopp över 1000 meter?". Jag spelar inte om jag har oddsen emot mig och jag försöker ofta ha så mycket data som möjligt att basera mina val på.

Här är ett exempel på data som jag använder. Sidan heter www.PatternForm.co.uk och ger historisk data över hur hästar tidigare har presterat. Det jag tittar på är om hästarna har DOB:at.

DOB står för Doubble Or Bust och betyder att hästen måste sjunka med halva oddset från det att man satsar tills loppet är avgjort. Gör hästen detta har man Dubblat sin insats, annars förlorar man allt - man blir Bust. Så en häst som står i 4,50 i odds när loppet startar måste sjunka till 2,25 i odds under loppet. Eftersom Betfair är en exchange så kan man antingen Backa (köpa) ett odds eller Laya (sälja) ett odds. Stor parantes runt det här stycket, det går att förklara bättre men det är inte detta det här ska handla om.

Så här ser en del av tabellen ut som jag använder mig av:



Det här är ett lopp av dagens alla lopp. Just det här är bara tre hästar, men snittet är 11-12 i samma lopp och det är mellan 20-50 lopp varje dag.

Om jag bara skulle markera och klistra in skulle det se ut så här i Excel.



Titta på "All Races". Den översta hästen har dobbat i 7/11 starter, men Excel läser det som 11-jul. Personligen skulle jag vilja att det skulle stå 64% i rutan, då 7 delat med 11 blir 0,6363. Hästen har DOBat i 7 av sina 11 starter. Jag vet att det finns ett sätt att formatera så att Excel fattar att det inte ska vara ett datum, men jag hade inte tid att lära mig såna detaljer. Jag ville fokusera på resultatet och analysen av data. Så jag klistrade helt enkelt in allt i Word. Så här såg det ut efter 3-4 timmars arbete med klippande och klistrande:



Den här bilden är inte från samma lopp. Jag ville bara visa hur jag skulle vilja att slutresultatet såg ut. Jag är en visuell person och här har jag byggt en modell som låter mig snabbanalysera datan.

Att ha all information i Word suger förstås när man ska analysera all data i efterhand. Ohållbart! Och när väl alla loppen var körda för dagen så var jag tvungen att gå in och manuellt ändra i datan för att få in resultaten också.

Dags att söka hjälp.

[Basil]

Markera cellerna du vill ändra format i och högerklicka. Klicka på formatera celler och i
fliken tal ändra till text eller procent.

[poppee]

Det finns några olika ställen att få hjälp från om du nu inte har någon skicklig person i din närhet. Söker du på frilans eller freelance får du upp några olika sidor där du kan få hjälp. Är du inte bra på engelska kan du använda den svenska Okelii Frilans, men jag misstänker att du får betala mer än om du använder någon av de engelskspråkiga varianterna. Jag gick på den som kort och gott heter Freelancer.



Du skapar ett konto gratis och när du ger någon ett uppdrag betalar du en mindre summa i avgift till sidan. För mig har det rört sig om ungefär 25,- per gång jag har använt dem.

När du har skapat ett konto är det dags att lägga in ditt projekt, och nu gäller det att ha tungan rätt i mun. Om din beställning är vag och luddig riskerar du att det du får levererat också är vagt och luddigt. Var så tydlig som möjligt och undvik att använda "bedömnings" ord som tex snyggt, tydligt, enkelt osv. Den du kommer att anlita för att göra jobbet är troligtvis från en annan kultur, och snyggt eller enkelt kanske inte har samma betydelse som i vår kultur. Onödigt och frustrerande att hamna i en konflikt om resultatet där båda parter har rätt.

Vad jag gjorde var att förbereda min beställningstext i Word innan jag fyllde i projektet hos Freelancer. Jag tog skärmdumpar från sidan jag ville ha data från och sen skapade jag en Excelfil där jag visade hur jag ville att datan skulle se ut när den var nedladdad.

I nästa inlägg ser du det manus som jag förberedde när jag skulle beställa skrapning av PatternForm. Inte nödvändigt att läsa igenom allt men jag la upp det om någon skulle vara intresserad.

Så här ser det ut:

[poppee]

Hi NN.

Thank you for showing interest in working with me on this project. To find the data that I want from Patterform, this is where you go to find it:



And this is what the page looks like:



I’m interested in the data inside the tables and the blue text above each table. And this is how I want the result on my computer:



The columns are as follows:

A - ID-Numb
The cell contains a code that identifies the row in order to merge it with information from other data. I have colour-coded row 2 so you can see what cells make up the code.
Red is the content of the Date column, 10 positions.
Blue is the content of the SWTime column, 5 positions.
Brown is the content of the first five positions of the Track column, 5 positions. If the track is shorter then 5 positions, like for instance the track Ayr, the empty space should be filled up with "x", like so: Ayrxx.
Green is the content of the first 10 positions of the Name column, 10 positions. If the name of the horse is shorter then 10 positions, like for instance line 3, the horse Iniesta, the empty space should be filled up with "x", like so: Iniestaxxx.
An empty space in the horse name, like for instance line 6, the horse The Lady Rules, the empty space should be filled up with an under score "_", like so: The_Lady_R.
If the horse has an apostrophe in the name, like for instance line 12, the horse L'Attesa, the apostrophe should be taken out and not counted as a position, like so: LAttesaxxx.
Between the contents in the code, there should be "-"

B - Date
The date of the races formatted like: YYYY-MM-DD

C - Day
This is also a date field, but formatted in Excel like: DDDD

D - Time
The time the race is scheduled to start Greenwich Mean Time, taken from Patternform.

E - SWTime
The time the race is scheduled to start Greenwich Mean Time +1. This field shoul be calculated in Excel.

F - Track
The name of the track.

G - Rank
Patternform ranking of the horse.

H - Name
The name of the horse.



I through AB
These columns represents the rest of the table. One column in Patterform correspond to two columns in the Excel sheet like this:



In the first column in Excel, the equation in Patterform is executed like so:

14/30 = 47%
8/31 = 26%
18/33 = 55%
9/20 = 45%
5/18 = 28%

In the second column in Excel contains the amount of the total races the equation is based on.

I would like a solution where I can download the required tables from Patternform just by adding a date to a form on my computer, something like this:



The files on Patterform are stored inside folders with ths syntax:



Sometimes the files are named wrong, or put in the wrong place. That’s why it is nessecery to have an option where I can submit an URL instead of just the date.

I would like all races from the same date to reside in the same table one after the other.

I would like to know your price and proximate days it will take you to do this. Your'e wellcome with questions.

Thank you.



About log-in. I will not share my log-in. You can create a log-in for free. You will have to follow the instructions you see on the screen, and when they ask for your favourite horse – just pick one from the names in the different pictures you see above in this chat.

I do not have a budget set for this. You have to tell me how much you want for doing this job.

[Basil]

Spara Wordfilen som txt. Den kan du sen importera till excel med det här tilläggsverktyget.

https://asap-utilities.com/

[poppee]

Dags att lägga upp ditt projekt. Det första du ska göra är att namnge ditt projekt och att beskriva det. Jag lägger inte upp hela min beskrivning här utan plitar bara ned tillräckligt för att de som ser projektet ska kunna bilda sig en vag uppfattning om vad de behöver ha för kunskaper för att klara av det. Jag vill kunna välja vem som får den detaljerade beskrivningen.

OBS. Bilderna här är från ett annat projekt jag lade upp, inte från projektet ovanför.



Därefter är det dags att ange vilka tekniska kunskaper du tror att de kan behöva. Du får några förslag baserat på vad du har skrivit i föregående ruta. Klicka på POST A PROJECT och välj därefter PAY FIXED PRICE. Betala inte per timme om du har ett projekt där du inte kan få delleverans, det är bara dumt.

Ange sedan ett du är beredd att betala, men det är mindre viktigt i det här skedet. Det enda du ska tänka på är att det kan vara svårare att gå från ett högt pris till ett lägre än tvärtom. Börja lågt är min rekommendation.



Sen vill Freelancer sälja sina tjänster till dig. Jag väljer gratis publicering.



Nu är det bara att luta sig tillbaka och vänta.



Det brukar inte ta mer än några minuter innan de första buden kommer inrullande. Själv brukar jag vänta alla sju dagar som projektet är öppet innan jag bestämmer mig för vem jag ska välja. Om ingen lämplig hör av sig kan jag välja att stänga projektet utan att jag blir skyldig att betala någonting.

[poppee]

I det här projektet hade jag till slut 60 anbud jag kunde välja ifrån. Kvalitén skiftade verkligen. Så här ser det ut när anbuden trillar in:





Det jag gör är att jag skickar min text som jag skrivit ihop till de som jag tycker är värda att skicka till. Jag klipp-å-klistrar. Å som sagt, det finns alla de sorter. Kenta S hör till de dyraste. Han ville att jag skulle investera i... något? Fattar fortfarande inte vad det var han ville.




Sen hade vi killen som sa att nej! Det kan inte göras. Inte av någon!



By the way, Jora. Det fanns de som redan kunde Betfairs API innan och utan och som tom hade kunnat tillverka min egen beting assistent så jag inte hade behövt BetAngel som jag använder idag.

Moving on. Här har vi Fouad S som "read your description very carefully and are ready to start now. Project done in 3 days, only $55!" Det här är killen som väldigt noggrant har läst min beskrivning och som plötsligt... läser min beskrivning.



Många försöker också ta till små tricks och knep för att få mig att säga ja innan det kommer in ett bättre bud från någon annan. Här tex

[poppee]

När jag handlar är jag en typisk svennebanan: "vad kostar den här da? 3000 kr jaha, tack då" (mummlarförmigsjälv) fan va dyrt... skulle aldrig... nä minsan... I det här fallet är det på samma sätt. När jag frågar vad det kostar kontrar nästan alla med "hur mycket pengar har du avsatt?" Skit i det du (säger jag ju inte, fast jag skulle bra gärna vilja).

Jag vill inte ha någon som jobbar för mig som är missnöjda för att jag betalar för dåligt. Samtidigt inser jag ju att det hade varit lätt som en plätt att pruta ned priset med 30, 50 eller 70%. Men vad händer om de har gjort ett jobb och sen efter två veckor så slutar scriptet de har levererat att funka? Vad i så fall? Näe, det måste vara en schyst situation om det ska funka.

Den här snubben. Han hittade jag mitt i högen. Han var ny på vissa typer av uppdrag och han ville ha referenser. Han erbjöd sig att utföra uppdraget för $30,- (vi är nu tillbaka på projektet att skrapa PatternForm).



Jag behövde inte pruta, det var han som ville ha det här priset. Och han sa att han skulle leverera efter tre arbetsdagar. Det lät klockrent, så jag slog till.

I det här läget ger man projektet till den som man har valt. Man gör det genom att trycka på en knapp AWARD. Alla andra som har lagt ett bud får då ett meddelande. Jag tycker att det är smart att skriva till folk innan jag ger uppdraget till någon annan. Dels är det schyst att låta andra veta personligen, men det finns ju också en möjlighet att man inte får det som utlovas. Då kan det vara bra att ha de andra buden att gå tillbaka till. Tycker jag i alla fall.

När man har gett projektet till någon så vill Freelancer att man sätter in motsvarande belopp (plus Freelancers provision) på sitt freelancerkonto. Det här betyder inte att arbetstagaren får pengarna. Det betyder bara att man har visat att man menar allvar. Pengarna för uppdraget får arbetstagaren först efter leverans och test av produkten. Och det bestämmer du som uppdragsgivare.

Om du inte skulle vara nöjd med arbetet så kan du prata (chatta, eposta) med kundtjänst. Du behöver inte betala om du inte har fått det som utlovades. Det har hänt mig en gång av sex att jag inte fått det jag beställde. Det var inget problem alls för mig, även om arbetstagaren påstod att han hade lagt ned en massa timmar på mig. Spelade ingen roll för jag kunde inte använda något av det han skickade över till mig.

[poppee]

Pavel har upp till dagens datum gjort en motor som skrapar fyra olika webbsidor.

www.PatternForm.co.uk (statestik över hur hästarna har DOBat)
www.AtTheRaces.com (startlistor, rank, tid, mm)
www.RacingPost.com (som At The Races)
www.TimeForm.com (resultat och odds)

Innan dagens tävlingar använder jag en motor som Pavel har skapat för att ladda ned alla racen. Det tar mig 15 minuter istället för de 3-4 timmar jag tidigare lagt ned, plus 1,5 timmar på resultat i efterhand. Allt jag gör är att ange datum och trycka på knapparna. Sen lutar jag mig tillbaka och läser tidningen.



För detta har jag betalt PatterForm $30, AtTheRaces $50, RacingPost $50 och TimeForm $40. Totalt $170,-.

Pavel har varit generös med support och hjälp utan att ta betalt, även om det är webbsidorna som har ändrat layout eller jag som har fuckat upp i min beställning på något sätt.

Efter att jag har tankat ned alla fyra sidorna kör jag ihop dem i en Excel fil. På det sättet kan jag korstesta data, tex "om hästen är förstarankad i RacingPost OCH AtTheRaces, då..."

[poppee]

Så där har ni det hela. Gå ut och köp ledig tid nu genom att använda någon frilansande förmåga.

Och just det, en sak till. För de av er som använder sig av ATG. Jag har frågat en frilansare jag använt tidigare om han kunde skrapa nya ATG. Han kollade på den och sa, absolut! Bara så ni vet.

Lycka till.

[poppee]

Ursprungligen postat av Basil

Markera cellerna du vill ändra format i och högerklicka. Klicka på formatera celler och i
fliken tal ändra till text eller procent.

Tack för tipsen. Allt är under kontroll.

[Sputnik2012]

poppee ett stort tack för din tråd och dina inlägg, har länge sökt färdiga program för UK/Irland men tyckt dom har för hög månads kostnad och har alltid föredragit egen programvara och gratis sidor med statistik, det här var som en gåva från ovan.
Hellre en kostnad och för evigt eget programvara.

Kommer kontakta Pavel, eftersom du har bra erfarenheter av honom, och göra ett liknande upplägg, även om min analys och urval av kandidat skiljer sig jämfört med din.
Skrivit en tråd om Dutching i trav sektionen på forumet och är den spelmodellen jag ska använda mig av, tycker den funkar ganska bra, senaste spelsekvensen hade 18 raka vinster och 1 förlust med fotboll och förväntar mig liknande resultat med UK/Irland marknaden (hästar) ...

Än en gång stort tack för ett suverän tråd :-)

[poppee]

Jag misstänkte att en eller annan skulle kunna ha glädje av den. Jag la ut den i ett engelskt forum där jag var med, och några där sa ungefär som du.

Tänk bara på att "för evigt eget programvara" bara gäller så länge inte designen förändras på de sidor som skrapas. Ibland kan det vara en ny text som dyker upp på ett ställe som gör att hela nedladdningen inte går att genomföra.

Det finns två dagar under 2018 som en av nedladdningarna (TimeForm) inte funkar för mig, så där har jag en lucka i min statistik. Just det gör inte så mycket i mitt fall, men jag vill bara göra dig uppmärksam.

Glad att kunna hjälpa till.