De “inzichten” van SAC Smart Discovery ontrafeld!
De basis:
De analyse die ik heb opgezet is om te zien wat daadwerkelijk invloed heeft op de waarde van een voetballer. Het belangrijkste doel van het starten van de analyse was de drang om de waarde van een speler te voorspellen (dus de waarde van een speler). Om dit te doen heb ik gebruik gemaakt van de FIFA 2019 dataset, waarbij ik waarden heb voorspeld op basis van een gecreëerd getraind deel van de set bestaande uit 60% van de werkelijke set. Hoewel het voorspellen van de juiste waarde veel moeilijker is/was dan ik dacht en pas in 1286 van een totaal van 7372 voorspellingen correct waren, wat slechts een kleine 18% van alle gevallen is (dit is natuurlijk wel logisch, omdat er zoveel factoren zijn die de waarde van een speler beïnvloeden, die niet in deze dataset zijn opgenomen en deze is vrij beperkt…).
Toch maakte het me nieuwsgierig en ik wilde erachter komen WAT de waarde van een speler beïnvloedde en de relaties vinden. Een analyse waarvan ik hoopte dat SAC Smart Discovery me wat extra resultaten zou opleveren dan de resultaten die ik in de loop van de tijd al had gecreëerd…
De Smart Discovery uitkomst:
Om de Smart Discovery of SAP Analytics Cloud (SAC) uit te voeren, selecteert u een maat of dimensie die u “meer wilt weten over” zoals SAP het aangeeft. Met behulp van de waarde van een speler als de “ik wil meer weten over” instelling, is er één 1 pagina (in SAP’s “verkoopverhaal” is het eigenlijk 4…) gemaakt en het ziet er zo uit als dit van de afbeelding hieronder. In het oranje zijn mijn opmerkingen al opgenomen.
Er zijn dus eigenlijk een aantal echt interessante en eerlijke aspecten in het Smart Discovery resultaat hierboven:
– Samenvattende informatie: de totale waarde zegt niet veel, hoewel de maximumwaarde 118.500.000,00 is, wat eigenlijk Neymar Jr is vanwege zijn overplaatsing naar Parijs Saint-German en de min-waarde (0) het brede scala aan waarden laat zien.
– Grafiek rechtsboven: Van de 18.206 waarden hebben 16.677 een spelerswaarde van 0, wat betekent dat ze gratis kunnen worden opgehaald. Zou interessant kunnen zijn als dit is waar u naar streeft.
– Grafiek linksonder: een correlatie (associatie in de woorden van SAP) tussen het totaal betaalde loon en de “meest waardevolle clubs”. Er is een eerlijke relatie omdat waardevollere spelers een hoger salaris (=loon) krijgen.
Maar zoals mijn korte analyse in de bovenstaande foto al laat zien, zijn er 2 grafieken die mijn wenkbrauwen echt doen fronsen: “Waarde door Voorkeur Voet” en “Associatie tussen Jersey Nummer en Waarde door Club”. Laten we in beiden duiken en kijken of die grafiek daadwerkelijk de juiste gegevens bevat…
Geeft “Value by Preferred Foot” daadwerkelijk de juiste informatie?
Blijkbaar hangt het af van je favoriete voet (dus of je een linker- of rechtervoet hebt) of je een hoge waarde hebt als speler. Ik zou denken dat “beide” het meest waardevol zou zijn, hoewel de SAC stelt dat een speler waardevoller is als hij rechtsvoetig is. Maar is dit eigenlijk wel zo? Of is deze grafiek niet meer dan een misleidend beeld?
De grafiek insinueert dat wanneer je een “righty” bent, je waarde als speler veel hoger is. Als ik alleen al naar de grafiek kijk en een logische manier van kijken gebruik, concludeer ik dat de gepresenteerde waarde de SUM van waarden is. Niet de juiste manier om een analyse van de waarde door Preferred Foot te presenteren als je het mij vraagt. Het is algemeen bekend: er zijn meer rechtsvoetige spelers dan linksvoetige. Laten we de analyse in RStudio met behulp van R (die mijn back-up is voor dit hele document) gebruiken om te laten zien of dit correct is:
- Links: 4201
- Rechts: 13894
- Niet bekend: 111
In dit geval zou het dus logisch zijn om een gemiddelde van de waarde van de speler te berekenen op basis van zijn voorkeurspoot. En dit resulteert in het volgende:
| Preferred Foot | Average Value | Difference L vs R |
| Left | 2.591.279 | + 220.213 |
| Right | 2.371.066 | |
| Unassigned | 153.243 |
Dus eigenlijk kun je zeggen dat je gemiddeld genomen waardevoller bent als een linkshandige speler, omdat de getallen hierboven niet liegen…
Merk op dat de grafiek in SAC de nadruk legt op het feit dat “Positie ST” de grafiek het meest beïnvloedt. Ter informatie: ST staat voor spits. Dus laten we eens kijken of dit eigenlijk alleen maar een logisch aspect is of dat Smart Discovery daadwerkelijk met een interessant punt is gekomen.
In totaal zijn er 27 posities, variërend van keeper tot spits, die alle mogelijke posities op het veld dekken. Van al die posities heeft de ST-positie de meeste spelers meegenomen (om 2145 te weten). En als je kijkt naar de top 10 van de meest waardevolle spelers op de positie ST, maken de namen van die spelers nog duidelijker waarom ze zo’n invloed hebben op de grafiek:
| Name | Value | Preferred Foot | Position |
| H. Kane | 83.500.000 | Right | ST |
| Cristiano Ronaldo | 77.000.000 | Right | ST |
| R. Lewandowski | 77.000.000 | Right | ST |
| S. Aguero | 64.500.000 | Right | ST |
| M. Icardi | 64.500.000 | Right | ST |
| R. Lukaku | 62.500.000 | Left | ST |
| G. Bale | 60.000.000 | Left | ST |
| C. Immobile | 52.000.000 | Right | ST |
| A. Lacazette | 45.000.000 | Right | ST |
| M. Depay | 42.000.000 | Right | ST |
Dus SAC insinueert dat ST een grote invloed heeft op de grafiek, en ze zijn niet onjuist. Het “enige” dat ze hebben gemist is dat er meer Strikers zijn dan bijvoorbeeld Right Attacking Midfielders (RAM). Dit is de reden waarom ze de grootste invloed hebben op de waarde, inclusief de waardevolle spelers die in de lijst met aanvallers zijn opgenomen. De echte positie met de hoogste waarde is niet de Striker zoals te zien is in de onderstaande grafiek die in RStudio is gemaakt met behulp van ggplot, maar het is de LF positie (Left Forward) inclusief slechts 15 spelers, waaronder spelers als Hazard, Dybala en Iniesta.
Door het lage aantal spelers wordt het niet gezien als een grote invloed op de waarde, maar kijkend naar de gemiddelde waarde is dit een positie waarmee rekening moet worden gehouden. En ook in dit geval: de totale lijst van LF-spelers bevat slechts 3 linksdraaiende spelers…
Al moet het gezegd worden: SAP’s grafiek is correct. De totale SUM van de waarde voor rechtsvoetige spelers is veel groter, maar dit is duidelijk omdat er meer rechtsvoetige spelers zijn. Ook de invloed van Strikers is het grootst, maar dit is ook logisch, want dit is de positie waar de meeste spelers zich in bevinden. Maar de vraag is: brengt de grafiek je inzichten? Of is het de analyse die we net gedaan hebben?
Laten we een duik nemen in de meer complexe grafiek om te analyseren: de correlatie tussen truienummer en waarde…
Is de associatie echt aanwezig (en correct) tussen Jersey Nummer, Club en Waarde?
De analyse op een zogenaamde “relatie” (of associatie zoals SAP het noemt) tussen Jersey nummer, Club en de waarde is iets lastiger. Toen ik deze grafiek voor het eerst zag, had ik zoiets van: “hel nee, je bent zeker niet waardevoller als je met nummer 10 speelt.”
Het eerste wat me echt verbaast is dat de Smart Discovery eigenlijk de Jersey Nummers samenvatte. Dit betekent dat wanneer een Club alle spelers met Jersey Numbers boven de 30 in plaats van nummer 2 heeft laten spelen, ze op de x-as zullen stijgen. We kijken dus niet eens naar een associatie tussen Jersey Nummer en Waarde, als ik het zo mag zeggen. Maar laten we, zonder rekening te houden met dit eerste vreemde aspect, een analyse uitvoeren om te zien of er een soort van waarheid in deze grafiek zit. Daarbij houd ik alleen rekening met de titel van de grafiek, dan met het gegevenspunt. Dus ik ga op zoek naar de associatie tussen Jersey Nummer en Waarde per Club.
Blijkbaar is Real Madrid de meest waardevolle club omdat het de hoogste punt op de y-as is. Om dit te controleren, heb ik de top 10 meest waardevolle clubs in RStudio bekleed met behulp van de ggplot R-pakket, het genereren van de volgende grafiek:
De waarde van een club wordt berekend op basis van de som van alle spelerswaarden. De grafiek in R is dus gelijk aan de grafiek op de y-as van de SAC-kaart. Hoe hoger een club op de y-as, hoe waardevoller deze is.
Om te weten of een speler waardevoller is als hij een bepaald nummer draagt, is het goed om te kijken naar de top 4 spelers (Neymar Jr, De Bruyne, Messi en Hazard) die in de onderstaande grafiek staan. De gemarkeerde spelers zijn de spelers met een waarde boven de 90.000.000, en daarmee de 4 meest waardevolle spelers.
| Name | Jersey Nr | Value | Overall | Club |
| Neymar Jr | 10 | 118.500.000 | 92 | Paris Saint Germain |
| L. Messi | 10 | 110.500.000 | 94 | FC Barcelona |
| K. De Bruyne | 7 | 102.000.000 | 91 | Manchester City |
| E. Hazard | 10 | 93.000.000 | 91 | Chelsea |
Als je de lijst zo ziet, lijkt het erop dat als je met Jersey Nummer 10 speelt, je erg waardevol bent. Of goed: de meest waardevolle spelers blijken meestal met nummer 10 te spelen. Afhankelijk van de manier waarop je dit aspect formuleert om de relatie te zien… Maar betekent dat dat alle spelers die met nummer 10 spelen net zo waardevol zijn? Nee natuurlijk niet. Deze lijst van de onderste 10 spelers met Jersey nummer 10 bevestigt het:
| Name | Jersey Number | Value | Overall | Club |
| M. Etxeberria | 10 | 0 | 74 | No Club |
| I. Kovacs | 10 | 0 | 73 | No Club |
| S. Nakamura | 10 | 0 | 72 | Jubilo Iwata |
| J. Campos | 10 | 0 | 71 | No Club |
| B. Nivet | 10 | 0 | 71 | ESTAC Troyes |
| A. De Jong | 10 | 0 | 59 | No Club |
| B. Singh | 10 | 0 | 58 | No Club |
| R. Cretaro | 10 | 40.000 | 57 | Sligo Rovers |
| Ryan Yong Gi | 10 | 50.000 | 58 | Vegalta Sendai |
| K. Brennan | 10 | 60.000 | 60 | St. Patrick’s Athletic |
Uit deze lijst klinken de namen niet (althans niet voor mij), maar ze spelen wel allemaal met Jersey Nummer 10. Het is dus duidelijk dat het Jersey Nummer geen invloed heeft op je waarde als speler. Het spelen voor een belangrijke club uit de Top 10 maakt het wel mogelijk dat het Jersey Nummer de waarde beïnvloedt. Of is het andersom? Kiest de speler met de hoge waarde zijn Jersey Nummer? Dan is het dus alleen de persoonlijke invloed van de speler, minder dan de invloed van het Jersey Nummer, die de waarde van de speler daadwerkelijk beïnvloedt. Spelen met Jersey Nummer 10 voor een club als VVV Venlo, is niet gelijk aan een waarde van 118.500.000 zoals Neymar Jr heeft.
En het maken van een lijst op basis van de berekende correlaties met de Spearman-methode (de dataset heeft grote uitschieters, dus vandaar de Spearman-methode), laat zien dat er bijna geen correlatie (SAP’s associatie) is tussen de waarde van een speler en zijn Jersey-nummer:
| Overall | 0.9163082 |
| Wage | 0.7839799 |
| Reactions | 0.7507812 |
| Potential | 0.7455360 |
| Ball Control | 0.7375126 |
| Composure | 0.7012314 |
| … | |
| Jersey Number | – 0.1779670 |
Daarmee zijn Jersey Nummers vaak ook gekoppeld aan de positie op het veld, dus suggereren dat er een relatie is tussen Jersey Nummer en waarde is nogal vreemd. Hoewel spelers de laatste tijd in de voetbalindustrie meer en meer te maken krijgen met branding en merchandise, geven ze er de voorkeur aan om hun Jersey Nummer hetzelfde te houden, zelfs als ze van club wisselen. De persoonlijke invloed van een speler op zijn Jersey Nummer neemt dus alleen maar toe, maar alleen tot een punt waarop de CLUB daadwerkelijk denkt dat de speler waardevol genoeg is om zijn favoriete Jersey Nummer te verkrijgen.
Op basis van de grafiek van SAC Smart Discovery zijn er nog meer analyses mogelijk en er zijn nog veel meer dingen die ik zou kunnen analyseren om de “juistheid” van de verstrekte grafiek aan te tonen. Hoewel ik met dit begin denk dat ik een eerlijk punt heb gemaakt door niet altijd te geloven wat je op het eerste gezicht ziet…
Conclusie
Om jezelf wat basisinzichten te geven kan de SAC Smart Discovery nuttig zijn, al zou ik aanraden om het niet zonder meer te volgen. Smart Discovery is geen mens en welke gegevens je ook in dit deel van de tool sleept, de tool gedraagt zich er net zo op als normaal en wat het eigenlijk op de achtergrond doet blijft een black box. Een maat is een maat, een dimensie een dimensie en dat is het. Zorg ervoor dat u uw gegevens kent voordat u gewoon ‘accepteert’ wat SAC Smart Discovery u terugbrengt. Zoals u kunt zien, is het niet altijd wat het lijkt!
Daarbij moet ik erop wijzen dat de grafieken die in SAC zijn gemaakt niet onjuist zijn, hoewel ze niet veel “toegevoegde waarde” aan de analyse toevoegen. De diagrammen zijn eenvoudig, hoewel de titels erg misleidend kunnen zijn (kijk naar de diagrammen met de associatie tussen Jersey-nummer en waarde…). Om de “perfecte SAP selling speech Smart Discovery outcome” te creëren, moet de data op een zeer specifieke manier worden opgezet (zoals SAP deed voor hun codejams om het nut van de Smart Discovery aan te tonen). Hoewel de data die U gebruikt in veel gevallen verschilt en daarmee de Smart Discovery minder bruikbaar maakt zoals gesuggereerd.
Maar als we van mening verschillen, wil ik u graag uitnodigen om van gedachten te wisselen en er samen dieper op in te gaan. Ook wanneer u de R-analyse wilt ontvangen om dit document te onderbouwen, aarzel dan niet om contact met mij op te nemen op d.ambaum@jugo.nl
