Das Modell, Das Perfekt Aussah (Bis Es Das Nicht Mehr Tat)
Ich erinnere mich noch an unsere erste Backtesting-Katastrophe. Unser Modell zeigte 12% ROI über zwei Jahre historische Daten. Wir feierten.
Dann deployten wir es. Erster Monat: -8%. Zweiter Monat: -6%. Was ist passiert?
Leakage. Wir hatten versehentlich Schlussquoten verwendet, um ein Modell zu trainieren, das bei der Eröffnung vorhersagen sollte. Natürlich sah es in Backtests erstaunlich aus—es sah die Zukunft.
Leakage: Der Stille Modell-Killer
Daten-Leakage passiert, wenn Ihr Modell versehentlich Informationen sieht, die es zum Vorhersagezeitpunkt nicht haben sollte. Es ist überraschend leicht zu machen.
Häufige Leakage-Quellen, die wir gefunden haben:
- 1Schlussquoten in Trainingsdaten, wenn Sie bei der Eröffnung vorhersagen
- 2Finale Aufstellungsdaten, wenn Ihr Vorhersage-Zeitstempel vor der Bekanntgabe ist
- 3Nach-Spiel-Statistiken, die sich in Feature-Berechnungen einschleichen
- 4Saisonend-Informationen, die in Mitte-der-Saison-Vorhersagen durchsickern
Die Lösung ist einfach, erfordert aber Disziplin: Alles mit Zeitstempel sperren.
Cherry-Picking: Wie Wir Uns Selbst Belügen
Das ist subtil, weil es oft unbewusst passiert.
"Lass uns nur die Top-5-Ligen testen—da sind die Daten am saubersten."
"Wir lassen die COVID-Saisons weg—die waren sowieso seltsam."
Jede davon klingt vernünftig. Aber zusammen schaffen sie einen Datensatz, der die Realität nicht repräsentiert.
Unsere Regel jetzt: Einschlusskriterien *vor* Durchführung von Experimenten definieren und daran festhalten, egal was.
Das Problem Mit Zeitbasierten Splits
Standard-Machine-Learning-Praxis ist, Daten zufällig in Trainings-/Testsets aufzuteilen. Für Sportvorhersagen ist das falsch.
Warum? Weil Spiele derselben Saison Kontext teilen. Der richtige Ansatz: Auf früheren Zeiträumen trainieren, auf späteren testen.
Wichtige Erkenntnisse
- 1Leakage kann jedes Modell erstaunlich aussehen lassen (bis zum Deployment)
- 2Cherry-Picking passiert subtil—Kriterien im Voraus definieren
- 3Zeitbasierte Splits sind Pflicht für Sportdaten
- 4Fußball verändert sich; über mehrere Zeitfenster evaluieren
- 5Immer mit Baselines vergleichen, nicht nur mit Zufall
📖 Weiterführende Lektüre: Modell-Evaluierung • Feature-Engineering
*OddsFlow bietet KI-gestützte Sportanalysen für Bildungs- und Informationszwecke.*