Overfitting (ή curve-fitting) είναι όταν μια στρατηγική έχει προσαρμοστεί τόσο πολύ στα ιστορικά δεδομένα, που στην ουσία τα έχει «αποστηθίσει» αντί να έχει μάθει ένα πραγματικό μοτίβο. Το αποτέλεσμα: τέλειο backtest, αλλά αποτυχία στην πραγματική αγορά.
Σκεφτείτε έναν μαθητή που αποστηθίζει τις απαντήσεις παλιών διαγωνισμάτων αντί να καταλάβει την ύλη. Στις ίδιες ερωτήσεις παίρνει άριστα. Σε νέες, καταρρέει. Το overfitting είναι ακριβώς αυτό, σε μορφή στρατηγικής.
Πώς συμβαίνει; Ο δημιουργός προσθέτει όλο και περισσότερους κανόνες και «τσιμπάει» παραμέτρους μέχρι η καμπύλη του backtest να γίνει εντυπωσιακή. Κάθε επιπλέον προσαρμογή κάνει το γράφημα ομορφότερο — και το σύστημα πιο εύθραυστο στον πραγματικό κόσμο.
Πώς το αναγνωρίζετε; Πρώτη ένδειξη: υπερβολικά πολλοί κανόνες ή παράμετροι για κάθε νόμισμα. Αν κάθε ζεύγος έχει τις δικές του «μαγικές» ρυθμίσεις, μάλλον είναι προσαρμοσμένο στο παρελθόν.
Δεύτερη ένδειξη: η απόδοση καταρρέει εκτός του δείγματος δοκιμής. Αξιόπιστοι δημιουργοί δοκιμάζουν σε δεδομένα που δεν χρησιμοποιήθηκαν στην ανάπτυξη (out-of-sample).
Τρίτη και σημαντικότερη: η διαφορά backtest–live. Αν το σύστημα είναι υπερπροσαρμοσμένο, το live trading θα αποκλίνει γρήγορα από το backtest. Αντίθετα, η σύγκλιση των δύο σε μεγάλο δείγμα είναι η καλύτερη απόδειξη ότι το πλεονέκτημα είναι γνήσιο και όχι αποστήθιση.