Votre backtest est propre. Vous avez traqué l'overfitting, limité vos paramètres, testé hors échantillon. Et pourtant, en réel, les résultats déçoivent.
Le réflexe, c'est d'accuser la stratégie. Souvent, le vrai coupable est ailleurs : ce sont vos données qui trichent, sans que rien ne cloche à l'écran.
Dans cet article, vous allez voir les deux biais responsables de cet écart, le biais de survie et le biais du futur. Deux erreurs qui gonflent la performance d'un backtest, qui ne se voient pas sur la courbe, et qui n'ont rien à voir avec l'overfitting.
Éviter l'overfitting ne suffit pas : deux fuites que votre courbe ne montre pas
Quand une stratégie brille dans le passé mais s'effondre en réel, la plupart des traders pensent à une seule cause : le sur-ajustement, cette manie d'ajuster une stratégie jusqu'à ce qu'elle colle parfaitement à l'historique.
Mais il existe une autre famille de problèmes, plus discrète. Ici, le backtest n'est pas trop ajusté : il « sait » simplement une chose que le trader en temps réel ne pouvait pas savoir.
C'est le point commun de nos deux biais. Le simulateur dispose d'une information qui n'était pas disponible au moment de la décision. Résultat, il prend de meilleures décisions que vous n'auriez jamais pu prendre.
Le piège, c'est que votre courbe de capital reste belle. Aucune alarme ne sonne. La performance est fausse, mais elle a l'air parfaitement crédible.
Le biais de survie : vos données ont effacé les perdants
Le biais de survie vient d'une chose banale : la liste des actifs sur laquelle vous testez.
Quand vous backtestez une stratégie sur « les actions du S&P 500 » ou « les valeurs les moins chères du marché », vous utilisez en général la liste des sociétés qui existent aujourd'hui. Or beaucoup d'entreprises ont fait faillite, ont été retirées de la cote ou absorbées. Elles ont disparu de vos données.
Vous testez donc sur les survivantes. Les perdantes, celles qui auraient plombé votre stratégie, ne sont même plus là pour être comptées.
L'effet est loin d'être anecdotique. Dans son livre Quantitative Trading, Ernest Chan prend un exemple simple : acheter chaque année les dix actions les moins chères parmi les mille plus grosses capitalisations. Testée sur un univers qui ne garde que les survivantes, la stratégie affiche un gain de +388 %. Testée sur les mêmes années, mais avec les données complètes qui incluent les sociétés disparues, la même stratégie perd 42 % du capital. On ne passe pas de +388 % à un peu moins : on passe d'un gain spectaculaire à une perte sèche. Le backtest et la réalité racontent deux histoires opposées.
Le même problème apparaît à grande échelle. Une démonstration de la Deutsche Bank montre qu'en reconstruisant un large indice américain sur près de trente ans, l'univers passe de plusieurs milliers de noms à quelques centaines à mesure qu'on remonte le temps. Tout ce qui a disparu manque à l'appel.
Ce biais frappe le plus fort dans deux cas : les stratégies qui achètent des actifs bon marché ou en difficulté (précisément ceux qui font faillite le plus souvent), et les marchés d'actions et d'ETF, où des sociétés entières peuvent sortir de la cote. Sur le Forex, il est plus rare, mais pas nul : certaines paires exotiques disparaissent aussi.
En clair : si votre historique ne contient aucune entreprise morte, il vous ment sur ce qui s'est vraiment passé.
Le biais du futur (look-ahead) : votre backtest triche avec le temps
Le second biais est encore plus vicieux. Le look-ahead, ou biais du futur, c'est utiliser à un instant T une information qui n'était pas encore disponible à ce moment-là.
Le gérant Rishi Narang le résume d'une formule : c'est comme « recevoir la nouvelle d'hier avant-hier ». Le backtest voit l'avenir, donc il gagne. En réel, c'est impossible.
Il prend plusieurs formes, souvent involontaires :
- Le décalage de publication. Vous testez une stratégie sur les résultats d'entreprise en les datant de la fin du trimestre. Mais un résultat du trimestre clos fin mars n'est publié que début mai. Votre backtest « achète en avril » une information qu'il n'aura en réalité que des semaines plus tard. Aux États-Unis, ce délai tourne en moyenne autour de 30 jours, et la Deutsche Bank a mesuré que le pouvoir prédictif d'un facteur de valorisation apparaissait gonflé d'environ 60 % quand on ignorait ce décalage.
- Le signal calculé sur la clôture, tradé à la clôture. Vous utilisez le cours de clôture du jour pour générer un signal, puis vous supposez être entré à ce même cours. Impossible : au moment où vous connaissez la clôture, la séance est finie. Sur une stratégie de retour à la moyenne, la Deutsche Bank montre que passer de « j'entre à la clôture » à « j'entre à l'ouverture suivante » fait chuter le ratio de Sharpe de 1,41 à 0,26. L'essentiel de la performance était du futur.
- Les prix ajustés des splits et dividendes. Un cours ajusté « rétroactivement » contient des opérations sur titres qui n'avaient pas encore eu lieu à l'époque. Pour une stratégie basée sur le niveau de prix, cela suffit à fabriquer une performance qui n'existe pas.
- Les statistiques calculées sur tout l'échantillon. Normaliser ou calibrer un indicateur sur l'ensemble de l'historique, puis l'appliquer « dans le passé », revient à injecter de l'information future dans vos premiers signaux.
Point important : le look-ahead surestime presque toujours la performance, et il peut être minuscule tout en étant dévastateur. Un avantage totalement fictif de 1 % par trade suffit à produire une courbe de capital d'apparence très respectable.
Pourquoi ces deux biais sont invisibles (et pas l'overfitting)
Un backtest plombé par des coûts oubliés se repère : la performance nette s'écroule dès qu'on ajoute le spread et les commissions. Là, c'est différent. La courbe reste magnifique.
Il existe quand même des signaux d'alerte.
Le premier, c'est un résultat qui contredit une régularité bien établie. Si votre test conclut que les actions les plus risquées battent largement les plus sûres, ou qu'une anomalie connue s'inverse, méfiez-vous : c'est une signature classique de biais de survie ou de look-ahead.
Le deuxième, c'est le « trop beau pour être vrai ». Une performance concentrée sur les vieilles données, un Sharpe anormalement élevé, une equity curve presque droite.
Le troisième, plus subtil : la performance qui explose quand vous raccourcissez l'horizon de prévision. C'est souvent le signe qu'une seule barre de données a fuité et domine tout le résultat.
Le piège du « mais j'ai fait un test hors échantillon »
Beaucoup pensent qu'un test hors échantillon règle la question. C'est nécessaire, mais ce n'est pas suffisant, et c'est là que se cache le troisième problème.
Le jour où vous testez cinquante variantes d'une stratégie et gardez la meilleure, ce « meilleur » résultat est en partie de la chance. Vous n'observez plus une performance moyenne : vous observez le maximum de cinquante essais, ce qui est une tout autre statistique.
David Aronson l'a chiffré. Sur cinquante règles sans aucune valeur réelle, la meilleure peut afficher +37 %. Un test naïf conclurait à un résultat « hautement significatif ». Or, quand on tient compte du fait qu'on a pris le meilleur de cinquante, le hasard seul produit déjà autour de +33 %. La significativité disparaît. Poussé à l'extrême, sur 6 402 règles testées, aucune ne résiste après correction, et environ 320 semblaient significatives par pur hasard.
Le piège se referme aussi quand vous réutilisez vos données de test. Dès que vous regardez un résultat hors échantillon et modifiez la stratégie en conséquence, ces données ne sont plus vierges. Vous êtes en train d'optimiser dessus sans le voir. C'est le cousin direct de l'overfitting, cette fois au niveau de la sélection de la stratégie.
Pour aller plus loin sur ce point, le walk-forward analysis permet justement de tester une stratégie sur plusieurs périodes indépendantes plutôt que sur une seule fenêtre.
Comment vous en protéger concrètement
Bonne nouvelle : ces biais se combattent avec de la méthode, pas avec des maths compliquées. Voici les réflexes qui comptent le plus.
- Utilisez des données qui incluent les actifs disparus. Pour les actions et ETF, cherchez un historique « survivorship-bias-free » qui garde les sociétés délistées et faillies. Sinon, traitez votre résultat comme un plafond, pas comme une estimation.
- Datez chaque donnée à sa vraie disponibilité. Décalez les fondamentaux à leur date de publication réelle. En l'absence d'information précise, décalez prudemment : la règle maison de la Deutsche Bank est d'appliquer environ trois mois de retard, pour pécher par excès de prudence plutôt que de tricher.
- Utilisez les chiffres tels que publiés à l'époque, pas leurs versions révisées des mois plus tard.
- Exécutez sur la barre suivante, pas sur celle du signal. Si le signal naît à la clôture, l'entrée se fait à l'ouverture d'après.
- Faites le test de troncature de Chan. Lancez votre backtest sur toutes les données, notez vos positions. Recommencez en coupant les derniers jours. Jusqu'à la date de coupure, les positions doivent être identiques. La moindre différence trahit une fuite de données futures.
- Comptez le nombre de variantes que vous avez testées. Plus vous en essayez, plus la meilleure est susceptible d'être un coup de chance. Un résultat sans son nombre d'essais ne veut pas dire grand-chose.
Ces vérifications valent sur tous les marchés. Le biais de survie se surveille surtout sur les actions et les ETF, le look-ahead d'exécution sur le Forex et les indices, où le réflexe « signal à la clôture, entrée à la clôture » est fréquent. Notez aussi que ces biais s'ajoutent aux coûts cachés du backtest comme le spread et le slippage, qui, eux, attaquent la performance nette.
FAQ
C'est quoi le biais de survie en trading ?
C'est le fait de tester une stratégie sur une liste d'actifs qui existent encore aujourd'hui, en excluant ceux qui ont fait faillite, ont été retirés de la cote ou absorbés. Les perdants ayant disparu des données, le backtest paraît bien plus rentable qu'il ne l'aurait été en réalité.
Comment détecter un biais du futur (look-ahead) dans un backtest ?
Le test le plus simple est celui de la troncature : lancez le backtest sur tout l'historique, puis relancez-le en retirant les derniers jours. Jusqu'à la date de coupure, les positions doivent être strictement identiques. Toute différence signale que des données futures ont fuité dans vos signaux.
Un test hors échantillon suffit-il à valider une stratégie ?
Non. Un test hors échantillon est nécessaire mais pas suffisant. Dès que vous choisissez la meilleure de plusieurs variantes, ou que vous réutilisez ces données pour ajuster la stratégie, elles perdent leur valeur de preuve. Il faut aussi tenir compte du nombre d'essais réalisés.
Ces biais concernent-ils le Forex ou surtout les actions ?
Le biais de survie touche surtout les actions et les ETF, où des sociétés entières disparaissent. Le biais du futur, lui, concerne tous les marchés, y compris le Forex et les indices, notamment via les signaux calculés sur la clôture ou les données mal datées.
En bref
Éviter l'overfitting ne suffit pas. Un backtest peut rester faux même avec une bonne stratégie, parce que ses données lui donnent un avantage que le trader réel n'a jamais eu. Le biais de survie efface les perdants, le look-ahead lui fait voir le futur, et aucun des deux ne se voit sur la courbe de capital.
La difficulté, pour un particulier, c'est que corriger ces biais demande d'abord des données propres et cohérentes. C'est rarement le cas des séries gratuites qu'on trouve en ligne.
C'est là qu'un outil comme AlgoBacktest aide concrètement : il fournit les données de marché via un fournisseur professionnel sur les actions, ETF, Forex, indices et futures, au lieu de vous laisser assembler des historiques incomplets. Et pour la question du « un seul test ne suffit pas », il intègre un walk-forward qui réentraîne et vérifie la stratégie sur plusieurs périodes jamais vues. Vous ne supprimez pas tout risque, mais vous partez de données saines plutôt que de tester sur du faux, ce qui est la base d'un backtest fiable.
Rappel utile : le trading comporte des risques significatifs de perte en capital, les performances passées ne préjugent pas des performances futures, et un logiciel reste un outil d'analyse et de recherche, pas une garantie de gain.