Vous avez une stratégie. Elle ne donne rien.
Alors vous changez un réglage, puis un autre. Vous testez une paire, puis une autre. Un timeframe, puis un autre. Au bout d'un moment, une version sort du lot : belle courbe, beaux chiffres. Vous la gardez.
Et en réel, elle s'effondre.
Ce n'est pas forcément de la malchance, et ce n'est pas forcément vous. C'est un piège statistique qui porte un nom : le data mining. Dans cet article, vous allez voir pourquoi chercher trop longtemps une stratégie finit toujours par en produire une fausse, comment le reconnaître, et la méthode simple pour ne plus tomber dedans.
À force de chercher, on finit toujours par trouver
Le data mining, ou exploration de données (aussi appelée fouille de données), c'est chercher dans les chiffres jusqu'à tomber sur quelque chose qui a l'air de marcher.
Le problème n'est pas de chercher. Le problème, c'est que si vous cherchez assez longtemps, vous trouverez toujours une stratégie qui colle parfaitement au passé, même si elle n'a aucune valeur pour l'avenir.
C'est différent de l'overfitting, où une seule stratégie est trop bien réglée pour un historique donné. Ici, le piège vient d'avant : du simple fait d'avoir essayé beaucoup de stratégies et d'avoir gardé la gagnante.
Un backtest vous donne un chiffre. Il ne vous dit pas combien de fois vous avez essayé avant d'obtenir ce chiffre. Et c'est justement ce nombre qui décide s'il veut dire quelque chose.
Pourquoi le hasard produit toujours un gagnant
Marcos López de Prado, un des grands noms de la finance quantitative, le montre avec une pièce de monnaie.
Lancez-la dix fois. Vous obtenez par exemple cinq faces, puis cinq piles. Un chercheur pressé y voit une règle : « face en début de série, pile en fin de série ».
Relancez dix fois : la règle fait cinq bons coups, cinq mauvais. Elle ne valait rien. Elle décrivait juste le hasard passé.
Le vrai souci, c'est ce qui arrive quand vous répétez l'opération des centaines de fois. Prenons un test honnête. Il se trompe cinq fois sur cent (le fameux seuil de 5 %).
Faites-en un seul : 5 % de risque de vous tromper. Acceptable.
Faites-en dix et gardez le meilleur : le risque qu'au moins un vous trompe par pure chance grimpe à environ 40 %.
Le calcul est simple : 1 moins (0,95 puissance 10), soit à peu près 0,40.
Et ce n'est pas propre au trading. Le chercheur John Ioannidis l'a démontré pour la science entière dans un article resté célèbre : quand on teste beaucoup d'hypothèses le plus souvent fausses, la majorité des découvertes publiées sont fausses.
Transposé à vos backtests : sur 1000 stratégies testées au seuil de 5 %, environ 50 vont sembler gagnantes alors qu'elles ne valent rien.
1000 multiplié par 5 %, ça fait 50 faux gagnants. Et vous n'en gardez qu'une : la plus belle. Il y a de fortes chances qu'elle fasse partie des 50.
Quand un backtest « significatif » ne l'est plus
Un économètre, Halbert White, a mis cette idée à l'épreuve sur le S&P 500. Il a passé au crible 3654 modèles pour prédire la hausse ou la baisse du lendemain.
Le meilleur visait juste dans 54,75 % des cas, contre 50,79 % pour un choix au hasard. Presque quatre points d'avance : ça paraît énorme.
Pris tout seul, ce résultat semblait quasi certain. Une chance sur 280 environ que ce soit du hasard.
Sauf qu'il n'avait pas testé un modèle. Il en avait testé 3654. Une fois ce chiffre pris en compte, la probabilité que ce soit de la chance remontait à une sur cinq. Le résultat impressionnant ne valait plus rien.
Pour trancher sur un résultat isolé, il existe des outils dédiés comme la simulation de Monte Carlo. Mais le vrai réflexe est en amont : se demander combien de tests ont précédé le gagnant.
Vous n'avez pas fait un test, vous en avez fait deux cents
Voici le point que presque personne ne compte honnêtement.
Vous croyez avoir testé une stratégie. En réalité, vous en avez testé cent.
Chaque réglage de RSI que vous modifiez est un test. Chaque marché que vous essayez (EUR/USD, puis l'or, puis le DAX) est un test. Chaque timeframe (5 minutes, 15 minutes, 1 heure) est un test. Chaque filtre que vous ajoutez ou retirez est un test.
Vous optimisez un seuil sur EUR/USD, ça ne donne rien, vous passez aux actions américaines, puis aux futures sur indices. À la fin, vous avez lancé des dizaines, parfois des centaines de simulations, et vous gardez la meilleure.
Le chiffre le plus important d'un backtest n'est pas son rendement. C'est le nombre d'essais qu'il a fallu pour le trouver. Et c'est presque toujours l'information que personne ne note.
Battre le hasard, pas battre zéro
Voici l'erreur que presque tout le monde commet, et le vrai cœur du problème.
Quand vous trouvez une stratégie qui rapporte, vous la comparez à rien : « elle gagne, donc elle est bonne ». Mauvais repère.
La vraie question n'est pas « est-ce qu'elle bat zéro ? ». C'est : « est-ce qu'elle bat ce que la chance seule aurait produit après le même nombre d'essais ? »
Reprenons des chiffres simples. Imaginons que vous ayez testé 100 stratégies.
Le hasard seul, sur 100 essais, produit une meilleure stratégie qui « score » disons 50.
Si votre meilleure fait 50 : vous êtes pile au niveau du hasard. Zéro preuve. C'est ce que la chance fabrique de toute façon.
Si votre meilleure fait 60 : là, vous passez au-dessus de la barre du hasard. Ces 10 points d'écart, c'est votre seul vrai candidat au talent.
Donc oui, battre le hasard, ce n'est pas rien. Mais tout se joue sur la hauteur de la barre.
Et cette barre monte avec le nombre d'essais. Si vous aviez testé 1000 stratégies au lieu de 100, le hasard seul serait monté à 58, voire 60. Votre 60 retomberait dans la zone du hasard, et ne prouverait plus rien.
C'est exactement pour ça que compter vos essais est vital : le nombre d'essais fixe la hauteur de la barre que votre résultat doit dépasser.
La décote que les chercheurs appliquent
Le ratio de Sharpe, c'est une note qui mesure le rendement d'une stratégie par rapport à ses secousses : plus il est haut, plus la stratégie paraît solide. (Si le terme vous est nouveau, tout est expliqué dans notre article sur le ratio de Sharpe.)
Voici ce que le hasard seul produit, sans la moindre compétence réelle :
| Nombre d'essais | Meilleur Sharpe obtenu par pure chance |
|---|---|
| 1 essai | environ 0 |
| 100 essais | environ 3 |
| 1000 essais | environ 5 à 6 |
Un Sharpe de 3, c'est un chiffre de fonds d'exception. Et pourtant, il sort tout seul dès que vous testez une centaine de variantes sans aucun talent derrière.
Les chercheurs Campbell Harvey et Yan Liu ont posé une règle sur ce phénomène : plus vous avez fait de tests, plus la barre de preuve doit monter. Et cette décote n'est pas linéaire. Une stratégie moyenne se fait raboter presque à zéro (à jeter), tandis qu'une stratégie vraiment exceptionnelle est à peine touchée.
Un exemple concret tiré de leur travail.
Sur vingt ans de données, une stratégie honnête (un seul test) doit rapporter environ 4,4 % par an pour être crédible.
Faites 300 tests et gardez le meilleur : la barre monte à environ 7,4 % par an.
Même donnée, même stratégie. C'est le nombre de tests derrière qui change ce qu'elle doit prouver.
Comment ne pas vous piéger vous-même
Vous ne pouvez pas supprimer ce piège, mais vous pouvez arrêter de tomber dedans. Cinq règles simples :
- Décidez votre stratégie avant de tester. Partez d'une idée qui a du sens, un comportement de marché que vous comprenez, pas d'un balayage au hasard de tous les réglages possibles.
- Comptez et notez tous vos essais, pas seulement le gagnant. Si vous avez lancé 200 simulations, votre « découverte » doit être jugée comme une sur 200.
- Gardez des données que vous ne touchez jamais. Réservez une partie de l'historique et ne la sortez qu'à la toute fin, une seule fois, pour vérifier le survivant.
- Plus vous testez, plus il vous faut d'historique. Chercher parmi mille variantes sur six mois de données ne prouve rien : il faut des années pour qu'un bon résultat pèse.
- Méfiez-vous du spectaculaire. Un backtest trop beau est plus souvent le signe d'une sur-optimisation que d'un talent caché.
Une méthode complémentaire consiste à tester la stratégie sur plusieurs périodes qu'elle n'a jamais servi à régler (le walk-forward). Si elle tient sur des données vraiment nouvelles, et pas seulement sur le passé qui a servi à la choisir, elle devient crédible.
Les chercheurs vont encore plus loin : ils ont des versions renforcées de ces tests (comme celui de Peter Hansen) capables de repérer quand une recherche a été noyée sous des centaines de mauvaises stratégies. La preuve que le problème est pris très au sérieux, bien au-delà du trader particulier.
FAQ
C'est quoi le data mining en trading ?
C'est le fait de tester énormément de stratégies ou de réglages sur les mêmes données, puis de garder celui qui donne le meilleur résultat. Le danger : avec assez d'essais, une stratégie sans valeur finit toujours par sembler excellente par pure chance.
Combien de stratégies peut-on tester sans risque ?
Il n'y a pas de nombre magique. Ce qui compte, c'est de compter vos essais et d'exiger une preuve d'autant plus forte que vous avez testé davantage. Plus vous multipliez les tests, plus la barre de crédibilité doit monter, et plus il vous faut d'historique.
Comment savoir si mon backtest est fiable ?
Posez-vous d'abord une question : combien de versions ai-je essayées avant de garder celle-ci ? Ensuite, validez le survivant sur des données jamais utilisées pour le choisir, et méfiez-vous des résultats trop beaux pour être vrais.
Le walk-forward suffit-il à éviter le data mining ?
Il aide beaucoup, mais il ne suffit pas à lui seul. Si vous relancez le test encore et encore en ajustant à chaque fois, même un walk-forward finit par être contaminé. La vraie protection, c'est de limiter et de compter le nombre d'essais.
En bref
Un backtest ne vaut que par le nombre d'essais qui l'a produit. Testez dix stratégies et gardez la meilleure, et vous avez déjà 40 % de chances de garder un pur coup de chance. Testez-en mille, et vous en trouverez forcément une magnifique, et fausse.
La bonne nouvelle : une fois que vous savez ça, vous ne regardez plus jamais un beau backtest de la même façon.
Le point de départ compte plus que tout. La plupart des traders construisent une règle rigide sur un indicateur (achat quand le RSI passe sous 30, par exemple) puis la triturent jusqu'à ce que la courbe soit belle. C'est là qu'une approche par machine learning change la question. Avec un outil comme AlgoBacktest, vous ne codez pas de règle figée : vous fournissez l'indicateur comme une donnée parmi d'autres, et un modèle apprend lui-même comment ce signal se relie aux mouvements qui suivent. Le tout sans coder, sur plusieurs marchés (Forex, actions, ETF, indices, futures).
Et parce qu'un moteur de recherche automatique explore justement beaucoup de combinaisons, le garde-fou est intégré : chaque stratégie est validée sur des données que le modèle n'a jamais vues, et une série d'analyses vérifie sa robustesse. AlgoBacktest reste un outil d'analyse et de recherche : il ne promet aucun gain, et les performances passées ne préjugent pas des performances futures.