Le ROI simulé, qu'est-ce que c'est ? (pas une promesse de gain)

Qu'est-ce, au juste, que le ROI simulé (sur papier) ?

Le ROI simulé est l'adaptation à l'analyse footballistique du « paper trading » de la finance : chaque analyse que le modèle a produite par le passé est enregistrée comme si une unité fixe lui avait été allouée, puis notée face aux résultats réels et déjà consolidés de ces matchs. Le pourcentage obtenu est une comptabilité purement hypothétique — personne n'a misé quoi que ce soit, personne n'a gagné ni perdu quoi que ce soit.

Cela fait du ROI simulé une métrique de qualité du modèle, et non un chiffre de revenu. Ses métriques sœurs sont le taux de réussite (la part des analyses qui se sont vérifiées) et l'erreur de calibration. Ensemble, elles répondent à une seule question : « À quel point ce modèle a-t-il été proche de la réalité par le passé ? » Elles ne promettent rien sur l'avenir ; la seule chose que les données autorisent, c'est un bulletin honnête de l'histoire.

Comment 11Stat exécute un backtest : point-in-time et sans fuite de données

Pour qu'un backtest soit honnête, le modèle ne doit voir que les données connaissables avant le coup d'envoi. 11Stat utilise donc des tests walk-forward « point-in-time » (figés à l'instant) : pour chaque jour passé, le modèle est ré-exécuté avec exactement les données de forme, d'effectif et de championnat disponibles ce matin-là, et sa sortie est notée face au score final réel publié ultérieurement.

Le défaut le plus insidieux — la fuite d'information future (look-ahead leakage), lorsque le modèle voit par accident des informations venues du futur — est bloqué par une protection dédiée. Les résultats sont ventilés par marché (issue du match, nombre de buts, score le plus probable, etc.), et les marchés qui restent faibles sont automatiquement désactivés. La procédure complète est documentée sur la page méthodologie.

Pourquoi la performance simulée passée ne dit rien de certain sur l'avenir

Trois raisons structurelles. Premièrement, la variance : le football est un jeu à faible score et à forte part de chance ; même sur une fenêtre de plusieurs centaines de matchs, un bon modèle peut paraître médiocre et un modèle quelconque, brillant. Deuxièmement, la dérive de régime : effectifs, entraîneurs, interprétations arbitrales et dynamiques de saison changent, si bien qu'un schéma qui fonctionnait historiquement peut se briser en silence.

Troisièmement, le surapprentissage (overfitting) : plus un modèle est finement ajusté aux données passées, moins il généralise vers l'avant. À cause de ce trio, aucune courbe de ROI historique ne peut être projetée en avant ; 11Stat présente ses résultats simulés comme un instrument de diagnostic, jamais comme un indicateur de performance future. Les performances passées ne préjugent pas des résultats futurs — sur cette page, cette phrase n'est pas un ornement juridique, elle est les mathématiques elles-mêmes.

Taux de réussite, ROI et calibration : ce que chacun dit vraiment

Seul, le taux de réussite induit en erreur : un modèle qui choisit toujours l'issue la plus probable peut se vanter d'un taux élevé tout en n'apportant absolument aucune information. Seul, le ROI est bruité : une poignée de résultats extrêmes fait basculer toute la courbe. La métrique la plus robuste est la calibration : les événements que le modèle annonce à 60 % se produisent-ils réellement environ 60 % du temps ?

C'est pourquoi 11Stat publie les trois ensemble, étiquetées avec la fenêtre temporelle et la taille d'échantillon. Là où une métrique brille seule, regardez d'abord les deux autres ; ce n'est que lorsque les trois racontent une histoire cohérente que l'on a réellement appris quelque chose sur le modèle. Pour les notions sous-jacentes, voir calibration du modèle et le glossaire.

Pourquoi 11Stat publie de la calibration plutôt que des pronostics

Le langage par défaut du secteur est « les pronostics du jour » ; 11Stat publie délibérément autre chose : des probabilités, des scores de confiance et leur bulletin historique. Les fenêtres de backtest passées en négatif sont publiées elles aussi, car un graphique qui ne montre que de bonnes semaines relève du marketing, pas de la mesure.

Cette transparence a des effets concrets : les marchés qui s'affaiblissent sont coupés automatiquement, le score de confiance de 0 à 10 est dérivé des données de calibration, et chaque carte d'analyse indique quels moteurs ont contribué. Ce que reçoit l'utilisateur n'est pas une promesse, mais un système de mesure vérifiable. La page comment ça marche détaille pas à pas comment les 12 moteurs parviennent à un consensus.

Comment lire n'importe quel chiffre de ROI de façon responsable

Où que vous rencontriez une affirmation de ROI, interrogez-la avec ces questions :

• Combien de matchs dans l'échantillon ? Une fenêtre de quelques dizaines de matchs ne dit presque rien sur le plan statistique.
• Comment la période a-t-elle été choisie ? Ne montrer que le meilleur mois est un biais de sélection de manuel.
• La fuite de données a-t-elle été écartée ? Si de l'information postérieure au match a contaminé le test, le chiffre est nul.
• Simulé ou réel ? Les rendements sur papier excluent les frictions du monde réel telles que le timing et le mouvement des prix.
• Les périodes négatives sont-elles montrées aussi ? Un système qui ne montre jamais de mauvaise fenêtre ne mesure rien.

Chaque métrique simulée que publie 11Stat est conçue pour résister à ces cinq questions — et, même alors, elle ne décrit jamais que le passé.