Eine Strategie ehrlich backtesten

Backtesting bedeutet, eine Handelsstrategie anhand historischer Kursdaten durchzuspielen, um zu sehen, wie sie sich geschlagen hätte. Ehrlich durchgeführt, ist es der günstigste Weg, eine schlechte Idee zu begraben, bevor sie Sie Geld kostet. Nachlässig durchgeführt – und das ist der Normalfall – liefert es schöne Equity-Kurven, die sich in Luft auflösen, sobald echtes Geld ins Spiel kommt, weil der Test stillschweigend Wissen, Ausführungen und Kosten voraussetzte, die kein Live-Trader je bekommt.

Warum die meisten Backtests Ihnen schmeicheln

Ein Backtest ist eine Simulation, und jede Vereinfachung darin neigt dazu, zu Ihren Gunsten zu irren. Historische Kerzen zeigen nicht den Spread, den Sie hätten überqueren müssen. Die Strategie, die Sie testen, ist meist der Überlebende von Dutzenden verworfener Varianten, ihre Ergebnisse sind also bereits auf Glück selektiert. Und die Kryptowerte, die Sie zum Testen gewählt haben, sind typischerweise jene, die sich gut genug entwickelt haben, um noch auf Ihrem Radar zu sein.

Nichts davon erfordert Unehrlichkeit. Es geschieht durch eine Reihe einzeln vernünftiger Entscheidungen: „Ich justiere nur diesen Schwellenwert nach“, „Ich teste auf BTC, weil es die meisten Daten hat“, „Gebühren lasse ich erst mal weg und füge sie später hinzu“. Jede Entscheidung bringt eine kleine optimistische Verzerrung ein, und die Verzerrungen summieren sich. Eine Strategie, die in einem naiven Backtest über zwei Jahre +80 % zeigt, kann nach Berücksichtigung der vier folgenden Probleme leicht bei null oder im Minus landen. Das Ziel ehrlichen Backtestings ist nicht, jede Verzerrung zu beseitigen – das ist unmöglich –, sondern zu wissen, in welche Richtung jede einzelne wirkt, und dafür zu sorgen, dass alle gegen Sie wirken statt für Sie.

Overfitting: Anpassen, bis die Vergangenheit perfekt aussieht

Overfitting (Überanpassung) heißt, Ihre Strategie an das Rauschen in einem bestimmten Ausschnitt der Historie anzupassen statt an etwas Wiederholbares. Es ist der mit Abstand häufigste Weg, auf dem Backtests lügen.

Der Mechanismus ist simpel. Angenommen, Sie testen einen RSI-Mean-Reversion-Bot und probieren Kaufschwellen von 20, 25, 30 und 35 aus, mit Take-Profits von 2 %, 3 % und 5 %, auf drei Zeitrahmen. Das sind 36 Kombinationen. Selbst wenn die zugrunde liegende Idee keinerlei Vorteil (Edge) hat, sieht auf einem beliebigen Datensatz allein durch Zufall eine dieser 36 großartig aus – und genau die werden Sie behalten wollen. Sie haben keinen Vorteil entdeckt; Sie haben eine Lotterie veranstaltet und das Gewinnlos behalten.

Warnzeichen für eine überangepasste Strategie:

• Verdächtig spezifische Parameter. RSI 27,5 mit 3,8 % Take-Profit funktioniert hervorragend, aber RSI 25 oder 30 verliert Geld. Ein echter Vorteil lässt allmählich nach, wenn Sie Parameter verschieben; ein falscher fällt von der Klippe.
• Viele Regeln, wenige Trades. Eine Strategie mit sechs Einstiegsbedingungen, die in zwei Jahren 40-mal ausgelöst hat, kommt auf etwa eine Regel pro sieben Trades. Das ist Auswendiglernen, keine Strategie.
• Performance, die sich auf eine Handvoll Trades konzentriert. Wird die Equity-Kurve flach, wenn Sie die drei besten Trades entfernen, haben Sie ein paar Glücksfälle gebacktestet.

Die Gegenmittel sind ebenso simpel, wenn auch unbequem: weniger Parameter bevorzugen, prüfen, ob auch benachbarte Parameterwerte funktionieren (ein Plateau ordentlicher Ergebnisse ist mehr wert als eine einzelne spektakuläre Spitze), und eine Stichprobe von mindestens einigen hundert Trades verlangen, bevor Sie irgendeiner Kennzahl trauen.

Look-ahead-Bias und seine Verwandten

Look-ahead-Bias heißt, dass Ihre Simulation Informationen nutzt, die im Moment des simulierten Trades nicht verfügbar waren. Er ist im Code oft unsichtbar und für die Aussagekraft stets fatal.

Häufige Formen:

• Handel auf einer noch nicht geschlossenen Kerze. Ein Indikator, der auf dem Schlusskurs einer Kerze berechnet wird, ist erst bekannt, wenn die Kerze schließt – oft der häufigste Einzelfehler in selbstgebauten Backtests. Kauft Ihr Test zum Schlusskurs derselben Kerze, sobald das Signal entsteht, ist das in Ordnung; kauft er zum Eröffnungskurs oder zum Tief dieser Kerze, sind Sie durch die Zeit gereist.
• Repainting-Indikatoren. Manche Indikatoren (bestimmte Zickzack-, Fraktal- oder geglättete Signale) berechnen vergangene Werte neu, sobald neue Daten eintreffen. Auf endgültigen historischen Werten gebacktestet, wirken sie hellseherisch; live zeichnet sich das Signal, auf das Sie reagiert haben, neu.
• Survivorship Bias. Nur auf den heutigen Top-20-Kryptowerten zu testen heißt, nur auf Werten zu testen, die per Definition nicht kollabiert sind. Ein Portfolio aus der Zeit von 2021, das Kryptowerte enthielt, die später um 95 % fielen oder delistet wurden, sah ganz anders aus als das, was ein heutiges Top-20-Screening zeigt.
• Data Snooping über mehrere Versuche. Jedes Mal, wenn Sie auf die Ergebnisse der gesamten Historie schauen und dann die Strategie anpassen, ist die gesamte Historie kein fairer Test mehr. Sie haben alle Ihre Daten zu Trainingsdaten gemacht.

Die strukturelle Lösung ist Out-of-Sample-Testing: Sperren Sie einen Teil der Historie – sagen wir die jüngsten 30 % – weg, bevor Sie mit dem Optimieren beginnen. Optimieren Sie nur auf dem älteren Teil und lassen Sie die fertige Strategie dann ein einziges Mal auf den zurückgehaltenen Daten laufen. Bricht die Performance Out-of-Sample ein, hat die Strategie auswendig gelernt statt zu verallgemeinern. Walk-Forward-Tests erweitern das: Wiederholt auf einem Fenster optimieren, auf dem nächsten Abschnitt testen und weiterrollen, sodass jeder getestete Zeitraum zum Zeitpunkt der Optimierung tatsächlich ungesehen war.

Gebühren, Slippage und die Kosten häufigen Handelns

Die Kostenmodellierung ist der Punkt, an dem ehrliche und unehrliche Backtests in den nackten Zahlen am weitesten auseinanderlaufen, denn Kosten skalieren mit der Handelsfrequenz, und kleine Abzüge pro Trade summieren sich gnadenlos.

Rechnen wir ein Beispiel durch. Ein Bot macht im Schnitt drei Roundtrips pro Tag. Taker-Gebühren von 0,10 % pro Seite kosten 0,20 % pro Roundtrip. Rechnet man realistische 0,05 % pro Seite für Spread und Slippage bei einem liquiden Paar hinzu – bei dünn gehandelten Paaren mehr –, kostet jeder Roundtrip etwa 0,30 %. Bei drei Trades am Tag sind das rund 0,9 % des gehandelten Kapitals pro Tag an Reibungsverlusten. Eine Strategie, deren durchschnittlicher gewinnbringender Roundtrip vor Kosten 0,5 % netto bringt, ist nicht grenzwertig – sie ist eine Spendenmaschine, egal wie glatt ihre gebührenfreie Equity-Kurve aussieht.

Ein ehrlicher Backtest also:

• Rechnet die Taker-Gebühr an, es sei denn, die Strategie platziert tatsächlich Limit-Orders im Orderbuch, und bildet das reale Risiko ab, dass solche Orders nicht ausgeführt werden, wenn der Kurs davonläuft.
• Addiert Slippage, die mit der Ordergröße und den Marktbedingungen skaliert – Ausführungen bei einem volatilen Ausbruch sind schlechter, als der Kerzenwert vermuten lässt, und Stop-Market-Orders können bei einem Crash weit unter dem Stop-Niveau ausgeführt werden.
• Verwendet Gebührenstufen, die Sie tatsächlich hätten, nicht die VIP-Stufe von der Marketingseite einer Börse.
• Wiederholt den Test mit um 50 % erhöhten Kosten als Stresstest. Ein echter Vorteil überlebt das; eine kostenempfindliche Fata Morgana nicht.

Die Ergebnisse wie ein Skeptiker beurteilen

Auch ein sauberer Backtest will skeptisch gelesen werden. Die Gesamtrendite ist die aussageärmste Zahl im Bericht.

Schauen Sie stattdessen auf den maximalen Drawdown (hätten Sie den Bot im ersten Jahr wirklich durch einen Einbruch von 40 % laufen lassen?), die Zahl der Trades (weniger als etwa 100 bedeuten große Fehlerbalken bei allem) und darauf, wie sich die Renditen über Zeit und Kryptowerte verteilen. Vergleichen Sie mit einer dummen Benchmark: Hat einfaches Halten desselben Vermögenswerts im selben Zeitraum mehr bei weniger Komplexität gebracht, hat die Strategie negativen Wert hinzugefügt. Prüfen Sie die Abhängigkeit vom Marktregime, indem Sie die Ergebnisse in steigende, fallende und seitwärts laufende Phasen aufteilen – viele Krypto-Strategien sind nur „Long im Bullenmarkt“ im Indikator-Kostüm.

Behandeln Sie die Backtest-Performance schließlich als Obergrenze, nicht als Schätzwert. Live-Ergebnisse sind fast immer schlechter: Märkte verschieben sich, die Ausführung enttäuscht, und der Restoptimismus, den Sie nicht herausbekommen haben, wird fällig. Eine gängige Plausibilitätsregel: Verlangen Sie, dass eine Strategie nach allen Kosten und Out-of-Sample-Tests klar gut aussieht – nicht grenzwertig –, starten Sie dann live mit kleiner Größe, vergleichen Sie einige Wochen lang die Live-Ausführungen mit den simulierten (vorab hilft Paper Trading) und skalieren Sie nur hoch, wenn die Realität der Simulation folgt.