Anforderungen an einen guten Backtest
 

Hallo zusammen!

Ich bin sowohl hier in diesem Forum als auch in der Welt des automatisierten Handels. Manuell Trade ich bereit seit Jahren profitabel und habe total Bock einige Handelsansätze zu automatisieren. Derzeit hänge ich am Thema "vernünftiges" Backtesting.

Ich lasse mir momentan einen Expert Advisor programmieren, den ich dann in MT4 Backtesten möchte, gerne teile ich dann die Ergebnisse mit euch hier. Habe vorab schon einen Backtest in Excel durchgeführt und dabei auch möglichst realistische Bedingungen eingehalten (Spread, Gebühren, dauerhafte kleine Slippage). Nun bin ich da auf Anhieb auf grandiose Ergebnisse gekommen, die mich wiederum zögern lassen, denn wenn es zu schön ist um wahr zu sein, ist es meist auch so. Vor allem wenn es um Börse oder allgemein um Geld geht.

Hier einige Eckdaten:

Datensätze: ca. 39000 OHLC vom DAX im M1, entspricht 46 Handelstagen (24.06.2016 bis 26.08.2016)
Handel: Immer nur eine Position geöffnet, beide Richtungen (long+short) möglich. Verkaufssignal schließt laufenden Long und umgekehrt. Es wird aber mit der Schließung nicht direkt der Trade in Gegenrichtung eröffnet, sondern erst das nächste Signal gehandelt.
Risiko: immer und ohne Ausnahme 1% des Depotwertes pro Trade
Strategie: Top und Boden auf kleiner Zeiteinheit mit engem SL erwischen + definierter Exit (kein Trailing SL)
Instrument: DAX CFD
Handelszeit: Xetra-Öffnungszeiten und kein Handel in der Mittagszeit (12:00 bis 12:59)

Im Anhang hab ich ein Foto von den Backtesting-Ergebnissen. Was meint ihr allgemein zu den von mir verwendeten Kennzahlen? Fehlt da noch was? Sticht der Wert einer der Kennzahlen negativ ins Auge? Finde die Performance in der kurzen Zeit für ein automatisches Handelssystem schon beachtlich und suche den Haken. Vielleicht ist es ja genau das: Der kurze Zeithorizont? Das sind zwar viele Daten, aber nur 2 Monate. Interessanter wären natürlich mehrere Jahre, dafür fehlen mir aber die M1-Daten.

Mich würde eure Meinung zu den Test-Ergebnissen sehr interessieren.

Hoffe ihr habt ein paar Einsichten für mich bzgl. Backtesting!

Viele Grüße
Philipp :)

DAX-Punkte statt EURO-Beträge
 

Hey,

ich habe die Ergebnisse/Kennzahlen in der Auswertung nochmal in DAX-Punkten, statt in EURO-Beträgen angegeben, das dürfte noch um einiges aussagekräftiger sein!

Gruß
Philipp

Der BT hat nen ganz guten Durchschnitt. Ich hab immer nen Gewinner-Anteil von ca. 50%. Wenn man dann Verluste schnell schließt und in Deinem Fall die Einsätze immer erhöht durch die 1% dann passt das schon. Allerdings sind BTs nicht so aussagekräftig wie nen Live-Konto. Sag mal was Du traden willst und wie exakt der BT war. Auf jeden Fall das Teil nen paar Wochen intensiv in nem Demo-Konto testen und beobachten, bevor Du Dich an echte Kohle wagst.

Dann könnte mir freundlicherweise mal Jemand erklären wie mans hin bekommt, dass er immer 1% vom gesamten Konto-Wert einsetzt. :rolleyes:

Ja ich habe auch schon überlegt mit ner Abwandlung der Kelly-Formel die Positions-Größe dynamisch zu gestalten, damit in Phasen geringerer Trefferquote die Positionsgröße drastisch zurückgefahren wird, um Drawdowns noch kleiner zu halten.

Ja ich erwarte auch nicht unbedingt, dass ich die BT-Performance 1:1 so abbilden werde, gehe wie gesagt ja ohnehin schon eher misstrauisch an die Sache. Sobald der EA steht, kann ich nochmal Daten direkt aus dem MT4 schicken, das kann aber noch 3-4 Wochen dauern.

Was mich beschäftigt ist, wie realistisch es überhaupt ist, solche Ergebnisse live zu erzielen. Ich habe da nichts over-fitted oder ähnliches.

Die Frage mit dem 1% versteh ich gerade nicht ganz. Ist dein Konto so groß, dass du deine Size nicht in den Markt bekommst? Falls ja, dann hast du andere Sorgen als ich :D Aber wäre ja ohnehin schöner, wenn man auch weniger als 1% nehmen könnte.

Update Auswertung
 

*UPDATE* der Auswertung, in den Erwartungswert hatte sich ein Vorzeichen-Fehler eingeschlichen :eek: :o

"Risiko: immer und ohne Ausnahme 1% des Depotwertes pro Trade"

Ich dachte Du wüsstest wie. :confused: :rolleyes: Aber es wird sich einrichten lassen,
die Lotsize automatisch mit Dezimalz. berechnen zu lassen. Dann kannst auch 0.0815% des Kapitals einsetzen lassen. Das Zauberwort heißt "double".

Edit:Erwartungswerte sind sowieso immer falsch. Kommt auf die Ergebnisse an.

Ich kann deinen Gedanken leider nicht genau folgen MA-EA. Mir ist schon klar, wie eine Positionsgröße zu wählen und anzupassen ist und ich weiß wohl auch, was ein Double-Wert ist. Ich glaube wir haben etwas aneinander vorbei geredet ;)

Ich möchte gerne wissen, welche Kennzahlen evtl. noch fehlen, um die Robustheit einer Strategie zu messen, wie ihr die bereits ermittelten Kennzahlen einschätzt und ob ein solches Szenario wie dargestellt überhaupt realistisch umzusetzen ist. Nun bin ich wahrlich kein Frischling was das Trading angeht, jedoch bin ich neu auf dem Gebiet des automatisierten Handels. Ratschläge darüber hinaus nehme ich natürlich auch immer gerne an. Gern auch per PN.

Weiterhin ein schönes WE
Philipp :)

Am besten einfach im Demo oder mit Paper-Trading testen. BTs entsprechen nicht unbedingt der Praxis. Du kannst 20 Jahre lang BTs machen. Live wirds etwas anders aussehn.

Moin ;)

Grundsätzlich ist zu sagen, dass ein backtest über 46 Tage viel zu kurz ist.

Die Datenqualität, die Du hast ist ok für einen Anhaltspunkt (beim MT4 backtest erhälst Du damit 90% Qualität); besser wären natürlich Tickdaten (ergeben dann 99%).

Eine extrem wichtige Kennzahl ist immer der drawdown (DD). Dieser gibt den maximalen Verlust von einem Hochpunkt aus an und wird in % gerechnet. Je geringer der DD, desto "ruhiger" der Verlauf des Kontostandes (und desto größer kann die Lotsize gewählt werden).

Für einen backtest ist es immer sinnvoll, einen Lauf mit einer konstanten Lotsize zu machen, damit man an der Kurve sehen kann, wie der Verlauf über längere Zeit aussieht. Wenn die Lotsize variiert wird die Kurve verzerrt, da sie dann immer zum Ende hin extrem ansteigt.

Wenn ich das richtig gelesen habe, dann hast Du noch keinen EA von dem Teil, so dass ein backtest in einem MT4 nicht durchgeführt werden kann.

Die M1 Daten sind leicht zu bekommen, aber da hast Du ja nichts von, wenn Du keinen EA hast.

Hoffe, das hilft erst einmal.

Gruß

Stimmt! Ich für meinen Teil gehe beim Backtesting folgendermaßen vor:
1.) Je nach benutzten Indikatoren/Konditionen verwende ich im 1. Schritt die Option "Open prices only..." Damit kann man sehr schnell viele Parameter testen.
2.) Danach kommt für die besten Ergebnisse/TimeFrames die Option "Every tick..." Das ist dann schon etwas genauer.
3.) Abschließend schaue ich auf die Ergebnisse der einzelnen Handelsstunden und -tage. Das bringt dann nach meinen Erfahrungen gute Parameter für das Live-Trading. Der MT-Backtester liefert dafür keine Werte. Aber wenn Du die Möglichkeit hast z.B. im Ninjatrader zu testen, kannst Du dort standardmäßig die besten Stunden und Tage ermitteln.

Moin ;)

Ich habe bisher immer nur Tickdaten genommen (99%). Momentan kann ich aber nur die Minutendaten nehmen, da mein altes Programm zum Laden der Tickdaten nicht mehr geht. Mein Neues kann die Daten zwar in CVS wandeln, aber MT4 kann das nicht verarbeiten. Ich will mir am WE mal welche ansehen, die mehr auswerten als MT4.

Die Methode Open Candle mag zwar schnell sein, aber ist sie auch relativ genau?

Gruß

Andreas

Du solltest das nur für einen ersten Test verwenden. Weil es sehr schnell ist, kann man ohne Probleme viele Parameter mittesten.
Auf jeden Fall die gefundenen Daten mit "Every Tick..." relativieren!!! Aber schau Dir dann mal Wochentags- und Stundenergebnisse an. Da entsprechende Änderungen vorzunehmen, bringt sensationelle Ergebnisse.

Übrigens: Ich glaube das BTs nur über 6 vielleicht 12 Monate laufen müssen. Man kann sich auch zu Tode optimieren... Die Ergebnisse von 2014 interessieren mich relativ wenig. Der aktuelle Monat ist das Thema. Ältere Daten braucht man eigentlich nur, um die Funktionalität eines EAs zu testen.
Ich bin dabei zu überlegen und einen Weg zu finden, der automatische BTs z.B. jede Woche durchführt und die Ergebnisse dann in das Live-Trading-Tool einsetzt.

...so etwas musst Du wohl selber schreiben ;)

Ich werde am WE mal die Demo von Strategy Quant ansehen.

Bis denne

Ich hatte lange die kostenlose Version von Quant Analyzer. Hat mir völlig ausgereicht. Erst als es mal ein gutes Sonderangebot für die Vollversion gegeben hat, habe ich die gekauft. Arbeite damit seit ca 2 Jahren, ich glaube aber nicht, dass sich an der Leistungsfähigkeit der "free" Analyzer-Version was geändert hat. Du solltest das auf jeden Fall anschauen. Das Teil erlaubt z.B. if-Alnalysen über Stunden-, Tagesergebnisse, sehr hilfreich!

Wenn Du das testest, beachte, dass die Vollversion Rechenpower braucht. Ich habe dafür einen XEON-Server, 16 Kerne, 64 Giga. Du musst Dich darauf einstellen, den mal für 4 Wochen oder länger laufen zu lassen. Ein kleineres Problem war die Installation von Win 7 auf der Maschine.

Moin ;)

Soweit ich das durchblickt habe, gibt es die freie Version nicht mehr. Wenn man die freie Version lädt, dann bekommt man eine Trialversion und per Mail einen Key für 2 Wochen.

Kann das Teil auch backtests machen, bei denen die Trades umgedreht werden?

Man kann damit doch auch zwei Strategien "übereinanderlegen", oder?
Ich meine damit, dass die parallel leufen und im Ergebnis sieht man den Gesamtdrawdown, Gesamtgewinn etc.

Gruß

Andreas

Das Teil selbst macht keine BTs. Du kannst BTs, die vom MT als html gesichert wurden, lesen und nach allen Seiten durchleuchten. Ein Portfolio aus mehreren BTs verschiedener Symbols geht nur mit der Vollversion.

Ich weiß nicht, wie sich das rechtlich darstellt, aber ich schaue mal, ob ich den "alten" Installer noch habe. Vielleicht klappt es ja damit.

Die kostenlose Version von Strategie Quant gibt es noch. Allerdings macht die eben nur statistische Auswertungen von eingelesenen oder kopierten Metatrader-Backtests. Die Auswertungen sind aber viel umfangreicher und detaillierter als im MT. Für Finetunings von Strategien ist das Teil auf jeden Fall sinnvoll.

Ja, aber nur als Trial mit Code für 2 Wochen.

Der Quant Analyzer ist immer noch kostenlos, war eben auf der Seite:

StrategyQuant

Oben rechts auf Free tools klicken, downloaden und registrieren. Man erhält per Mail nen Registrierungscode den man eingeben muss.
Im letzten Tradersmag war das auch erklärt. Strategien entwickeln kann man damit aber nicht. Für detallierte Auswertungen ist das Teil aber gut.

Ja, kostenlos, aber nur als Trial für 14 Tage (siehe Bilder).

Gruß

Andreas

Hallo Andy,
die Screenshots die Du hochgeladen hast sehe ich aktuell nicht auf

StrategyQuant

Du darfst nicht auf Free Trial klicken sondern oben zweiter Menüpunkt von rechts auf Free Tools->Quant Analyzer (Bild1)

Danach kommst Du auf den zweiten Bildschirm und klickst den grünen Button Download (Bild2) Nicht auf GetPro, die kostet Geld.

Jetzt wirst Du aufgefordert Deine Mailadresse anzugeben an die der Freischaltcode geschickt wird. (Bild3)

Danach gehst Du auf der nächsten Seite rechts unten auf Download und kannst Dir die kostenlose Version herunterladen (Bild4 / Bild5)

Die Screenshots die Du hochgeladen hast kommen nur wenn du die Trialversion herunterlädst nicht die Free Version.
Die Free Version ist aber auch nur der Analyzer und nicht das Strategieentwicklungs Tool.

Hier noch die fehlenden zwei Screenshots. Diese Version funtktioniert bei mir seit Monaten ohne irgendeinen Hinweis auf Ende einer Free Trial Periode. Die per Mail zugesandte Lizenznummer(landet oftmals im Spamordner) muss einmalig eingegeben werden.

Wollte auch gerade auf die Modellierungsqualität zu sprechen kommen, aber zum Glück wurde das schon von Andy getan :-)

Ich finde ein Demo-Forwardtest im Endeffekt am schönsten. Da hat man dann z.B. was die Trading-Hours angeht mit myfxbook sehr gute Möglichkeiten bei der Optimierung.

Ich hab vor ein paar Tagen angefangen die ersten HowTo / Tipps und Tricks-Videos zu dem ganzen zu drehen und die ersten auch schon bei Youtube hochgeladen.

Ein Video zum Thema MyFxbook Optimierung steht auf jeden Fall auch noch auf dem Plan.

@ Ralf

Ja, jetzt habe ich es gefunden ;) Danke für Deine Geduld. Werde das schnallstmöglich mal probieren, was der alles kann.

DANKE!

@Andy,
keine Ursache, mach ich doch gerne.

Moin ;)

Nimmst Du wirklich OpenPrice? Das erzeugt bei mir völlig andere Werte als Kontrollpunkte oder every Tick. In meinen Augen ist OpenPrice nicht zu gebrauchen (außer Bei EAs, die wirklich nur OpenPrice berücksichtigen.

Gruß

Andreas

Beachte! Das hängt von den benutzten Indikatoren, Konditionen ab! Meistens Ja! Beachte weiter! Das ist der erste Schritt. Dabei geht es darum, Tendenzen zu erkennen. In den beschriebenen nächsten Schritten muss man dann relativieren.

Es stellt sich aber zusätzlich die Frage: Was willst Du mit den BTs erreichen bzw. was sollen die Ergebnisse Dir sagen? BTs sind wahrscheinlich grundsätzlich (nicht falsch) aber ungenau. Ich würde mich an Deiner Stelle auf keinen BT verlassen. Jede Statistik ist nur so gut, wie das Datenmaterial!!!

Es leuchtet mir schon ein, dass das nur ein schneller, dafür grober Anhaltspunkt in den ersten Durchläufen sein soll. Nur bei meinen Versuchen weicht OpenPrice so sehr von den späteren Versuchen ab, dass ich glaube, dass OpenPrice nicht geeignet ist, eine grobe Vorauswahl zu treffen. Die Ergebnisse mit Kontrollpunkte kommen deutlich näher an das spätere Ergebnis ran.

Mag aber auch sein, dass es vom Typ des EA und/oder den Daten abhängt.

Gruß

Andreas