Backtest eines EA mit Statistik überprüfen

[henning234]

Hallo Leute,

Kumpel und ich waren immer in der SLUB lernen und haben uns nebenbei aus Interesse mit Statistik befasst.
Das könnte jetzt von Vorteil sein, zur Einschätzung der Verwendbarkeit eines EA's:

Und der große Vorteil, mit einer einzigen normierten Standardgröße: Dem Tau von Kendall.
Keine 20 Werte iwelcher statistischen Auwertungen und danach so schlau wie vorher.

Das Tau von Kendall:
-> Das ist ein Maß, welches, wie der Korrelationskoeffizient nur von -1 bis + 1 reicht und ein Zusammenhängigkeitsmaß angibt.
-> der normale Korrelationskoeffizient kann nur lineare Korrelationen untersuchen
-> eine Verbesserung stellt schon der Rangkorrelationskoeffizient dar. Dieser untersucht die Ränger zwischen x und y. Was er aber NICHT macht, stärkere Außreißer zu bestrafen.
und genau das macht das "TAU von Kendall".
Wie gesagt. Hobbymäßig in der SLUB rumgefrönt. Jetzt kommt es uns vllt. zu Gute.

Und zwar:
-> Tau von Kendall vergleicht ebenfalls die Ränge, bestraft aber wie gesagt höhere abweichungung viel stärker. Bei Rangkorrelation hast du nur entscheidung ok oder nichtOK. Bei Tau von Kendal wird wenn x 20 Ränge unter dem liegt, was es für eine Korrelation eigentlich sein sollte, auch um -20 bestraft.
-> Die Ermittelte Korrelation ist daher viel viel viiel genauer und realitätsnaher als alles andere.
-> Das i tüpfelchen wäre das partielle Tau von Kendall. Damit kannst du eine Größe rausfiltern.

Angewendet für uns dann:
Tau von Kendall zwischen
"Aktuelle Tradingnummer"=x
"AKtueller Kontostand"=y
"Aktuelles Datum + Uhrzeit"=Störgröße

dabei ist es wie gesagt egal, ob das Kapital linear Anwächst. erwartet wird halt das x & y steigen. dann giltTauVonKendall=1.
Handelssystem Schrott TauVonKendall=-1

Und das wichtige für uns:
Alle Gewinne mehr oder weniger durch Zufall entstanden:
TauVonKendall=0
D.h. der Kontostand kann dann sehr wohl einen positiven Zuwachs aufweisen, nur eben alles zufällig. Und genau das finden wir mit TauVonKendal=0 raus.

Weil, wie gesagt, der Betrag (delta y) ist dabei egal. Wichtig ist nur, wenn es einen riesen Verlust gibt, der uns um n Tage zurückwirft, ist das Tau von Kendall die einzigste Größe, die ich kenne, die uns das exactly so abbilden kann

das passende buch dazu hatte ich schon unzählige mal in den händen. ich würde das nochmal leihen und die notwendigen seiten scannen.

Es ist jetzt eine Excel Tabelle fertig, die das partielle Tau von Kendall ermittelt. Man muss nur den Backtest aus dem Strategietester vorne reinkopieren.
Hinten dann die Ausgabe:
Zelle AB1: TauVonKendall - Kontostand & Tradingnummer
Zelle AC1: TauVonKendall - Datum & Tradingnummer (muss natürlich gegen eins gehen )
Zelle AD1: TauVonKendall - Datum & Kontostand
Zelle AE1: partielles Tau von Kendall für Kontostand & Tradingnummer. Ausgefilter wird der Zusammenhang von Kontostand und Datum.

Es wäre cool, wenn jemand von einem profitablen EA den Backtest dort mal reinkopieren kann und untersucht, ob es das partielleTauVonKendall wirklich ziemlich hoch ausfällt.
Wenn es scheinbar hinhaut, hätten wir vllt. eine Sache, um einen längerfristig profitabeln EA zu finden, bzw. um die richtigen Einstellungen für einen profitablen EA zu ermitteln.

vielen Dank
viele Grüße
henning


Hier noch kurz die Nachteile einer linearen Korrelationsuntersuchung:
Man unterstellt einem Handelssystem an der Börse, dass jeder Gewinn exakt gleich hoch ausfällt und die Positionen alle gleich lange offen bleiben. Es werden bei einer linearen Korrelation höhere und niedrigere Gewinne gleichermaßen Abgestraft oder wenn die Position länger als im Schnitt offen ist.

PS: Mathematisch is die Rechnung nicht ganz exakt, weil der zeitlich letzte Trade übergangen wird. Ich denke aber, als Näherung reicht das völlig aus und ist genau genug.
Viel wichtiger ist, dass man diese statistische Größe überhaupt verwenden kann.

[henning234]

Im Anhang noch eine Blaupause, bei der sich der Datenbereich automatisch anpasst. Ist jetzt nur noch Copy & Paste

Für einen meiner EA's kam folgendes raus:
Profit ~ 11%
Rangkorrelation ~ 0,9
TauVonKendall ~ 0,5 !

Also nach Rangkorrelation alles top, kann man nutzen. Tau von Kendall war um einiges kritischer.

Bin gespannt auf eure Antworten.

vg
henning

[JJ-FX]

Die Spalten U bis W produzieren bei mir Fehler, da mein Excel wohl mit der Funktion _xlfn.RANK.AVG() nichts anfangen kann.

[Crashbulle]

Hallo,

geht dies auch irgendwie mit gelaufenen realen Trades ?

MT4 verweigert meinem EA seit der Auferstehung einen Backtest oder Strategiesuchen. Mußte alle wichtige Eckpunkt-Daten nach eigenem Gusto und Phi mal Daumen einsetzen. Er läuft im Demo seit Januar mit stetigem Erfolg.

[RetepM]

Ein wirklich gutes EA-Analyse-Tool kann man hier StrategyQuant Quant Analyzer downloaden. Schon die Free-Version ist richtig brauchbar.

[henning234]

Hallo Leute,

vielen Dank für den Tip mit dem QuantAnalyzer.
Bin gerade dabei das Programm zu testen.

Ansonsten zur Statistiktabelle:
Ich kann gerne noch die aktuellste Version zur Verfügung stellen.
Vorteil wäre meiner Meinung nach, dass es messbare Zahlen als Ausgabe gibt.

Es wäre besser, wenn iwas nicht klappt, das Excel zu aktualisieren.
Version 2010 sollte eigentlich reichen.
Alles darunter ist sowieso nicht mehr zeitgemäß.

viele grüße
henning

[henning234]

Hallo Leute,

hab die Tabelle Kendalls Tau jetzt weiter auf Vordermann gebracht:
-> beliebig viele HTML Backtests werden automatisch eingelesen &
ausgewertet
-> Datenbereich ist bis 200.000 Inputzeilen kompatibel

Nachteil wäre:
-> Neuberechnung dauert sehr lange

Wäre cool, wenn jemand seine Ergebnisse (das Tau) mal niederschreibt.

https://www.dropbox.com/s/srperx12hk...lage.xlsm?dl=0

vg
henning