Backtesting (zpětné testování)

Příklady z praxe

1. 01

   Průraz klouzavého průměru u akcie

   Vývojář testuje jednoduchou strategii, která kupuje akcii, když krátký klouzavý průměr překročí delší průměr. Backtest používá pouze ceny z předchozích dnů, takže nevzniká look-ahead bias. Výsledek ukáže hodnotu portfolia po průchodu historickými cenami, ale bez realistických poplatků by byl příliš optimistický.

   prices = [100, 101, 102, 99, 98, 103, 105, 104, 108, 107]
   cash, position = 10000, 0
   
   for i in range(5, len(prices)):
       short_ma = sum(prices[i-3:i]) / 3
       long_ma = sum(prices[i-5:i]) / 5
       if short_ma > long_ma and cash >= prices[i]:
           position += 1
           cash -= prices[i]
       elif short_ma < long_ma and position > 0:
           position -= 1
           cash += prices[i]
   
   print(round(cash + position * prices[-1], 2))

2. 02

   Kontrola denního VaR v bance

   Rizikový tým kontroluje denní odhad Value at Risk proti skutečným ztrátám portfolia. Každý den, kdy ztráta překročí limit, se počítá jako výjimka. Pokud je výjimek výrazně víc, než model připouští, tým musí přehodnotit parametry, data nebo celou metodiku řízení rizika.

   losses = [0.4, 0.8, 1.7, 0.2, 2.1, 0.5]
   var_99 = [1.5, 1.4, 1.6, 1.3, 1.8, 1.4]
   
   exceptions = sum(loss > limit for loss, limit in zip(losses, var_99))
   exception_rate = exceptions / len(losses)
   
   print(exceptions, round(exception_rate, 3))

Časté omyly

MýtusKdyž backtest vydělal na historii, strategie bude vydělávat i živě.

Ve skutečnostiBacktesting ukazuje chování pravidel v minulosti, nikoli záruku budoucího zisku. Trh se může změnit a strategie může být přizpůsobená náhodnému šumu ve vzorku dat.

MýtusStačí vybrat parametry s nejvyšším ziskem v backtestu.

Ve skutečnostiOptimalizace podle nejlepší historické křivky často vede k overfittingu. Robustnější postup sleduje citlivost parametrů, oddělené testovací období a realistické obchodní náklady.

Časté dotazy

Kolik historických dat backtesting potřebuje?

Backtesting potřebuje tak dlouhé historické období, aby pokrylo různé tržní režimy, nejen jeden růstový nebo klidný úsek. U intradenní strategie může být mnoho obchodů i v kratším kalendářním období, zatímco dlouhodobá alokační strategie potřebuje roky dat. Rozhodující není samotný počet řádků, ale počet nezávislých situací, ve kterých pravidla dostala příležitost selhat.

Proč se při backtestingu zakazuje použití budoucích informací?

Backtesting se zákazem budoucích informací chrání test před nerealistickou výhodou. Strategie nesmí používat cenu, účetní výkaz, revizi indexu ani jiný údaj dřív, než by byl dostupný v daném okamžiku. Look-ahead bias často vznikne nenápadně, například špatným zarovnáním časových řad nebo výběrem firem, které přežily až do konce datového vzorku.

Co znamená dobrý výsledek backtestingu v tradingu?

Dobrý výsledek backtestingu v tradingu znamená víc než vysoký zisk na konci grafu. Strategie by měla mít srozumitelné ekonomické zdůvodnění, přijatelný drawdown, dostatečný počet obchodů a rozumnou citlivost na změnu parametrů. Výsledek je silnější, pokud se podobné chování objeví i na odděleném testovacím období a po započtení nákladů.

Proč po backtestingu ještě nestačí nasadit strategii na reálné peníze?

Backtesting neověří všechny problémy živého nasazení. Reálné obchodování přidá zpoždění, částečná plnění, výpadky dat, psychologický tlak a změny likvidity. Paper trading nebo malé produkční nasazení pomáhá zjistit, zda implementace odpovídá simulaci a zda strategie přežije provozní detaily, které historický test často zjednodušuje.

Zdroje

1. Backtesting(otevře se v novém okně)Wikipedia
2. The Probability of Backtest Overfitting(otevře se v novém okně)arXiv, 2014
3. Techniques for Verifying the Accuracy of Risk Measurement Models(otevře se v novém okně)The Journal of Derivatives, 1995

Související pojmy

• SlippageSlippage je rozdíl mezi cenou, se kterou obchodník počítá při zadání pokynu, a cenou, za kterou je pokyn skutečně vyplněn. Vzniká hlavně kvůli pohybu trhu, nízké likviditě, šířce spreadu nebo velikosti objednávky a přímo mění reálný zisk, ztrátu i výsledky backtestu.
• A/B testováníA/B testování je řízený experiment, který porovnává dvě varianty stránky, funkce, ceny nebo sdělení na podobných skupinách uživatelů. Měří předem zvolenou metriku, například konverzi nebo retenci, a pomáhá rozhodnout, zda změna skutečně zlepšuje výsledek, nebo zda pozorovaný rozdíl mohl vzniknout náhodou.
• ArbitrážArbitráž je obchodní strategie, která využívá rozdíl v ceně stejného nebo ekonomicky shodného aktiva na různých trzích, místech nebo v různých formách. Trader se snaží levně koupit a současně dráž prodat, aby zisk vznikl z cenové nesrovnalosti, ne z dlouhodobého odhadu směru trhu. V praxi rozhodují poplatky, rychlost, likvidita a riziko vypořádání.
• AtribuceAtribuce je způsob, jak v marketingové analytice přiřadit zásluhu za konverzi jednotlivým kontaktům zákazníka se značkou, například reklamě, e-mailu nebo organickému vyhledávání. Pomáhá odhadnout přínos kanálů a kampaní, ale sama o sobě nedokazuje kauzalitu. Výsledek závisí na datech, pravidlech měření a zvoleném atribučním modelu.
• Business intelligenceBusiness intelligence je soubor postupů, datových modelů a nástrojů, které převádějí firemní data na reporty, dashboardy a metriky pro rozhodování. BI obvykle spojuje data z provozních systémů, čistí je, ukládá pro analýzu a zpřístupňuje manažerům, analytikům i týmům, které sledují výkon produktu nebo firmy.
• Confusion matrixConfusion matrix je tabulka, která porovnává předpovědi klasifikačního modelu se skutečnými třídami a rozděluje je na správné a chybné případy. U dvou tříd obsahuje čtyři čísla: true positive, true negative, false positive a false negative. Z těchto čtyř hodnot se počítá accuracy, precision, recall i F1 skóre.
• CPCCPC je metrika v digitální reklamě, která vyjadřuje cenu zaplacenou za jeden proklik na reklamu. Používá se hlavně u PPC kampaní, aukčních reklamních systémů a výkonového marketingu. Pomáhá porovnat náklady na získání návštěvy, ale sama neříká, zda kliknutí přineslo objednávku, lead nebo zisk.
• Cross-sellingCross-selling je prodejní technika, při které obchodník nabídne zákazníkovi doplňkový produkt k tomu, co už kupuje nebo vlastní: pouzdro k telefonu, pojištění k letence, prodlouženou záruku k pračce. Cílem je zvýšit hodnotu objednávky i užitek z hlavního nákupu, aniž by se měnil původně zvolený produkt.