Бэктестинг
Бэктестинг (от англ. backtesting, фр. backtesting;) — это метод проверки пригодности математической модели или стратегии на большом массиве реальных исторических данных. Бэктестинг может применяться к любым наборам данных, однако чаще всего используется в социальных и естественных науках, в которых анализируются измеримые данные и необходимы статистические подходы. В финансах бэктестинг служит для верификации устойчивости и прибыльности инвестиционной стратегии[1]. Как правило, большой объём требуемых данных приводит к их централизации в базах данных, чтобы сделать процесс автоматизированным.
Бэктестинг в финансах и экономике
В применении бэктестинга к рынкам капитала речь идёт о проверке производительности финансовой стратегии: оценивается, как она сработала бы в прошлом, если бы тогда действительно применялась при аналогичных рыночных условиях. Бэктестинг на исторических данных эффективнее, чем тестирование на искусственно симулированных рядах. Несмотря на то что бэктестинг не способен предсказать успех стратегии в будущем, его основное преимущество заключается в понимании уязвимых мест подхода на основании реальных, а не гипотетических, сценариев прошлого. Такой подход позволяет разработчику «учиться на ошибках», не рискуя реальными средствами.
Ключевое отличие бэктестинга от других форм исторического тестирования — строгая имитация применения стратегии в прошлом, с учётом актуальных на тот момент условий рынка для получения корректных результатов. Примеры таких условий: отслеживание исторических котировок, операции с акциями, которые впоследствии исчезли с рынка, использование фондовых индексов в их оригинальной, а не текущей структуре. Исторически такие тесты использовались преимущественно профессионалами — финансовыми учреждениями и фондами, в силу малой доступности и высокой стоимости требуемых наборов данных. Однако с развитием торговли и биржевых сервисов через интернет и удешевлением доступа к базам, бэктестинг стал доступен и частным инвесторам, вошёл в состав торговых платформ интернет-брокеров.
Различные рыночные стратегии могут быть протестированы таким образом: например, стратегии распределения активов, поиска сигналов, торговые алгоритмы. Многие другие стратегии (например, программы продажи/покупки крупных лотов с дроблением сделок во времени ради лучшей цены) существенно хуже поддаются бэктестингу. Причина в том, что масштабные операции влияют на цену актива, что искажает условия обратного теста и приводит к нарушению корреляций: оценивать такие стратегии бэктестингом принципиально некорректно.
Базельские подходы к банковскому регулированию строятся на расчёте объёмов финансовых рисков набора портфелей, в частности — показателе стоимости под риском (Value at Risk, VaR). Такие значения могут определяться c помощью параметрических и полупараметрических динамических моделей[2][3], непараметрических методов — исторических симуляций либо ядерных оценок. Базельский комитет по банковскому надзору разрешает финансовым институтам использовать собственные — так называемые внутренние — модели, но все они подлежат обязательной проверке методом бэктестинга.
Бэктестинг для VaR базируется на анализе «исключений» или эксцессов[4][5]: эксцесс возникает, когда зафиксированная на дату убытка величина оказывается больше рассчитанного по методу VaR. Это говорит о том, что реальный риск превышает теоретическую оценку. Поскольку VaR по сути есть квантиль распределения потерь портфеля, типичный метод проверки валидности — сравнение доли «исключений» в выборке с заданным уровнем покрытия риска.
Для оценки VaR 1 день на 99 %, протестированной на 250 последовательных дней, результаты оцениваются по цветовой зоне: зелёная (0-95 %), оранжевая (95-99,99 %), красная (99,99-100 %) согласно следующей таблице[6]:
| Зона | Количество исключений | Вероятность | Кумулятивно |
|---|---|---|---|
| Зелёная | 0 | 8,11% | 8,11% |
| 1 | 20,47% | 28,58% | |
| 2 | 25,74% | 54,32% | |
| 3 | 25,74% | 54,32% | |
| 4 | 13,41% | 89,22% | |
| Оранжевая | 5 | 6,66% | 95,88% |
| 6 | 2,75% | 98,63% | |
| 7 | 0,97% | 99,60% | |
| 8 | 0,30% | 99,89% | |
| 9 | 0,08% | 99,97% | |
| Красная | 10 | 0,02% | 99,99% |
| 11 | 0,00% | 100,00% | |
| ... | ... | ... |
Для VaR 10 дней на 99 %, протестированной на 250 последовательных дней, результаты определяют зону аналогично:
| Зона | Количество исключений | Вероятность | Кумулятивно |
|---|---|---|---|
| Зелёная | 0 | 36,02% | 36,02% |
| 1 | 15,99% | 52,01% | |
| 2 | 11,58% | 63,59% | |
| 3 | 8,90% | 72,49% | |
| 4 | 6,96% | 79,44% | |
| 5 | 5,33% | 84,78% | |
| 6 | 4,07% | 88,85% | |
| 7 | 3,05% | 91,90% | |
| 8 | 2,28% | 94,17% | |
| Оранжевая | 9 | 1,74% | 95,91% |
| ... | ... | ... | |
| 24 | 0,01% | 99,99% | |
| Красная | 25 | 0,00% | 99,99% |
| ... | ... | ... |
Одной из серьёзных проблем в процедурах стандартного бэктестинга является риск смещения оценок. В 2010 году Эскансиано и Ольмо отметили, что классический тест бэктестинга может давать искажённые результаты из-за учёта статистической ошибки оценивания моделей для VaR. В качестве решения они предложили корректировку тестовой статистики с явным учётом такого риска.
Бэктестинг и климатическое моделирование
Бэктестинг играет ключевую роль в оценке метеорологических и климатических моделей. Например, для разработки теории циклогенеза можно использовать бэктест с реальными условиями природных ураганов прошлого. Если модель успешно воспроизводит по архивным данным местоположение, силу, траекторию и длительность прошедших стихийных явлений, это повышает доверие к её предсказательной ценности. В климатическом моделировании бэктестинг важен в силу длительности и масштабов естественных процессов: проверка на исторических данных позволяет теоретически сравнить разные гипотезы относительно их реального прогноза.
Проблемы проверки модели связаны с определением структуры сетки доступных и протестированных данных и с учётом множества меняющихся параметров. Из-за эффекта бабочки даже минимальная разница во входных данных, меньшая размера ячеек итоговой сетки, способна в процессе расчётов привести к существенным отклонениям — как в силу структуры сетки самой модели, так и по причине неучтённых переменных[7].