Тел.факс: +7(831)437-66-01
Факторинг  Разработка торговых систем 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 [ 30 ] 31 32 33 34

по выборке равномерно, и чем равномернее, тем лучше. Это указывает на более жизнеспособную торговую модель. Проигрышные сделки тоже должны быть распределены равномерно. Опять же, чем равномернее, тем лучше.

Следует стремиться к равномерному распределению прибылей и убытков от периода к периоду, например, от месяца к месяцу, или от квартала к кварталу. Чем это распределение равномернее, тем лучше. Любая избыточная концентрация подозрительна. Чем равномернее распределение торговой модели, тем она более жизнестойка, а следовательно - более надежна.

Оценка оптимизации

Неправильная оценка результатов оптимизации может приводить к подстройке. Помните, что оптимизация есть инструмент нахождения устойчивой торговой стратегии, а значит, результаты последовательности оптимизационных тестов должны подтверждать надежность данного метода. Это возможно в случае, когда большой процент тестов был прибыльным, независимо от конкретных параметров (то есть, длины скользяшей средней или величины стоп-лосса), используемых в этих тестах.

Первое, тесты должны включать широкий диапазон параметров, которые вы считаете подходящей вводной информацией. Это могут быть скорости скользящих средних от 2 до 100 дней и максимальные убытки от $50 до $5,000. Распределение тестов должно быть таким, чтобы при переходе к другой скорости скользящей средней число сделок менялось равномерно. Это означает тестирование более широких иггтервалов по мере возрастания периода скользящей средней.

Устойчивый тестовый результат - это такой результат, когда средняя всех тестов положительна. И все же еще лучше, когда средняя всех тестов положительна на 1 стандартное отклонение. Это равнозначно тому, что 67% всех тестов являются прибыльными.

Результаты с более низкими доходностями допустимы, если все прибыльные тесты сгруппированы и продолжают демонстрировать стабильные положительные результаты по мере увеличения или уменьшения параметров в направлениях границ тестирования (to the extremes tested). Например, скользящие средние от 2 до 20 дней не были прибыльными, но улучшали показатели по мере увеличения их периода. Прибыли появились, когда тесто-

вый период превысил 20 дней, пик прибылей наблюдался на уровне 35 дней и от 35 до 100 дней модель оставалась прибыльной.

Беспорядочные результаты, то есть результаты, не имеющие различимого паттерна, должны отвергаться. Изолированные области успеха, независимо от величины прибыли, представляют специфическую комбинацию параметров, работающих на конкретном рыночном паттерне, и не являются признаком устойчивой стратегии; наоборот, это следует считать точной настройкой .

Изменения правил и модификация торговой стратегии должны улучшать среднюю всех тестов без увеличения стандартного отклонения. Это показатель всеобщего улучшения, а не настройки на специфические ценовые паттерны.

Всплеск прибыли

Другая типичная причина подстройки - выбор в качестве топ-модели всплеска прибыли. Вспомните, что всплеск прибыли - это прибыльная модель, соседи которой либо гораздо менее прибыльны, либо убыточны (см. Рис. 7-2). Это серьезная проблема, поскольку большинство коммерческих программ для трейдинга будут допускать всплеск прибыли в качестве приемлемой модели. Некоторые методы оценивания направлены на минимизацию этой проблемы. Рассмотрение более чем одной топ-модели - один из способов решения данной проблемы. Другой способ - рассматривать среднюю топ-модели и ее соседей.

Выбор всплеска прибыли - плохой выбор. Это статистическая аномалия, образованная набором параметров торговли, отступление от которого всего на один шаг приводит почти к пагубному падению результатов. Например, допустим, что при периоде 10 дней модель скользящей средней дает прибыль $20,000. 9-дневная средняя показывает прибыль $3,000, а 11-дневная - убыток ($2,000). Это из рук вон плохо. Данная 10-дневная средняя демонстрирует плохую эффективность при удалении всего на один шаг в любую сторону Эта модель 10-дневной средней есть неприемлемый всплеск прибыли и является, по всей видимости, статистическим выбросом.

В отличие от этого, рассмотрим ту же модель 10-дневной средней с прибылью $20,000. 9-дневная средняя показывает теперь прибыль $18,000, а 11-дневная - прибыль $19,000. Данная торговая модель более устойчива.



Всплеск прибыли - не лучший выбор для целей трейдинга. Оценка топ-модели вместе с ее соседями - более хороший способ вьшеления устойчивой торговой модели.

Чрезмерное сканирование

Другая прямая причина подстройки - неподходящий метод оптимизации, называемый чрезмерным сканированием, который возникает в двух случаях. Первый - это проведение сканирования переменной с шагом, который изначально слишком мал и несообразен оптимизации. Второй случай - когда выделен прибыльный диапазон переменных, который затем опять же сканируется недостаточно большим шагом.

Для иллюстрации первого вида нарушения рассмотрим систему двух скользящих средних. Первая средняя отслеживает изменения краткосрочного тренда. Такие тренды будут варьироваться по длине от 2 до 10 дней. 3-дневный тренд сильно отличается от 4-дневного, поскольку использует на 1/3 больше данных. Поэтому целесообразно оптимизировать эту среднюю от 2 до 10 дней с шагом 1 день.

Вторая средняя тестирует изменения долгосрочного тренда. Такие тренды могут варьироваться по длине от 30 до 100 дней. Поскольку вторая средняя измеряет долгосрочные тренды, результаты 90-дневной средней очень близки к результатам 91-дневной средней, которая по объему используемых данных отличается от нее всего на 1/90. Следовательно, оптимизация данной средней от 30 до 100 дней с шагом 1 день была бы чересчур точной; это не согласуется с размером шага первой скользящей средней.

Снова обратившись к теории, лежащей в основе данной торговой системы, мы видим, что изменение от 90- до 95-дневной скользящей средней представляет собой изменение, согласующееся с остальным тестовым пространством. Следовательно, подходящей будет оптимизация этой средней от 30 до 100 дней с шагом 5.

Последствия чрезмерного сканирования из-за использования постоянного или неправильного размера шага заключаются в том, что тестовые результаты не дают правильного представления о стратегии. В самом общем случае выявляются более долгосрочные тренды, при этом полностью выпадают быстрые модели.

Сужение диапазона сканирования

Как только прибыльное подмножество исходных диапазонов сканирования вьщелено, неизбежно возникает желание провести более точные сканирования. Мы намерены дойти до самой прибыльной комбинации параметров. Хотя эта процедура в определенной степени значима, она может вносить ошибку.

Сужение диапазона сканирования до известной прибыльной области будет, по определению, повышать среднюю эффективность всей серии новых тестов. Что это дает? При правильном использовании это показывает:

стабильность на тестируемых диапазонах;

неустойчивость, свидетельствующее о подстройке или о нестабильных результатах, и

распределение результатов, позволяющее выбрать лучший параметр.

Как только этот ограниченный тест выполнен и результаты проанализированы, возникает тенденция изменить стратегию для устранения проблем или повышения прибылей. Перезапуск тестов на этом же узком диапазоне сканирования будет подтверждать успешность сделанных изменений на конкретном рыночном паттерне. Но насколько надежны эти изменения? Узнать это можно лишь путем перезапуска сканирования исходного широкого диапазона, позволяющего увидеть, действительно ли произошло улучшение средней всех тестовых результатов. Изменения, улучшающие только небольшую группу тестов, являются точной настройкой на данные или подстройкой. Эта техника приводит к улучшению результатов, но она не имеет прогностической способности. Сужение диапазона сканирования - ценный метод выявления проблем, но не следует его использовать для тестирования новых правил и условий.

Форвардный тест

Роль форвардного теста в борьбе с подстройкой невозможно переоценить. При каждом без исключения проведении тестирования или оптимизации необходимо взять за правило принятие необходимых мер предосторожности. Однако форвардный анализ - это принципиально важная часть тестирования. Независимо от того, насколько хорошую эффективность показы-



вает торговая система при тестировании и оптимизации, если она не идет вперед (то есть, не показывает такую же эффективность во вневыборочном постоптимизационном трейдинге), то эта торговая модель не работает. Данный вопрос обсуждался в Главе 7.

Стоит повторить, что благодаря подстройке, плохая модель может казаться превосходной. И наоборот, избыточная оптимизация может приводить к тому, что при форвардном анализе торговая модель будет выглядеть плохо. Вычисление форвардного показателя эффективности - одно из основных достоинств форвардного анализа.

Как форвардный анализ раскрывает избыточность оптимизации? Самый важный показатель - приносит ли модель прибыль при движении вперед. Вторичный показатель - ритм или уровень эффективности, с которым модель приносит форвардную прибыль. Первое очевидно и не требует дальнейшего обсуждения.

Вопрос форвардной эффективности - менее известный и более тонкий. Как говорилось в Главе 7, правильно оптимизированная модель будет приносить форвардные прибыли способом, в обшем согласующимся с ее торговлей в течение оптимизации. Другими словами, предположим, что торговая модель имеет следующий оптимизационный профиль:

Прибыли $10,000 в год.

12 сделок в год.

65% выигрышей и 35% проигрышей.

Проседание на $4,000 из 4 сделок.

Средняя выигрышная серия - 2 сделки на сумму $2,500.

Средняя проигрышная серия - 3 сделки на сумму $1,500.

Напомним, что этот оптимизационный профиль представляет среднюю многих разных оптимизаций. Если модель оптимизирована правильно и рыночные условия остаются в рамках граничных условий, включенных в оптимизационные данные, то на протяжении какого-то периода времени постоптимизационная или форвардная эффективность должна быть достаточно близка к оптимизационному профилю.

Вспомните, что показатель форвардной эффективности (WFE), полученный в процессе форвардного теста - это отно-

шений среднегодовой форвардной прибыли к среднегодовой оптимизационной прибыли. Формула следующая:

WFE ААОР AAWFP WFE

Форвардная эффективность Среднегодовая оптимизационная прибыль Среднегодовая форвардная прибыль = AAWFP/AAOP

Этот показатель делает процесс оценки очень простым. Хорошо, когда форвардный тест показывает прибыль и WFE как минимум 50%. Чем ближе форвардная эффективность к 100%, тем лучше. Есть наблюдения, согласно которым надлежащим образом оптимизированная торговая модель может приносить форвардные и реальные прибыли, на коротком периоде превышающие результаты оптимизации. Такое может возникнуть у системы построенной на трендовоследящих скользящих средних, когда на рынке сильный тренд с хорошей свинговой волатильностью и возросшей ликвидностью. Другими словами, торговая модель может превосходить свой оптимизационный профиль, когда она начинает торговать на очень благоприятном для нее рынке.

Рассмотрим ситуацию, отличную от только что описанной идеальной ситуации, в которой торговая модель в течение оптимизации была исключительно эффективной. При форвардном тестировании она дает очень скромную прибыль при очень низкой форвардной эффективности, составляющей 10%. Что это значит? Модель работает, поскольку демонстрирует постоптимизационную прибыль. Однако этот уровень эффективности очень низок.

Это может быть по трем причинам. Модель могла просто быть слабой: устойчивой, но по какой-то причине не очень эффективной. В данном случае от модели следует отказаться или рассмотреть вопрос о модификации ее структуры. Второе, модель могла быть чрезмерно оптимизирована при недостаточном внимании к степеням свободы, размеру выборки, диапазонам сканирования и т.д. Если установлено, что причина именно в этом, решением может быть новый форвардный тест, после должных исправлений. Третья и наиболее тонкая причина - в том, что размер окна форвардного теста мог быть слишком мал, вследствие чего модель оказалась зажатой и не смогла показать должной резуль-



1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 [ 30 ] 31 32 33 34