Ярким примером являются недавние публикации в прессе. В статье описывался индикатор, который должен был откликаться на внутридневные повороты фьючерсов

на фондовые индексы. Несмотря на то, что объем торгов был большим, не было сдела­но скидки на стоимость трансакций. Мы подсчитали, что при учете очень небольших комиссионных и только редких проскальзываний, система будет в лучшем случае безубыточной, а в худшем - постоянно убыточной.

У каждого есть свои любимые числа для стоимости трансакций. Мы отводим $75 на проскальзывания и $50 на комиссионные за оборот контракта, что в общей сложности составляет $ 125 на торговлю. Эти цифры могут показаться высокими, но мы предпочитаем ошибаться в худшую сторону. Когда мы тестируем части торговой системы, мы можем умышленно закрыть глаза на проскальзывания и комиссионные для упрощения операций, но мы обязательно убедимся, что они участвуют в итоговом тестировании.

Типы тестирования *

Мы разъясним несколько наиболее общих схем оптимизации и тестирования.

Простая оптимизация

Она так же проста, как звучит. Вы создаете торговую систему, затем оптимизи­руете ее на полном объеме значений параметров до тех пор, пока не находите тот набор, который дает лучшую отдачу. С нашей точки зрения, это наименее продуктив­ный метод тестирования системы. Это подстраивание под кривую в своем худшем проявлении.

Совокупное опережающее тестирование

Это также называется "прогонной" оптимизацией. Совокупное опережающее тестирование требует, чтобы вы оптимизировали систему на периоде в начале ваших данных, а затем тестировали результаты на относительно небольшом последующем участке. Затем вы должны переоптимизировать на периоде, включающем оба набора данных, и повторить цикл. Например, если у вас есть 10-летние данные по казначейс­ким обязательствам, вы могли бы оптимизировать на первых 3 годах, а затем тестиро­вать на следующем за ними году. Если результаты все еще хороши, вы должны затем оптимизировать на всех четырех годах и тестировать на пятом году, и так далее. Это одна из форм оптимизации, которая была протестирована Лукасом и Брорсеном, и которую они нашли не лучшей, чем простая оптимизация (смотрите выше).

Простое опережаюшее тестирование *

Этот способ называют также "слепым моделированием" или "тестированием за пределами выборки". Вы разрабатываете вашу систему на начальных данных (ска­жем, первые 5 лет 10-летнего набора данных) и затем тестируете без изменения то, что вы считаете вашей лучшей комбинацией параметров и правил на более свежем вре­менном периоде. Если результат не устраивает-процесс повторяется. Оптимизируете вы или нет в первой фазе тестирования, это не так важно, как удерживание количе­ства переменных на небольшом уровне. Самое важное, что любая торговая система, подвергаемая простому тестированию или оптимизации без опережающего тестиро­вания, скорее всего будет обречена на провал.

Опережающее тестирование является наиболее элегантным тестированием сис­темы. Если ваша система не доказала свою прибыльность на процедуре опережающе­го тестирования, выбросьте ее.

Измерение производительности

Очевидной целью торговой системы является прибыльность. Сколько денег де­лает ваша модель? Другим способом вычисления этого фактора является процент отдачи, который является годовой отдачей, основанной на количестве средств, тре­буемых для торгового счета. Процент отдачи следует искать на всем периоде тестиро­вания, а затем разбить его на небольшие отрезки для изолирования негативных пери­одов. Помните, что процент отдачи - это просто функция от объема используемого капитала. Вы можете удвоить процент отдачи, если начнете торговать только с поло­виной капитала, но систему вы при этом не улучшите. Вы можете улучшить систему, начав торговать с большим капиталом, но процент отдачи соответственно уменьшит­ся. Несерьезные и бессмысленные торговые соревнования выигрываются путем полу­чения большой отдачи при небольших размерах начального капитала. Эти переоце­ниваемые торговые соревнования дают в результате нежизнеспособные или наигранные исторические записи, что становится очевидным, когда мы наблюдаем низкую произ­водительность товарных паевых фондов, управляемых некоторыми известными побе­дителями подобных соревнований.

Отношение Шарпа (The Sharpe Ratio)

Популярной мерой производительности, получаемой из процента отдачи, явля­ется отношение Шарпа, разработанное Уильямом Шарпом, и которое определяется как годовая отдача (мера прибыльности) за вычетом неподверженного риску отноше­ния отдачи, поделенная на годовое стандартное отклонение от отдачи (мера вола-тильности). Некоторые удаляют неподверженное риску отношение отдачи, так что проверьте это прежде, чем сравнивать результаты. Чем выше отношение Шарпа, тем выше отдача и ниже волатильность. Как правило, консультанты по товарной торгов­ле вычисляют отношение Шарпа на месячных данных. Мы понимаем, что отношение Шарпа имеет свои ограничения (например, увеличение волатильности в восходящем направлении даст понижение отношения Шарпа), но, тем не менее, это самый распро­страненный индекс такого рода. Может быть, вам будет полезно сравнить результаты одной системы с другой и сравнить ваши результаты с результатами профессиональ­ных консультантов. Лучшей системой будет не та, что делает больше денег, а та, что дает более высокое отношение Шарпа.

Отношение Стерлинга (The Sterling Ratio)

Поскольку, отношение Шарпа имеет определенные недостатки, были разрабо­таны другие статистические приемы для беспристрастной оценки производительнос­ти. Наиболее популярным из таковых является отношение убытка к размеру отдачи. Отношение Стерлинга было создано Дианом Джонсом из Jones Commodities. Форму­ла следующая:

Основным недостатком отношения Стерлинга является то, что оно обычно вы­числяется ежегодно и, следовательно, слишком медленно реагирует на изменения про­изводительности.

Отношение Калмара (The Calmar Ratio)

Отношение Калмара, изобретенное Терри Янгом из СМА Reports, представляет собой размер отдачи за последние 36 месяцев, поделенный на максимальный убыток на том же периоде. Оно вычисляется ежемесячно, что делает его более чувствитель­ным, чем отношение Стерлинга,

Среднее геометрическое

Наверное, самым математически точным измерением потенциала торговой сис­темы является среднее геометрическое Ральфа Вайнса. Среднее геометрическое изме­ряет фактор роста вашей торговой системы. Чем выше среднее геометрическое, тем более вероятно, что ваша система будет давать большую отдачу при дополнительном инвестировании. Для любой системы со средним геометрическим более 1 вы можете увеличить отдачу на ваш счет до максимума путем вычисления оптимальной f, опти­мальной фиксированной части вашего наибольшего проигрыша, для использования в качестве ставки на каждой торговле. У нас нет места для вывода геометрического среднего и оптимальной f, мы также не можем разъяснить все с той же элегантностью, что и Вайнс. Мы считаем, что его книга является одним из самых значительных дости­жений в области управления денежными средствами на фьючерсных рынках.

Заметьте, что ваша система может быть прибыльной на большинстве рынков и убыточной на нескольких из них. Один наш знакомый консультант по товарной тор­говле проводит операции на всех рынках, которые он тестировал (выигрышных и убыточных), и утверждает, что кривая изменения его счета становится глаже от этого разнообразия. Он умышленно ищет отрицательную корреляцию между товарами в портфеле и находит, что прибыльные периоды на его проигрышных рынках обычно совпадают с проигрышными периодами на его выигрышных рынках. Торговая система не будет прибыльной на всех рынках постоянно. Если вы ее правильно разработа­ли, то убытки на проигрышных рынках будут минимальными, и, кроме того, эти рын­ки будут время от времени давать прибыльные периоды.